CPU 时间是如何耗费在 Go 的 CockroachDB 中的(使用 OpenResty XRay)
在本教程中,我们将使用 OpenResty XRay 来分析 CockroachDB 数据库中 CPU 时间的消耗情况,CockraochDB 是使用 Go 语言实现的。我们将展示哪些 Go 代码路径消耗了最多的 CPU 时间。OpenResty XRay 可以自动分析和解释 Go 语言级别的 CPU 火焰图,帮助我们快速找到性能瓶颈。
问题:高 CPU 使用率
CockroachDB 是一个用 Go(golang)语言编写的分布式数据库。我们将分析一个运行中的 CockroachDB 服务器的 CPU 时间是如何分配的。
我们使用 top
命令检查 CPU 使用情况。
可以看到,这个进程使用了超过 250% 的 CPU 资源。
使用 ps
命令查看它的更多详细信息。这个进程使用的 Cockroach 二进制可执行文件,是 Linux 发行版自带的。
使用 OpenResty XRay 的引导式分析功能分析 CockroachDB 中 CPU 时间的消耗情况
让我们使用 OpenResty XRay 来检查这个未经修改的进程。您可以对它进行实时分析,并找出原因。
确保我们当前分析的是正确的机器。
如果当前显示的机器不对,您可以从下面的列表中选择正确的。
进入 “Guided Analysis” 页面。
这里可以看到系统能分析的不同类型的问题。
让我们选择 “High CPU Usage”。
点击 “Next”。
选择 “By Processes”。
选择消耗接近 200% CPU 资源的进程。也就是我们之前在 top
中看到的。
确保应用的类型是正确的。通常默认值就是对的。
这里的语言级别就只有 “Go” 了。
我们还可以设置最大分析时间。这里保持默认的 300 秒不变。
开始分析。
系统将持续执行多轮分析。现在它正在运行第一轮分析。
第一轮分析已经完成,现在进入第二轮分析。对这个例子来说,运行一轮分析就够了。
现在停止分析。
可以看到自动生成了一份分析报告。
这是现在我们要分析的问题类型,CPU。
Go 运行时的 GC 垃圾回收占了约 13% 的 CPU 时间。
这条 Go 代码路径新创建的 GC 对象数目,约占新创建 GC 对象总数的 25%。
目前正在执行的是一个创建于 RunAsyncTaskEx
函数中的匿名函数,它用于管理 CockroachDB 系统中各种异步任务的生命周期。
点击 “More” 查看详情。
这条热代码路径是从这个 Go 级别的 GC 对象内存分布火焰图中自动推导出来的。
放大火焰图。
继续点击放大。
这条热代码路径由 kvcoord
包、
Raft 协议、
sqlMux
组件三大部分组成。
点击放大 kvcoord/dist_sender
。
kvcoord
是 CockroachDB 中的键值协调器模块,用于处理并发访问和数据一致性。它负责协调多个 kvclient
实例之间的并发操作,以确保数据的正确性和一致性。
点击放大 Start
函数。
Raft 是 CockroachDB 使用的一种分布式一致性协议,用于实现数据的复制和故障容错。CockroachDB 采用了分布式数据库的架构,其中多个 kvserver
节点协同工作以提供高可用性和可扩展性。
进入 sqlMux
函数。
sqlMux
用于在 CockroachDB 的节点上处理 SQL 请求的路由和多路复用。
这些是分配 GC 对象最多的其他代码路径。
这是第二条 GC 对象分配路径。
CockroachDB SQL 层中的 makeExecPlan()
函数,会创建一个查询执行计划。
看一下第三条 GC 对象分配路径。
在处理列数据流时,调用 nextAdapter()
也会创建大量 GC 对象。
这是第四条 GC 对象分配路径。
execStmt
函数在执行过程中,也会创建大量 GC 对象。
GC 对象收集占用了 CPU 近 10% 的时间。
全自动分析报告
OpenResty XRay 也可以自动监控在线进程,并显示分析报告。
切换到 “Insights” 页面。
您可以在 “Insights” 页面中找到以日和周为周期的报告。所以您不是非得用 “Guided Analysis” 功能。
当然,“Guided Analysis” 对于应用的开发和演示是很有用的。
关于 OpenResty XRay
OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言 驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。
关于作者
章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。
章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,并编写过 60 多个开源软件库。
关注我们
如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:
翻译
我们提供了英文版 原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!