在本教程中,我们将使用 OpenResty XRay 来分析 CockroachDB 数据库中 CPU 时间的消耗情况,CockraochDB 是使用 Go 语言实现的。我们将展示哪些 Go 代码路径消耗了最多的 CPU 时间。OpenResty XRay 可以自动分析和解释 Go 语言级别的 CPU 火焰图,帮助我们快速找到性能瓶颈。

问题:高 CPU 使用率

CockroachDB 是一个用 Go(golang)语言编写的分布式数据库。我们将分析一个运行中的 CockroachDB 服务器的 CPU 时间是如何分配的。

我们使用 top 命令检查 CPU 使用情况。

Screenshot

可以看到,这个进程使用了超过 250% 的 CPU 资源。

Screenshot

使用 ps 命令查看它的更多详细信息。这个进程使用的 Cockroach 二进制可执行文件,是 Linux 发行版自带的。

Screenshot

使用 OpenResty XRay 的引导式分析功能分析 CockroachDB 中 CPU 时间的消耗情况

让我们使用 OpenResty XRay 来检查这个未经修改的进程。您可以对它进行实时分析,并找出原因。

Screenshot

确保我们当前分析的是正确的机器。

Screenshot

如果当前显示的机器不对,您可以从下面的列表中选择正确的。

Screenshot

进入 “Guided Analysis” 页面。

Screenshot

这里可以看到系统能分析的不同类型的问题。

Screenshot

让我们选择 “High CPU Usage”。

Screenshot

点击 “Next”。

Screenshot

选择 “By Processes”。

Screenshot

选择消耗接近 200% CPU 资源的进程。也就是我们之前在 top 中看到的。

Screenshot

确保应用的类型是正确的。通常默认值就是对的。

Screenshot

这里的语言级别就只有 “Go” 了。

Screenshot

我们还可以设置最大分析时间。这里保持默认的 300 秒不变。

Screenshot

开始分析。

Screenshot

系统将持续执行多轮分析。现在它正在运行第一轮分析。

Screenshot

第一轮分析已经完成,现在进入第二轮分析。对这个例子来说,运行一轮分析就够了。

Screenshot

现在停止分析。

Screenshot

可以看到自动生成了一份分析报告。

Screenshot

这是现在我们要分析的问题类型,CPU。

Screenshot

Go 运行时的 GC 垃圾回收占了约 13% 的 CPU 时间。

Screenshot

这条 Go 代码路径新创建的 GC 对象数目,约占新创建 GC 对象总数的 25%。

Screenshot

目前正在执行的是一个创建于 RunAsyncTaskEx 函数中的匿名函数,它用于管理 CockroachDB 系统中各种异步任务的生命周期。

Screenshot

点击 “More” 查看详情。

Screenshot

这条热代码路径是从这个 Go 级别的 GC 对象内存分布火焰图中自动推导出来的。

Screenshot

放大火焰图。

Screenshot

继续点击放大。

Screenshot

这条热代码路径由 kvcoord 包、

Screenshot

Raft 协议、

Screenshot

sqlMux 组件三大部分组成。

Screenshot

点击放大 kvcoord/dist_sender

Screenshot

kvcoord 是 CockroachDB 中的键值协调器模块,用于处理并发访问和数据一致性。它负责协调多个 kvclient 实例之间的并发操作,以确保数据的正确性和一致性。

Screenshot

点击放大 Start 函数。

Screenshot

Raft 是 CockroachDB 使用的一种分布式一致性协议,用于实现数据的复制和故障容错。CockroachDB 采用了分布式数据库的架构,其中多个 kvserver 节点协同工作以提供高可用性和可扩展性。

Screenshot

进入 sqlMux 函数。

Screenshot

sqlMux 用于在 CockroachDB 的节点上处理 SQL 请求的路由和多路复用。

Screenshot

这些是分配 GC 对象最多的其他代码路径。

Screenshot

这是第二条 GC 对象分配路径。

Screenshot

CockroachDB SQL 层中的 makeExecPlan() 函数,会创建一个查询执行计划。

Screenshot

看一下第三条 GC 对象分配路径。

Screenshot

在处理列数据流时,调用 nextAdapter() 也会创建大量 GC 对象。

Screenshot

这是第四条 GC 对象分配路径。

Screenshot

execStmt 函数在执行过程中,也会创建大量 GC 对象。

Screenshot

GC 对象收集占用了 CPU 近 10% 的时间。

Screenshot

全自动分析报告

OpenResty XRay 也可以自动监控在线进程,并显示分析报告。

Screenshot

切换到 “Insights” 页面。

Screenshot

您可以在 “Insights” 页面中找到以日和周为周期的报告。所以您不是非得用 “Guided Analysis” 功能。

Screenshot

当然,“Guided Analysis” 对于应用的开发和演示是很有用的。

Screenshot

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言 驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。

关于作者

章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,并编写过 60 多个开源软件库。

关注我们

如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:

我们的微信公众号

翻译

我们提供了英文版 原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!