← 返回

CockroachDB 高 CPU 使用率：用火焰图剖析运行中的 Go 服务

章亦春发布于 Dec 25, 2023 更新于 Aug 24, 2026

用时 5 分钟

阅读次数

当 CockroachDB 进程吃满高 CPU——本例中超过单核的 250%——OpenResty XRay 能在运行中的 Go 服务上精准定位 CPU 时间的去向，无需重启、不改一行代码。仅 Go 垃圾回收就占了约 13% 的 CPU，背后是 kvcoord、Raft 和 sqlMux 组件中大量分配 GC 对象的热代码路径。

本教程接下来演示 OpenResty XRay 如何量化 CockroachDB（Go 语言实现）内部的 CPU 时间消耗，自动分析并解读 Go 语言级别的 CPU 火焰图，找出最耗 CPU 的代码路径。

问题：CockroachDB 高 CPU 使用率

CockroachDB 是一个用 Go（golang）语言编写的分布式数据库。我们将分析一个运行中的 CockroachDB 服务器的 CPU 时间是如何分配的。

我们使用 top 命令检查 CPU 使用情况。可以看到，这个进程使用了超过 250% 的 CPU 资源。

使用 ps 命令查看它的更多详细信息。这个进程使用的 Cockroach 二进制可执行文件，是 Linux 发行版自带的。

用引导式分析定位最耗 CPU 的 Go 代码路径

让我们用 OpenResty XRay 实时分析这个未经修改的 CockroachDB 进程——无需重启，也不改动代码。打开 OpenResty XRay Web 控制台，确认正在观察的机器无误，进入 “Guided Analysis” 页面。

在 Guided Analysis 页面选择 “High CPU Usage” 问题类型，点选 “By Processes”，挑出消耗接近 200% CPU 的 CockroachDB 进程——正是我们先前在 top 里看到的那个。

应用类型与语言级别保持自动识别出的 “Go” 默认值，最大分析时间保持默认的 300 秒，开始分析。

OpenResty XRay 会对运行中的进程执行多轮采样。本例跑两轮就够了，于是停止分析。

系统自动生成了一份分析报告。

这是现在我们要分析的问题类型，CPU。

Go 运行时的 GC 垃圾回收占了约 13% 的 CPU 时间。

这条 Go 代码路径新创建的 GC 对象数目，约占新创建 GC 对象总数的 25%。

目前正在执行的是一个创建于 RunAsyncTaskEx 函数中的匿名函数，它用于管理 CockroachDB 系统中各种异步任务的生命周期。

点击 “More” 查看详情。

这条热代码路径是从这个 Go 级别的 GC 对象内存分布火焰图中自动推导出来的。

放大火焰图。

继续点击放大。

这条热代码路径由 kvcoord 包、

Raft 协议、

sqlMux 组件三大部分组成。

点击放大 kvcoord/dist_sender。

kvcoord 是 CockroachDB 中的键值协调器模块，用于处理并发访问和数据一致性。它负责协调多个 kvclient 实例之间的并发操作，以确保数据的正确性和一致性。

点击放大 Start 函数。

Raft 是 CockroachDB 使用的一种分布式一致性协议，用于实现数据的复制和故障容错。CockroachDB 采用了分布式数据库的架构，其中多个 kvserver 节点协同工作以提供高可用性和可扩展性。

进入 sqlMux 函数。

sqlMux 用于在 CockroachDB 的节点上处理 SQL 请求的路由和多路复用。

这些是分配 GC 对象最多的其他代码路径。

这是第二条 GC 对象分配路径。

CockroachDB SQL 层中的 makeExecPlan() 函数，会创建一个查询执行计划。

看一下第三条 GC 对象分配路径。

在处理列数据流时，调用 nextAdapter() 也会创建大量 GC 对象。

这是第四条 GC 对象分配路径。

execStmt 函数在执行过程中，也会创建大量 GC 对象。

GC 对象收集占用了 CPU 近 10% 的时间。

立即申请 OpenResty XRay 试用

全自动 CPU 分析报告

OpenResty XRay 也可以自动监控在线进程，并显示分析报告。

切换到 “Insights” 页面。

您可以在 “Insights” 页面中找到以日和周为周期的报告。所以您不是非得用 “Guided Analysis” 功能。

当然，“Guided Analysis” 对于应用的开发和演示是很有用的。

常见问题

CockroachDB 为什么会占用这么高的 CPU？

在本次分析中，Go 垃圾回收是主要开销：GC 本身占了约 13% 的 CPU 时间，GC 对象收集又占了近 10%。大量对象分配来自 kvcoord 键值协调器、Raft 复制协议和 sqlMux SQL 请求多路复用器等热代码路径，以及 SQL 层的 makeExecPlan()、nextAdapter() 和 execStmt() 函数。你自己集群上的高 CPU 成因可能不同，因此对运行中的进程做剖析才是弄清 CPU 时间去向的可靠办法。

如何找出 CockroachDB 中最耗 CPU 的代码？

对运行中的 CockroachDB 进程运行 OpenResty XRay 的 “Guided Analysis”，按进程选择 “High CPU Usage”，让它采样若干轮。它会生成 Go 语言级别的 CPU 与 GC 对象分配火焰图，并自动推导出精确到函数级别的最热代码路径——无需重启，也不改动代码。

不重启、不用 pprof，能剖析 CockroachDB 的 CPU 吗？

可以。OpenResty XRay 直接分析未经修改、正在运行的 CockroachDB 二进制文件，因此你无需开启 Go 的 pprof 端点、传入调试参数或重启服务。这使得在生产节点仍在处理流量时诊断 CockroachDB 高 CPU 使用率也很安全。

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品，它可以自动分析运行中的应用，以解决性能问题、行为问题和安全漏洞，并提供可行的建议。在底层实现上，OpenResty XRay 由我们的 Y 语言驱动，可以在不同环境下支持多种不同的运行时，如 Stap+、eBPF+、GDB 和 ODB。

立即申请 OpenResty XRay 试用

关于作者

章亦春是开源 OpenResty^® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春（Github ID: agentzh），生于中国江苏，现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物，曾供职于多家国际知名的高科技企业，如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱，拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty^® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay（利用动态追踪技术的非侵入式的故障剖析和排除工具）和 OpenResty Edge（最适合微服务和分布式流量的全能型网关软件），广受全球众多上市及大型企业青睐。在 OpenResty 以外，章亦春为多个开源项目贡献了累计超过百万行代码，其中包括，Linux 内核、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等，并编写过 60 多个开源软件库。