本教程演示使用 OpenResty XRay 分析 Go 的 etcd 服务器内部是如何耗费 CPU 时间的。我将展示其中最耗 CPU 的 Go 代码路径。OpenResty XRay 会自动分析 Go（golang）语言级别的 CPU 火焰图。

问题: 高 CPU 使用率

首先运行 top 命令检查 CPU 使用情况。

可以看到，这个 etcd 进程消耗了超过 70% 的 CPU 核心资源。我们可以对它进行实时分析，查看 CPU 时间具体消耗在哪里了。

运行 ps 命令来查看这个进程的完整命令行。可以看到这是一个未经修改的标准 etcd 二进制可执行文件。

使用 OpenResty XRay 的引导式分析功能定位最热的 Go 代码路径

让我们使用 OpenResty XRay 来检查这个没改动过的进程。

在浏览器中打开 OpenResty XRay 的 Web 控制台。

确保我们当前分析的是正确的机器。

如果当前显示的机器不对，您可以从下面的列表中选择一个正确的。

进入 “Guided Analysis” 页面。

这里可以看到系统能分析哪些类型的问题。

选择 “High CPU usage”。

点击 “Next”。

选择 etcd 的 Go 应用。

选择消耗超过 70% CPU 资源的进程。也就是我们之前在 top 中看到的。

确保应用的类型是正确的。通常默认值就是对的。

这里的语言级别就只有 “Go” 了。

我们还可以设置最大分析时间。这里保持默认的 300 秒不变。

开始分析。

系统将持续执行多轮分析，现在它正在运行第一轮分析。

第一轮分析已经完成，现在进入第二轮分析。对这个例子来说，运行一轮分析就够了。

现在停止分析。

这里显示了系统正在为本次分析生成报告。

可以看到自动生成了一份分析报告。

这是现在我们要分析的问题类型：CPU。

这个是占用 CPU 时间最多的 Go 级别代码路径。

这个 processUnaryRPC 是 Go 的 gRPC 库中的一个函数。它负责处理最简单的 gRPC 消息。

它的上级调用函数是 handleStream。

点击 “More” 查看细节信息。

上面的代码路径是从这个 Go 级别 CPU 火焰图中自动推导出来的。

点击这个图标放大火焰图。

继续放大。

_KV_Range_Handler 函数可以获取键值数据库中一定范围内的 key。

_KV_Put_Handler 函数将给定的 key 放入键值数据库中。

Range 函数用于按范围查询存储在 etcd 中的键值数据。

它会调用 runtime.newobject 创建大量的 golang GC 对象。

runtime.newstack 函数 在 etcd 写入数据时有较高的 CPU 开销。该函数是 Go 语言运行时的一个内部函数，它为新的 goroutine 创建一个新的运行时栈。

下面是对当前问题更详细的解释和建议。

它提到了函数 processUnaryRPC.

也提到了它是处理一元 RPC的。

让我们回到刚才的代码路径上来。把鼠标放在第一个函数的绿色框上。

可以看到这个函数的源文件名。在提示框中还可以看到 server.go 文件的完整路径。

这行源码的行号是 1024。

点击这个图标，复制这个函数完整的 Go 源文件路径。

使用 find 命令来查找源文件。

粘贴我们刚刚复制的文件路径。

复制完整的文件路径。使用 vim 编辑器，查看这个文件里的 golang 代码。您可以使用任何您喜欢的编辑器。

正如 OpenResty XRay 建议的那样跳转到第 1024 行。

函数 md.Handler 会根据 gRPC 消息的不同类型，选择合适的消息处理程序来调用。我们之前看到的 _KV_Range_Handler 和 _KV_Put_Handler 就是 md.Handler 回调函数的两个实例。

在状态栏中可以看到这行代码也确实在 processUnaryRPC 函数中，正如之前报告中提到的。

CPU 占用第二热的 Go 代码路径，使用了大约 12% 的 CPU 资源。

这个函数的作用是把数据写入到网络 socket 里。

这里执行的是 write 这个系统调用。

这个函数通过 HTTP/2 协议将响应数据发送到网络 socket。

排名第三的最热 Go 代码路径占用了大约 11% 的 CPU 时间。

这里的 runtime.mcall 函数主要负责调度执行 goroutine。

这是 CPU 占用第四热的 Go 代码路径。

这个函数的功能是记录每一次一元 gRPC 请求的调用。为了节约 CPU 资源，我们可以选择不做这样的日志记录。

全自动分析与报告

OpenResty XRay 也可以自动监控在线进程，并显示分析报告。进入 “Insights” 页面。

您可以在 “Insights” 页面中找到以日和周为周期的报告。

所以您不是非得用 “Guided Analysis” 功能。当然，“Guided Analysis” 对于应用的开发和演示是很有用的。

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品，它可以自动分析运行中的应用程序，以解决性能问题、行为问题和安全漏洞，并提供可行的建议。在底层实现上，OpenResty XRay 由我们的 Y 语言驱动，可以在不同环境下支持多种不同的运行时，如 Stap+、eBPF+、GDB 和 ODB。

关于作者

章亦春是开源 OpenResty^® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春（Github ID: agentzh），生于中国江苏，现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物，曾供职于多家国际知名的高科技企业，如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱，拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty^® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay（利用动态追踪技术的非侵入式的故障剖析和排除工具）和 OpenResty Edge（最适合微服务和分布式流量的全能型网关软件），广受全球众多上市及大型企业青睐。在 OpenResty 以外，章亦春为多个开源项目贡献了累计超过百万行代码，其中包括，Linux 内核、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等，并编写过 60 多个开源软件库。

关注我们

如果您喜欢本文，欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号：

翻译

我们提供了英文版原文和中译版（本文）。我们也欢迎读者提供其他语言的翻译版本，只要是全文翻译不带省略，我们都将会考虑采用，非常感谢！