在本教程中,我们将逐步演示如何用 OpenResty XRay 定量分析 Envoy 服务器中 CPU 时间的消耗情况。我们将展示其中占用 CPU 最多的那些 C++ 代码路径。这些热代码路径是 OpenResty XRay 自动分析和解读 C++ 语言级别的 CPU 火焰图得来的。它的性能损耗很小,这非常适用于对性能和延迟有高要求的生产环境。至少对于较简单的应用场景,我们可以看到 Envoy 明显比 OpenResty 和 Nginx 要低效很多。

问题:高 CPU 使用率

使用 cat 命令查看 Envoy 服务器的配置文件。

Screenshot

您可以看到它通过 1088 端口监听。

Screenshot

它回复的是 “Hello world” 响应体。

Screenshot

测试一下 /hello 接口的响应。响应确实是 “Hello World”。

Screenshot

运行 top 命令来检查 CPU 使用情况。看一下这个名为 envoy 的进程。

Screenshot

可以看到,它消耗了超过 90% 的 CPU 核心资源。

Screenshot

运行 ps 命令查看此进程的完整命令行。这是从 Envoy 官方二进制包仓库下载安装的。

Screenshot

使用 OpenResty XRay 的引导式分析功能分析 Envoy 服务器中 CPU 时间的消耗情况

让我们使用 OpenResty XRay 来检查这个未经修改的进程。您可以对它进行实时分析,并找出原因。

Screenshot

确保当前分析的机器是正确的。

Screenshot

如果不对,我们可以在下面的列表重新选择。

Screenshot

进入 “Guided Analysis” 页面。

Screenshot

这里可以看到系统能分析的不同类型的问题。

Screenshot

选择 “High CPU usage”.

Screenshot

点击 “Next”。

Screenshot

选择之前的 Envoy 应用。

Screenshot

选择消耗超过 90% CPU 资源的进程。也就是我们之前在 top 中看到的。

Screenshot

确保应用的类型是正确的。通常默认值就是对的。

Screenshot

这里的语言级别就只有 “C/C++” 了。

Screenshot

我们还可以设置最长的采样时间。这里保持默认的 300 秒不变。

Screenshot

开始分析。

Screenshot

系统将持续执行多轮分析。目前它正在运行第一轮分析。

Screenshot

第一轮已经完成,现在进入第二轮分析。对这个例子来说,运行一轮分析就够了。

Screenshot

停止分析。

Screenshot

可以看到自动生成了一份分析报告。

Screenshot

这是我们要分析的问题类型,CPU。

Screenshot

这是占用 CPU 时间最多的 C++ 代码路径。

Screenshot

这是 SchedulableCallbackImpl 类重载的运算符。

Screenshot

点击 “More” 查看详情。

Screenshot

上面的热代码路径是从这个 C++ 语言级别的 CPU 火焰图中自动推导出来的。

Screenshot

点击图标放大火焰图。

Screenshot

放大这个 invoke_impl 函数。

Screenshot

Envoy 网络 socket 类的 write 方法执行 socket 写入操作。它会发送 HTTP 响应数据。

Screenshot

Envoy 缓冲区类的 drain 方法用于释放写缓冲区中未使用的内存,并执行其他清理工作。

Screenshot

Envoy 调度类的 clearDeferredDeletedList 方法会释放与当前请求关联的所有资源,并执行所有清理工作。

Screenshot

看一下这条 CPU 时间占用排名第二的 C++ 热代码路径。

Screenshot

Envoy 代理中的 emitLog 函数用于将访问日志写入文件。

Screenshot

放大火焰图。

Screenshot

放大这个 emitLog 函数。

Screenshot

大多数 emitLog 的 CPU 时间用于格式化日志消息字符串,而不是花在写文件的操作上面。

Screenshot

这是花费 CPU 时间第三多的热代码路径。

Screenshot

prepareLocalReplayViaFilterChain 函数在 Envoy 响应输出过滤器链中。链中的每个过滤器都有可能修改响应。

Screenshot

放大火焰图。

Screenshot

放大 prepareLocalReplayViaFilterChain 函数。

Screenshot

createHeaderMap 函数被调用了很多次。它主要用于为 HTTP 头分配新的哈希表。

Screenshot

newUri 函数主要用于分配和格式化 URI 字符串。

Screenshot

setStatus 函数用于设置响应状态码。

Screenshot

BodyFormatter 类的 format 方法用于格式化响应体数据。

Screenshot

setContentLength 方法也用于设置响应长度头。

Screenshot

setReferenceContentType 方法用于设置 Content-Type 响应头。

Screenshot

这是 Envoy 服务器和 OpenResty 之间的性能比较图表。可以看到,OpenResty 的吞吐量比 Envoy 服务器高出 200% 以上。

Screenshot

全自动分析报告

OpenResty XRay 也可以自动监控在线进程,并生成分析报告。切换到 “Insights” 页面。

Screenshot

您可以在 “Insights” 页面中找到以日和周为周期的报告。其实您不是非得用 “Guided Analysis” 功能。

Screenshot

当然, “Guided Analysis” 对于应用的开发和演示是很有用的。

Screenshot

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言 驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。

关于作者

章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,并编写过 60 多个开源软件库。

关注我们

如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:

我们的微信公众号

翻译

我们提供了英文版原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!