今天我将向您逐步地展示如何使用 OpenResty XRay 快速定位一个运行中的 Perl 进程中那些最热的 Perl 代码路径。这些代码路径消耗最多的 CPU 时间,会影响您应用程序的性能。

问题: 高 CPU 使用率

首先运行 top 命令来检查 CPU 使用情况。

如您所见,一个 Perl 进程占用了 100% 的 CPU 核心资源。

Screenshot

运行 ps 命令来查看这个进程的完整命令行。

可以看到它是 Linux 发行版自带的标准 Perl 二进制可执行文件。

Screenshot

使用 OpenResty XRay 的引导式分析功能定位最热的 Perl 代码路径

现在来使用 OpenResty XRay 来检查这个未经修改的进程。我们可以对它进行实时分析,弄清楚 CPU 使用率高的原因。

在浏览器中打开 OpenResty XRay 的 web 控制台。

Screenshot

确认您分析的是正确的机器。

Screenshot

进入”引导式分析“页面。

Screenshot

这里可以看到您可以分析的问题的不同类型。

Screenshot

让我们选择”高 CPU 使用率“。

Screenshot

点击“下一步”。

Screenshot

选择应用程序。

Screenshot

选择消耗 99% CPU 资源的进程。也就是我们之前在 top 中看到的进程。

Screenshot

确保应用程序类型是正确的。

Screenshot

通常默认值就是正确的。

OpenResty XRay 可以同时分析多种语言级别。这里保持 Perl 和 C 都选中的状态。

Screenshot

我们还可以设置最大分析时间。这里保持默认值 300 秒不变。

Screenshot

开始分析。

Screenshot

系统将持续进行多轮分析。现在它正在运行第一轮分析。

Screenshot

第一轮分析完成了,现在已经进行到第二轮分析了。对于这个案例,两轮分析已经足够了。

Screenshot

现在让我们停止分析。

Screenshot

可以看到系统已经自动创建了一个报告。

Screenshot

这是 CPU 最热的 C 代码路径。

Screenshot

这是一个在 Perl VM 运行时中的名为 Perl_fbm_instr 的 C 函数。它使用 FBM 算法来搜索字符串,以进行正则表达式匹配。

Screenshot

这里的 C 函数表明,它确实在进行正则表达式匹配。

Screenshot

perl_run 函数意味着 Perl VM 当前正在执行 Perl 代码。

Screenshot

在检查了最热的 C 代码路径后,我们再看看最热的 Perl 代码路径。

Screenshot

这个 C 函数仍然是我们刚才讨论过的 Perl_fbm_instr

Screenshot

这是一个名为 scan 的 Perl 函数。它是业务逻辑的一部分,它在 Services::Processor 包中。

Screenshot

这两个作为调用者的 Perl 函数在业务代码级别给出了更多的上下文线索。

Screenshot

这个 Perl 函数属于 Dancer2 Perl web 框架。

Screenshot

这是第二热的 Perl 代码路径。

Screenshot

唯一的区别是这个 Glibc 函数,memchr。它使用 Intel AVX2 指令集在内存缓冲区中搜索字符。也是正则表达式匹配操作的一部分。Perl 函数调用链完全相同。

Screenshot

点击“更多”来查看关于最热的 Perl 代码路径的详细信息。

Screenshot

上面展示的代码路径是从这个 Perl 语言级别 CPU 火焰图中自动推导出来的。

Screenshot

下面是关于当前问题的更详细的解释和建议。

Screenshot

它谈到了我们之前看到的 Perl_fbm_instr C 函数。

Screenshot

它提到了这个函数使用了 “Fast Boyer-Moore” 字符串搜索算法。

Screenshot

它还提及了 Perl 函数 scan

Screenshot

它提到了这个函数在 Services:Processor 包中。

Screenshot

将鼠标悬停在这个名为 scan 的 Perl 函数的绿色框上。

我们可以看到 scan 函数的 Perl 源文件。并且在提示框中看到 Processor.pm 文件的完整路径。

Screenshot

Perl 源代码行号是 14。

Screenshot

点击这个小图标复制这个函数完整的 Perl 源文件路径。

Screenshot

在终端里粘贴我们刚刚复制的代码路径,使用 vim 编辑器查看相应的 Perl 业务代码。您也可以使用其他任何您喜欢的编辑器。

Screenshot

跳转到报告提示框中显示的第 14 行。

Screenshot

可以看到这行 Perl 代码确实在做正则表达式匹配。

Screenshot

它也在报告中显示的 scan 函数中。

Screenshot

全自动分析与报告

OpenResty XRay 也可以自动监控在线进程,并显示分析报告。

进入 “Insights” 页面。

Screenshot

您可以在 “Insights” 页面中找到以日和周为周期的报告。

Screenshot

所以其实您不是一定要使用引导式分析功能。尽管引导式分析对于应用程序的开发和演示是很有用的。

Screenshot

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用程序,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。

关于本文和关联视频

本文和相关联的视频都是完全由我们的 OpenResty Showman 产品从一个简单的剧本文件自动生成的。

关于作者

章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,并编写过 60 多个开源软件库。

关注我们

如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:

我们的微信公众号

翻译

我们提供了英文版原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!