今天我将向您逐步地展示如何使用 OpenResty XRay 快速定位一个运行中的 Perl 进程中那些最热的 Perl 代码路径。这些代码路径消耗最多的 CPU 时间,会影响您应用程序的性能。

问题: 高 CPU 使用率

首先运行 top 命令来检查 CPU 使用情况。

如您所见,一个 Perl 进程占用了 100% 的 CPU 核心资源。(如果你的症状恰好相反——请求不断进来而 CPU 使用率却始终上不去——请参阅定位阻塞的 Perl 代码路径。)

top 命令显示 Perl 进程占用 CPU 核心 100%

运行 ps 命令来查看这个进程的完整命令行。

可以看到它是 Linux 发行版自带的标准 Perl 二进制可执行文件。

ps 命令显示 Perl 进程的完整命令行

使用 OpenResty XRay 的引导式分析功能定位最热的 Perl 代码路径

现在来使用 OpenResty XRay 来检查这个未经修改的进程。我们可以对它进行实时分析,弄清楚 CPU 使用率高的原因。

在浏览器中打开 OpenResty XRay 的 web 控制台。

OpenResty XRay Web 控制台

确认您分析的是正确的机器。

确认分析目标机器

进入”引导式分析“页面。

进入引导式分析页面

这里可以看到您可以分析的问题的不同类型。

可分析的问题类型列表

让我们选择”高 CPU 使用率“。

选择"高 CPU 使用率"

点击“下一步”。

点击"下一步"按钮

选择应用程序。

OpenResty XRay 自动发现目标机器上的 Go、Python 和 Perl 应用

选择消耗 99% CPU 资源的进程。也就是我们之前在 top 中看到的进程。

选择 PID 868535 (perl) CPU 99%、RSS 159MB 的进程

确保应用程序类型是正确的。

确认应用程序类型

通常默认值就是正确的。

OpenResty XRay 可以同时分析多种语言级别。这里保持 Perl 和 C 都选中的状态。

语言级别设置为 Perl 和 C,最大分析时间 300 秒

我们还可以设置最大分析时间。这里保持默认值 300 秒不变。

最大分析时间设置界面

开始分析。

开始分析按钮

系统将持续进行多轮分析。现在它正在运行第一轮分析。

正在运行第一轮分析

第一轮分析完成了,现在已经进行到第二轮分析了。对于这个案例,两轮分析已经足够了。

第二轮分析完成

现在让我们停止分析。

停止分析按钮

C 级别 CPU 火焰图分析

可以看到系统已经自动创建了一个报告。

自动生成的分析报告

这是 CPU 最热的 C 代码路径。

CPU 最热的 C 代码路径

这是一个在 Perl VM 运行时中的名为 Perl_fbm_instr 的 C 函数。它使用 FBM 算法来搜索字符串,以进行正则表达式匹配。

Perl_fbm_instr 函数为最大 CPU 消耗函数

这里的 C 函数表明,它确实在进行正则表达式匹配。

表明正则表达式匹配的 C 函数

perl_run 函数意味着 Perl VM 当前正在执行 Perl 代码。

perl_run 函数表示 Perl VM 正在执行代码

Perl 级别 CPU 火焰图分析

在检查了最热的 C 代码路径后,我们再看看最热的 Perl 代码路径。

切换查看最热的 Perl 代码路径

这个 C 函数仍然是我们刚才讨论过的 Perl_fbm_instr

Perl 级别分析中的 Perl_fbm_instr C 函数

这是一个名为 scan 的 Perl 函数。它是业务逻辑的一部分,它在 Services::Processor 包中。

Services::Processor::scan Perl 函数被定位为热点

这两个作为调用者的 Perl 函数在业务代码级别给出了更多的上下文线索。

提供业务代码上下文的调用者 Perl 函数

这个 Perl 函数属于 Dancer2 Perl web 框架。

调用链中的 Dancer2 Web 框架函数

这是第二热的 Perl 代码路径。

第二热的 Perl 代码路径

唯一的区别是这个 Glibc 函数,memchr。它使用 Intel AVX2 指令集在内存缓冲区中搜索字符。也是正则表达式匹配操作的一部分。Perl 函数调用链完全相同。

使用 AVX2 字符串搜索的 memchr 函数

定位 Perl 源文件和行号

点击”更多”来查看关于最热的 Perl 代码路径的详细信息。

点击"更多"查看热代码路径详情

上面展示的代码路径是从这个 Perl 语言级别 CPU 火焰图中自动推导出来的。

OpenResty XRay 生成的 Perl 级别 CPU 火焰图

下面是关于当前问题的更详细的解释和建议。

CPU 热点的详细解释和建议

它谈到了我们之前看到的 Perl_fbm_instr C 函数。

报告讨论 Perl_fbm_instr C 函数

它提到了这个函数使用了 “Fast Boyer-Moore” 字符串搜索算法。

报告提及 Fast Boyer-Moore 字符串搜索算法

它还提及了 Perl 函数 scan

报告定位 Perl scan 函数

它提到了这个函数在 Services::Processor 包中。

显示 Services::Processor 包

将鼠标悬停在这个名为 scan 的 Perl 函数的绿色框上。

我们可以看到 scan 函数的 Perl 源文件。并且在提示框中看到 Processor.pm 文件的完整路径。

工具提示显示 scan 函数的 Perl 源文件路径

Perl 源代码行号是 14。

火焰图工具提示中显示 Perl 源代码行号 14

点击这个小图标复制这个函数完整的 Perl 源文件路径。

从火焰图复制 Perl 源文件路径

在终端里粘贴我们刚刚复制的代码路径,使用 vim 编辑器查看相应的 Perl 业务代码。您也可以使用其他任何您喜欢的编辑器。

在 vim 编辑器中打开 Perl 源文件

跳转到报告提示框中显示的第 14 行。

查看 Perl 源文件的第 14 行

可以看到这行 Perl 代码确实在做正则表达式匹配。

第 14 行显示正则表达式匹配的 Perl 源代码

它也在报告中显示的 scan 函数中。

Perl 源文件中的 scan 函数定义

全自动分析与报告

OpenResty XRay 也可以自动监控在线进程,并显示分析报告。

进入 “Insights” 页面。

进入 Insights 页面

您可以在 “Insights” 页面中找到以日和周为周期的报告。

Insights 页面显示 Perl 应用的自动日报(CPU max 101%,6 条 CPU 发现)

所以其实您不是一定要使用引导式分析功能。尽管引导式分析对于应用程序的开发和演示是很有用的。

引导式分析适用于应用开发和演示

常见问题:Perl 高 CPU 使用率

为什么我的 Perl 进程 CPU 占用 100%?

Perl 高 CPU 使用率的常见原因是热点代码路径中开销高昂的正则表达式操作。在本文案例中,OpenResty XRay 将 CPU 瓶颈定位到 Perl_fbm_instr——Perl VM 中实现 Fast Boyer-Moore 字符串搜索、用于正则匹配的 C 函数——调用自 Services::Processor::scan 函数的第 14 行。CPU 火焰图完整地展示了从 Dancer2 框架一直到 VM 级正则函数的调用链。

如何找到导致 CPU 高的 Perl 代码?

使用 OpenResty XRay 的引导式分析功能,同时生成 C 级别和 Perl 级别的 CPU 火焰图。火焰图以堆叠的函数调用展示热点,方框宽度代表 CPU 时间占比。将鼠标悬停在函数方框上即可看到源文件路径和行号,然后用任意编辑器打开该文件,就能检查具体的问题代码。

正则表达式会导致 Perl CPU 使用率高吗?

会。Perl VM 函数 Perl_fbm_instr 使用 Fast Boyer-Moore 字符串搜索算法进行正则匹配,它是本文案例中最主要的 CPU 消耗者——在第一和第二热的 C 语言级代码路径中都是叶子函数。相关的 Glibc 函数 memchr(使用 Intel AVX2 指令集)也是正则匹配负载的一部分。

什么是 Perl 的 CPU 火焰图?

CPU 火焰图是一种堆叠函数调用的可视化图形,每个方框的宽度代表相对的 CPU 时间占比。OpenResty XRay 可以同时生成 C 级别和 Perl 级别的 CPU 火焰图,从 Perl VM 内部函数(如 Perl_fbm_instr)一路追踪到具体的 Perl 源文件和行号。

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用程序,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。

关于本文和关联视频

本文和相关联的视频都是完全由我们的 OpenResty Showman 产品从一个简单的剧本文件自动生成的。

关于作者

章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,并编写过 60 多个开源软件库。

关注我们

如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:

我们的微信公众号

翻译

我们提供了英文版原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!