Perl 高 CPU 使用率:火焰图定位正则表达式热点(100% CPU 实战排查)
今天我将向您逐步地展示如何使用 OpenResty XRay 快速定位一个运行中的 Perl 进程中那些最热的 Perl 代码路径。这些代码路径消耗最多的 CPU 时间,会影响您应用程序的性能。
问题: 高 CPU 使用率
首先运行 top 命令来检查 CPU 使用情况。
如您所见,一个 Perl 进程占用了 100% 的 CPU 核心资源。(如果你的症状恰好相反——请求不断进来而 CPU 使用率却始终上不去——请参阅定位阻塞的 Perl 代码路径。)
运行 ps 命令来查看这个进程的完整命令行。
可以看到它是 Linux 发行版自带的标准 Perl 二进制可执行文件。
使用 OpenResty XRay 的引导式分析功能定位最热的 Perl 代码路径
现在来使用 OpenResty XRay 来检查这个未经修改的进程。我们可以对它进行实时分析,弄清楚 CPU 使用率高的原因。
在浏览器中打开 OpenResty XRay 的 web 控制台。
确认您分析的是正确的机器。
进入”引导式分析“页面。
这里可以看到您可以分析的问题的不同类型。
让我们选择”高 CPU 使用率“。
点击“下一步”。
选择应用程序。
选择消耗 99% CPU 资源的进程。也就是我们之前在 top 中看到的进程。
确保应用程序类型是正确的。
通常默认值就是正确的。
OpenResty XRay 可以同时分析多种语言级别。这里保持 Perl 和 C 都选中的状态。
我们还可以设置最大分析时间。这里保持默认值 300 秒不变。
开始分析。
系统将持续进行多轮分析。现在它正在运行第一轮分析。
第一轮分析完成了,现在已经进行到第二轮分析了。对于这个案例,两轮分析已经足够了。
现在让我们停止分析。
C 级别 CPU 火焰图分析
可以看到系统已经自动创建了一个报告。
这是 CPU 最热的 C 代码路径。
这是一个在 Perl VM 运行时中的名为 Perl_fbm_instr 的 C 函数。它使用 FBM 算法来搜索字符串,以进行正则表达式匹配。
这里的 C 函数表明,它确实在进行正则表达式匹配。
perl_run 函数意味着 Perl VM 当前正在执行 Perl 代码。
Perl 级别 CPU 火焰图分析
在检查了最热的 C 代码路径后,我们再看看最热的 Perl 代码路径。
这个 C 函数仍然是我们刚才讨论过的 Perl_fbm_instr。
这是一个名为 scan 的 Perl 函数。它是业务逻辑的一部分,它在 Services::Processor 包中。
这两个作为调用者的 Perl 函数在业务代码级别给出了更多的上下文线索。
这个 Perl 函数属于 Dancer2 Perl web 框架。
这是第二热的 Perl 代码路径。
唯一的区别是这个 Glibc 函数,memchr。它使用 Intel AVX2 指令集在内存缓冲区中搜索字符。也是正则表达式匹配操作的一部分。Perl 函数调用链完全相同。
定位 Perl 源文件和行号
点击”更多”来查看关于最热的 Perl 代码路径的详细信息。
上面展示的代码路径是从这个 Perl 语言级别 CPU 火焰图中自动推导出来的。
下面是关于当前问题的更详细的解释和建议。
它谈到了我们之前看到的 Perl_fbm_instr C 函数。
它提到了这个函数使用了 “Fast Boyer-Moore” 字符串搜索算法。
它还提及了 Perl 函数 scan。
它提到了这个函数在 Services::Processor 包中。
将鼠标悬停在这个名为 scan 的 Perl 函数的绿色框上。
我们可以看到 scan 函数的 Perl 源文件。并且在提示框中看到 Processor.pm 文件的完整路径。
Perl 源代码行号是 14。
点击这个小图标复制这个函数完整的 Perl 源文件路径。
在终端里粘贴我们刚刚复制的代码路径,使用 vim 编辑器查看相应的 Perl 业务代码。您也可以使用其他任何您喜欢的编辑器。
跳转到报告提示框中显示的第 14 行。
可以看到这行 Perl 代码确实在做正则表达式匹配。
它也在报告中显示的 scan 函数中。
全自动分析与报告
OpenResty XRay 也可以自动监控在线进程,并显示分析报告。
进入 “Insights” 页面。
您可以在 “Insights” 页面中找到以日和周为周期的报告。
所以其实您不是一定要使用引导式分析功能。尽管引导式分析对于应用程序的开发和演示是很有用的。
常见问题:Perl 高 CPU 使用率
为什么我的 Perl 进程 CPU 占用 100%?
Perl 高 CPU 使用率的常见原因是热点代码路径中开销高昂的正则表达式操作。在本文案例中,OpenResty XRay 将 CPU 瓶颈定位到 Perl_fbm_instr——Perl VM 中实现 Fast Boyer-Moore 字符串搜索、用于正则匹配的 C 函数——调用自 Services::Processor::scan 函数的第 14 行。CPU 火焰图完整地展示了从 Dancer2 框架一直到 VM 级正则函数的调用链。
如何找到导致 CPU 高的 Perl 代码?
使用 OpenResty XRay 的引导式分析功能,同时生成 C 级别和 Perl 级别的 CPU 火焰图。火焰图以堆叠的函数调用展示热点,方框宽度代表 CPU 时间占比。将鼠标悬停在函数方框上即可看到源文件路径和行号,然后用任意编辑器打开该文件,就能检查具体的问题代码。
正则表达式会导致 Perl CPU 使用率高吗?
会。Perl VM 函数 Perl_fbm_instr 使用 Fast Boyer-Moore 字符串搜索算法进行正则匹配,它是本文案例中最主要的 CPU 消耗者——在第一和第二热的 C 语言级代码路径中都是叶子函数。相关的 Glibc 函数 memchr(使用 Intel AVX2 指令集)也是正则匹配负载的一部分。
什么是 Perl 的 CPU 火焰图?
CPU 火焰图是一种堆叠函数调用的可视化图形,每个方框的宽度代表相对的 CPU 时间占比。OpenResty XRay 可以同时生成 C 级别和 Perl 级别的 CPU 火焰图,从 Perl VM 内部函数(如 Perl_fbm_instr)一路追踪到具体的 Perl 源文件和行号。
关于 OpenResty XRay
OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用程序,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。
关于本文和关联视频
本文和相关联的视频都是完全由我们的 OpenResty Showman 产品从一个简单的剧本文件自动生成的。
关于作者
章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。
章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,并编写过 60 多个开源软件库。
关注我们
如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:
翻译
我们提供了英文版原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!

































































