线上快速定位硬盘 I/O 高的 Python 代码路径(使用 OpenResty XRay)
在本教程中,您将学习如何利用 OpenResty XRay 对在线 Python 应用的硬盘 I/O 高的问题进行定量分析。通过 OpenResty XRay 生成的 Python 级别硬盘读写次数、延时以及吞吐量火焰图,您能够识别出导致硬盘读写延迟最长和数据量最大的 Python 代码路径。此外,它还能帮助您精确到具体的 Python 代码行,从而快速定位问题所在,并指导优化。
问题:硬盘 I/O 高
在 OpenResty XRay 的 Dashboard 上,我们发现了一个名为 order-service
的 Python 应用。经过采样和分析,XRay 发现它的硬盘 I/O 存在问题。
首先,运行 ps
命令来查看该应用。
我们可以看到完整的命令行。
使用 OpenResty XRay 来检查这个未经修改的应用。我们可以对它进行实时分析,并找出原因。
定位有问题的 Python 代码路径
切换到 OpenResty XRay 的 Web 控制台。确保当前分析的机器是正确的。
如果不对,可以在列表中重新选择。
进入 “Guided Analysis” 页面。
这里可以看到系统能分析的不同类型的问题。
选择 “High disk IO“。
点击 “Next”。
选择名为 order-service
的 Python 应用。
选择我们之前在 ps
命令中看到的进程。
确保应用的类型是正确的。通常默认值就是对的。
OpenResty XRay 可以在多种不同语言的级别上进行分析。这里保持 Python 和 C/C++ 都选中。
我们还可以设置最长的分析时间。这里保持默认的 300 秒不变。
开始分析。
系统将持续执行多轮分析。目前它正在运行第一轮分析。
第一轮分析已经完成,现在进入第二轮。对这个例子来说,运行一轮分析就够了。
停止分析。
可以看到自动生成了一份分析报告。
这是我们要分析的问题类型,“Disk I/O”。
这是对硬盘读取次数的分析。
硬盘读取最频繁的是这条代码路径。
__read
是一个用于从文件中读取数据的函数。
download_file
是一个用于下载文件的业务级函数。
点击查看更多细节。
这条热代码路径是从这个 Python 级别的硬盘读取次数火焰图自动推导出来的。
下面是对问题更详细的解释和建议。它解释了我们刚刚看到的 __read
函数。
让我们回到原始的代码路径。将鼠标停在这个函数的绿框上。在提示框中可以看到这个函数的源文件名和完整路径。
这行源码的行号是 10。
点击图标,复制这个函数的 Python 源文件路径。
用 vim 编辑器打开源文件。查看该文件内的 Python 源代码。您可以使用任何您喜欢的编辑器。
正如 OpenResty XRay 建议的那样检查第 10 行。
这行代码正在从文件中读取数据。
这是对硬盘读取吞吐量的分析。
这条代码路径,也用于处理文件下载。
这条路径的数据读取速率接近 269 兆字节每秒。
这是对硬盘读取延时的分析。
可以看到这条代码路径和我们刚才分析的代码路径是同一条,也是处理文件下载的。
它是硬盘读取延时的全部来源。
这是对读取最多的文件的分析。
读取数据量最大的文件是 pic-ocean-wave.jpg
。
其数据的读取速率达到了 193 兆字节每秒。
这些是累积读取延时最长的文件。
延时最长的文件是 pic-ocean-wave.jpg
。
延时占比为 75%。
这是对硬盘写入操作次数的分析。
硬盘的写入操作全部来源于这条代码路径。
write
是将数据写入文件的函数。
flush
是 Python 日志模块中的一个函数,用于确保所有日志信息都已完全写入。
emit
是日志模块中的一个函数,用于处理日志记录。
全自动分析报告
OpenResty XRay 也可以自动监控在线进程,并生成分析报告。切换到 “Insights” 页面。
您可以在 “Insights” 页面中找到以日和周为周期的自动报告。所以您不是非得用 “Guided Analysis” 功能。
当然,“Guided Analysis” 对于应用的开发和演示是很有用的。
关于 OpenResty XRay
OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用程序,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。
关于作者
章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。
章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,并编写过 60 多个开源软件库。
关注我们
如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:
翻译
我们提供了英文版原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!