OpenResty XRay 基于非侵入式动态追踪技术,无需重启或修改进程即可追踪生产环境中 Rust 应用的 panic,包括导致进程崩溃的 panic 和被应用自身捕获、不会崩溃的 panic。它会自动解读 Rust 语言级别的异常火焰图,精确定位抛出 panic 的具体代码路径,并将性能开销降到最低,适合对延迟敏感的生产环境。

本教程将演示如何使用 XRay 的引导式分析(Guided Analysis)功能,在一个真实的 Rust 应用中追踪 panic——从启动分析到查看自动生成的报告。

用 XRay 引导式分析追踪 Rust Panic

配置并运行 Rust Panic 引导式分析

本视频将演示如何实时分析 Rust 应用中的程序异常,或者说 panic。在浏览器中打开 OpenResty XRay 的 Web 控制台。

Screenshot

确保当前分析的机器是正确的。

Screenshot

如果不对,我们可以在下面的列表重新选择。

Screenshot

进入 “Guided Analysis” 页面。

Screenshot

这里可以看到系统能分析的不同类型的问题。

Screenshot

选择 “Errors & exceptions”。

Screenshot

点击 “Next”。

Screenshot

选择之前的 Rust 应用。

Screenshot

选择 “Whole application”。

Screenshot

确保应用的类型是正确的。通常默认值就是对的。

Screenshot

这里的语言级别就只有 “Rust” 了。

Screenshot

我们还可以设置最长的分析时间。这里保持默认的 300 秒不变。

Screenshot

开始分析。

Screenshot

系统将持续执行多轮分析。目前它正在运行第一轮分析。

Screenshot

第一轮分析已经完成,现在进入第二轮。对这个例子来说,运行一轮分析就够了。

Screenshot

停止分析。

Screenshot

查看 Panic 分析报告与热代码路径

可以看到自动生成了一份分析报告。

Screenshot

这是我们要分析的问题类型,Errors & Exceptions。

Screenshot

报告展示了抛出最多 Rust 程序异常的代码路径。

Screenshot

internal_constructor 函数用于构造 PanicInfo 结构体。它包含有关程序异常的位置等相关信息。

Screenshot

panic_fmt 函数是一个底层函数,用于格式化并触发程序异常。

Screenshot

如果有数组或切片边界检查失败,panic_bounds_check 函数会抛出异常。这是一种 Rust 保护机制,可以避免在运行时发生内存越界访问。

Screenshot

stat_client_usage 函数属于目标应用的业务级代码。

Screenshot

点击查看更多细节。

Screenshot

这条热代码路径,是从这张 Rust 语言级别的异常火焰图,自动推导出来的。

Screenshot

下面是对问题更详细的解释和建议。它提到了我们之前看到的 PanicInfo 结构体。

Screenshot

也解释了程序异常是由范围边界访问失败引起。

Screenshot

定位到具体的 Rust 源码行

回到刚才的热代码路径。将鼠标悬停在这个函数的绿框上。在提示框中可以看到这个函数的源文件名和完整路径。

Screenshot

这行源码的行号是 7。

Screenshot

点击这个图标,复制这个函数的源文件路径。

Screenshot

用 vim 编辑器打开源文件。粘贴我们刚才复制的文件路径。您可以使用任何您喜欢的编辑器。

Screenshot

正如 OpenResty XRay 建议的那样跳转到第 7 行。

数组下标 client_id 可能会超出数组 CLIENTS 的大小。根据之前看到的 panic_bounds_check 函数,这里显然存在数据下标越界访问。

Screenshot

如报告所示,这一行位于 stat_client_usage 函数内部。 这个 Rust 异常其实已经被 Rust 应用自身捕获住,并不会导致 Rust 应用崩溃。即便如此,OpenResty XRay 仍然可以实时检测和追踪到。

Screenshot

无需引导式分析:Rust Panic 自动报告

我们的产品也可以自动监控在线进程,并生成分析报告。切换到 “Insights” 页面。

Screenshot

您可以在 “Insights” 页面中找到以日和周为周期的自动报告。其实您不是非得用 “Guided Analysis” 功能。

Screenshot

当然, “Guided Analysis” 对于应用的开发和演示是很有用的。

Screenshot

常见问题

Q: OpenResty XRay 是如何在不重启应用的情况下检测 Rust Panic 的? A: XRay 基于非侵入式动态追踪技术——底层由 Y 语言驱动,支持 Stap+、eBPF+、GDB 等多种运行时——从进程外部观测正在运行的 Rust 进程,因此无需触碰进程本身的代码或生命周期即可捕获 panic。

Q: 已经被应用自身捕获、不会导致崩溃的 Rust panic,XRay 还能检测到吗? A: 可以。即使 panic 已经被应用自身捕获、不会导致崩溃,XRay 仍能实时检测并追踪其背后的代码路径,这是大多数基于日志的方案做不到的。

Q: panic_bounds_check 函数说明了什么问题? A: panic_bounds_check 会在数组或切片边界检查失败时抛出 panic——这是 Rust 用于防止运行时内存越界访问的保护机制。在异常火焰图里看到它,基本就能直接定位到一处数据下标越界的 bug。

Q: 不运行引导式分析,要怎么查看 Rust panic 报告? A: XRay 控制台的 “Insights” 页面会自动生成日报和周报,不需要每次都手动跑一次引导式分析。

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言 驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。

关于作者

章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,并编写过 60 多个开源软件库。

关注我们

如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:

我们的微信公众号

翻译

我们提供了英文版 原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!