生产环境如何追踪 Rust Panic(无需重启应用)
OpenResty XRay 基于非侵入式动态追踪技术,无需重启或修改进程即可追踪生产环境中 Rust 应用的 panic,包括导致进程崩溃的 panic 和被应用自身捕获、不会崩溃的 panic。它会自动解读 Rust 语言级别的异常火焰图,精确定位抛出 panic 的具体代码路径,并将性能开销降到最低,适合对延迟敏感的生产环境。
本教程将演示如何使用 XRay 的引导式分析(Guided Analysis)功能,在一个真实的 Rust 应用中追踪 panic——从启动分析到查看自动生成的报告。
用 XRay 引导式分析追踪 Rust Panic
配置并运行 Rust Panic 引导式分析
本视频将演示如何实时分析 Rust 应用中的程序异常,或者说 panic。在浏览器中打开 OpenResty XRay 的 Web 控制台。
确保当前分析的机器是正确的。
如果不对,我们可以在下面的列表重新选择。
进入 “Guided Analysis” 页面。
这里可以看到系统能分析的不同类型的问题。
选择 “Errors & exceptions”。
点击 “Next”。
选择之前的 Rust 应用。
选择 “Whole application”。
确保应用的类型是正确的。通常默认值就是对的。
这里的语言级别就只有 “Rust” 了。
我们还可以设置最长的分析时间。这里保持默认的 300 秒不变。
开始分析。
系统将持续执行多轮分析。目前它正在运行第一轮分析。
第一轮分析已经完成,现在进入第二轮。对这个例子来说,运行一轮分析就够了。
停止分析。
查看 Panic 分析报告与热代码路径
可以看到自动生成了一份分析报告。
这是我们要分析的问题类型,Errors & Exceptions。
报告展示了抛出最多 Rust 程序异常的代码路径。
internal_constructor 函数用于构造 PanicInfo 结构体。它包含有关程序异常的位置等相关信息。
panic_fmt 函数是一个底层函数,用于格式化并触发程序异常。
如果有数组或切片边界检查失败,panic_bounds_check 函数会抛出异常。这是一种 Rust 保护机制,可以避免在运行时发生内存越界访问。
stat_client_usage 函数属于目标应用的业务级代码。
点击查看更多细节。
这条热代码路径,是从这张 Rust 语言级别的异常火焰图,自动推导出来的。
下面是对问题更详细的解释和建议。它提到了我们之前看到的 PanicInfo 结构体。
也解释了程序异常是由范围边界访问失败引起。
定位到具体的 Rust 源码行
回到刚才的热代码路径。将鼠标悬停在这个函数的绿框上。在提示框中可以看到这个函数的源文件名和完整路径。
这行源码的行号是 7。
点击这个图标,复制这个函数的源文件路径。
用 vim 编辑器打开源文件。粘贴我们刚才复制的文件路径。您可以使用任何您喜欢的编辑器。
正如 OpenResty XRay 建议的那样跳转到第 7 行。
数组下标 client_id 可能会超出数组 CLIENTS 的大小。根据之前看到的 panic_bounds_check 函数,这里显然存在数据下标越界访问。
如报告所示,这一行位于 stat_client_usage 函数内部。 这个 Rust 异常其实已经被 Rust 应用自身捕获住,并不会导致 Rust 应用崩溃。即便如此,OpenResty XRay 仍然可以实时检测和追踪到。
无需引导式分析:Rust Panic 自动报告
我们的产品也可以自动监控在线进程,并生成分析报告。切换到 “Insights” 页面。
您可以在 “Insights” 页面中找到以日和周为周期的自动报告。其实您不是非得用 “Guided Analysis” 功能。
当然, “Guided Analysis” 对于应用的开发和演示是很有用的。
常见问题
Q: OpenResty XRay 是如何在不重启应用的情况下检测 Rust Panic 的? A: XRay 基于非侵入式动态追踪技术——底层由 Y 语言驱动,支持 Stap+、eBPF+、GDB 等多种运行时——从进程外部观测正在运行的 Rust 进程,因此无需触碰进程本身的代码或生命周期即可捕获 panic。
Q: 已经被应用自身捕获、不会导致崩溃的 Rust panic,XRay 还能检测到吗? A: 可以。即使 panic 已经被应用自身捕获、不会导致崩溃,XRay 仍能实时检测并追踪其背后的代码路径,这是大多数基于日志的方案做不到的。
Q: panic_bounds_check 函数说明了什么问题?
A: panic_bounds_check 会在数组或切片边界检查失败时抛出 panic——这是 Rust 用于防止运行时内存越界访问的保护机制。在异常火焰图里看到它,基本就能直接定位到一处数据下标越界的 bug。
Q: 不运行引导式分析,要怎么查看 Rust panic 报告? A: XRay 控制台的 “Insights” 页面会自动生成日报和周报,不需要每次都手动跑一次引导式分析。
关于 OpenResty XRay
OpenResty XRay 是一个动态追踪产品,它可以自动分析运行中的应用,以解决性能问题、行为问题和安全漏洞,并提供可行的建议。在底层实现上,OpenResty XRay 由我们的 Y 语言 驱动,可以在不同环境下支持多种不同的运行时,如 Stap+、eBPF+、GDB 和 ODB。
关于作者
章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。
章亦春(Github ID: agentzh),生于中国江苏,现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物,曾供职于多家国际知名的高科技企业,如 Cloudflare、雅虎、阿里巴巴, 是 “边缘计算“、”动态追踪 “和 “机器编程 “的先驱,拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay(利用动态追踪技术的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最适合微服务和分布式流量的全能型网关软件),广受全球众多上市及大型企业青睐。在 OpenResty 以外,章亦春为多个开源项目贡献了累计超过百万行代码,其中包括,Linux 内核、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,并编写过 60 多个开源软件库。
关注我们
如果您喜欢本文,欢迎关注我们 OpenResty Inc. 公司的博客网站 。也欢迎扫码关注我们的微信公众号:
翻译
我们提供了英文版 原文和中译版(本文)。我们也欢迎读者提供其他语言的翻译版本,只要是全文翻译不带省略,我们都将会考虑采用,非常感谢!























































