生產環境如何追蹤 Rust Panic(無需重啟應用)
OpenResty XRay 基於非侵入式動態追蹤技術,無需重啟或修改程序即可追蹤生產環境中 Rust 應用的 panic,包括導致程序崩潰的 panic 和被應用自身捕獲、不會崩潰的 panic。它會自動解讀 Rust 語言級別的異常火焰圖,精確定位丟擲 panic 的具體程式碼路徑,並將效能開銷降到最低,適合對延遲敏感的生產環境。
本教程將演示如何使用 XRay 的引導式分析(Guided Analysis)功能,在一個真實的 Rust 應用中追蹤 panic——從啟動分析到檢視自動生成的報告。
用 XRay 引導式分析追蹤 Rust Panic
配置並執行 Rust Panic 引導式分析
本影片將演示如何實時分析 Rust 應用中的程式異常,或者說 panic。在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。
確保當前分析的機器是正確的。
如果不對,我們可以在下面的列表重新選擇。
進入 “Guided Analysis” 頁面。
這裡可以看到系統能分析的不同型別的問題。
選擇 “Errors & exceptions”。
點選 “Next”。
選擇之前的 Rust 應用。
選擇 “Whole application”。
確保應用的型別是正確的。通常預設值就是對的。
這裡的語言級別就只有 “Rust” 了。
我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。
開始分析。
系統將持續執行多輪分析。目前它正在執行第一輪分析。
第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。
停止分析。
檢視 Panic 分析報告與熱程式碼路徑
可以看到自動生成了一份分析報告。
這是我們要分析的問題型別,Errors & Exceptions。
報告展示了丟擲最多 Rust 程式異常的程式碼路徑。
internal_constructor 函式用於構造 PanicInfo 結構體。它包含有關程式異常的位置等相關資訊。
panic_fmt 函式是一個底層函式,用於格式化並觸發程式異常。
如果有陣列或切片邊界檢查失敗,panic_bounds_check 函式會丟擲異常。這是一種 Rust 保護機制,可以避免在執行時發生記憶體越界訪問。
stat_client_usage 函式屬於目標應用的業務級程式碼。
點選檢視更多細節。
這條熱程式碼路徑,是從這張 Rust 語言級別的異常火焰圖,自動推匯出來的。
下面是對問題更詳細的解釋和建議。它提到了我們之前看到的 PanicInfo 結構體。
也解釋了程式異常是由範圍邊界訪問失敗引起。
定位到具體的 Rust 原始碼行
回到剛才的熱程式碼路徑。將滑鼠懸停在這個函式的綠框上。在提示框中可以看到這個函式的原始檔名和完整路徑。
這行原始碼的行號是 7。
點選這個圖示,複製這個函式的原始檔路徑。
用 vim 編輯器開啟原始檔。貼上我們剛才複製的檔案路徑。您可以使用任何您喜歡的編輯器。
正如 OpenResty XRay 建議的那樣跳轉到第 7 行。
陣列下標 client_id 可能會超出陣列 CLIENTS 的大小。根據之前看到的 panic_bounds_check 函式,這裡顯然存在資料下標越界訪問。
如報告所示,這一行位於 stat_client_usage 函式內部。 這個 Rust 異常其實已經被 Rust 應用自身捕獲住,並不會導致 Rust 應用崩潰。即便如此,OpenResty XRay 仍然可以實時檢測和追蹤到。
無需引導式分析:Rust Panic 自動報告
我們的產品也可以自動監控線上程序,並生成分析報告。切換到 “Insights” 頁面。
您可以在 “Insights” 頁面中找到以日和周為週期的自動報告。其實您不是非得用 “Guided Analysis” 功能。
當然, “Guided Analysis” 對於應用的開發和演示是很有用的。
常見問題
Q: OpenResty XRay 是如何在不重啟應用的情況下檢測 Rust Panic 的? A: XRay 基於非侵入式動態追蹤技術——底層由 Y 語言驅動,支援 Stap+、eBPF+、GDB 等多種執行時——從程序外部觀測正在執行的 Rust 程序,因此無需觸碰程序本身的程式碼或生命週期即可捕獲 panic。
Q: 已經被應用自身捕獲、不會導致崩潰的 Rust panic,XRay 還能檢測到嗎? A: 可以。即使 panic 已經被應用自身捕獲、不會導致崩潰,XRay 仍能實時檢測並追蹤其背後的程式碼路徑,這是大多數基於日誌的方案做不到的。
Q: panic_bounds_check 函式說明了甚麼問題?
A: panic_bounds_check 會在陣列或切片邊界檢查失敗時丟擲 panic——這是 Rust 用於防止執行時記憶體越界訪問的保護機制。在異常火焰圖裡看到它,基本就能直接定位到一處資料下標越界的 bug。
Q: 不執行引導式分析,要怎麼檢視 Rust panic 報告? A: XRay 控制檯的 “Insights” 頁面會自動生成日報和週報,不需要每次都手動跑一次引導式分析。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言 驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版 原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!























































