生產環境如何追蹤 Go Panic(無需重啟應用)
OpenResty XRay 基於非侵入式動態追蹤技術,無需重啟或重新編譯即可追蹤生產環境中 Go 應用的 panic,包括導致程序崩潰的 panic 和被捕獲、不會崩潰的 panic。它會自動解讀 Go 語言級別的異常火焰圖,精確定位丟擲 panic 的具體程式碼路徑,並將效能開銷降到最低,適合對延遲敏感的生產環境。
本教程將演示如何使用 XRay 的引導式分析(Guided Analysis)功能,在一個真實的 Go 應用中追蹤 panic——從啟動分析到檢視自動生成的報告。
用 XRay 引導式分析追蹤 Go Panic
開啟 XRay 控制檯並執行 Go Panic 引導式分析
本文將演示如何線上分析任意正在執行的 Go 應用中的程式異常,或者說 panic。我們使用的是 Linux 發行版自帶的未經修改的 Go 編譯器。
目標 Go 程式是使用普通的 go build 命令編譯的。不需要做任何更改,無需新增任何特殊選項。
在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。
確保當前分析的機器是正確的。
如果不對,我們可以在下面的列表重新選擇。
進入 “Guided Analysis” 頁面。
這裡可以看到系統能分析的不同型別的問題。
選擇 “Errors & exceptions”。
點選 “Next”。
選擇之前的 Go 應用。
選擇之前的目標程序。
確保應用的型別是正確的。通常預設值就是對的。
這裡的語言級別就只有 “Go” 了。
我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。
開始分析。
系統將持續執行多輪分析。目前它正在執行第一輪分析。
第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。
停止分析。
追蹤第一個 Go Panic:gopanic 引發的除零錯誤
可以看到自動生成了一份分析報告。
這是我們要分析的問題型別,“Errors & exceptions”。
看一下第一條丟擲異常的 Go 程式碼路徑。
Go 最終會透過其執行時的 gopanic 函式丟擲異常。
在這條程式碼路徑中,gopanic 函式由執行時的 panicdivide 函式呼叫。意味著這是一個除零錯誤。
根據呼叫上下文,是函式 calculate 丟擲了程式異常。這個函式屬於業務層面的程式碼。
handleHTTPRequest 函式屬於 golang 的 Gin 這個 Web 框架。該函式負責處理傳入的 HTTP 請求。
點選 “More”。
這條熱程式碼路徑是從這個 Go 級別的異常火焰圖自動推匯出來的。
下面是對問題更詳細的解釋和建議。它提到了上面的程式異常,是由除零錯誤引起的。
這是一個能修復這個錯誤的程式碼示例。
回到原始的熱程式碼路徑。將滑鼠懸停在 calculate 函式的綠框上。
在提示框中可以看到這個函式的原始檔名和完整路徑。
這行原始碼的行號是 25。
點選這個圖示,複製這個函式的原始檔路徑。
用 vim 編輯器開啟原始檔。貼上我們剛才複製的檔案路徑。您可以使用任何您喜歡的編輯器。
正如 OpenResty XRay 建議的那樣跳轉到第 25 行。
如我們剛剛在程式碼路徑看到的,這行程式碼正是在 calculate 函式內部。我們應該先檢查除數 b 是否為零。
追蹤第二個 Go Panic:goPanicIndex 引發的陣列越界
接下來,檢視第二條丟擲程式異常的程式碼路徑。
這是和上面類似的 gopanic 函式。
goPanicIndex 函式也屬於 Go 的標準執行時。在這條程式碼路徑中,這個程式異常是由執行時的 goPanicIndex 函式觸發的。
可能是這個 weekday.Handler 函式中的陣列或切片索引發生了越界訪問。這個 Go 函式是業務程式碼級別的。
將滑鼠懸停於這個函式上方,在提示框中可以看到它的原始檔路徑。
這行原始碼的行號是 17。
複製它的原始檔路徑。
在終端上開啟原始檔。貼上剛才複製的檔案路徑。
跳轉到第 17 行。可以看到,確實是在透過索引訪問陣列元素。
這個陣列變數名為 weekDays。
該函式沒有確認索引變數 i 的值範圍。
而這個 i 變數可以從客戶端請求中獲取任意整數值。
無需引導式分析:Go Panic 自動報告
OpenResty XRay 也可以自動監控線上程序,並生成分析報告。
切換到 “Insights” 頁面。
您可以在 “Insights” 頁面中找到以日和周為週期的自動報告。其實您不是非得用 “Guided Analysis” 功能。
當然,“Guided Analysis” 對於應用的開發和演示是很有用的。
常見問題
Q: OpenResty XRay 是如何在不重啟應用的情況下檢測 Go Panic 的?
A: XRay 基於非侵入式動態追蹤技術——底層由 Y 語言驅動,支援 Stap+、eBPF+、GDB 等多種執行時——從程序外部觀測正在執行的、未經修改的 Go 程序。不需要任何特殊編譯選項或重新編譯,普通 go build 生成的二進位制檔案即可直接使用。
Q: 已經被捕獲、不會導致崩潰的 Go panic,XRay 還能檢測到嗎? A: 可以。即使 panic 被捕獲、不會導致程序崩潰,XRay 仍能檢測到,暴露出大多數基於日誌的方案會漏掉的程式碼路徑。
Q: gopanic 是甚麼,它如何幫助追蹤 Go panic?
A: gopanic 是 Go 執行時中所有 panic 最終都會經過的函式。它的呼叫者——比如除零錯誤對應的 panicdivide,陣列越界對應的 goPanicIndex——在你檢視業務程式碼之前,就已經告訴你這是哪一類 panic。
Q: 不執行引導式分析,要怎麼檢視 Go panic 報告? A: XRay 控制檯的 “Insights” 頁面會自動生成日報和週報,不需要每次都手動跑一次引導式分析。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言 驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!






































































