分析缺失除錯符號的 OpenResty/Nginx 應用(使用 OpenResty XRay)
本教程中,我們將展示如何自動分析沒有除錯符號的 OpenResty 和 Nginx 應用。即使在所有除錯資訊缺失的情況下,它也能透過機器學習演算法自動對可執行檔案進行分析,重建除錯符號,並透過動態追蹤進行深入和全面的分析。OpenResty XRay 擁有從被 strip 過的可執行檔案中生成除錯符號的超能力,因此即使缺失除錯符號,也能獲得 C 函式和 Lua 函式的原始檔、原始碼行相關資訊。
問題:應用缺失除錯符號
我們將展示 OpenResty XRay 如何在 OpenResty 或 Nginx 應用中,自動分析沒有除錯符號的程式。它可以透過機器學習演算法分析可執行檔案,重建除錯符號。
讓我們執行 ps
命令來檢視一個 OpenResty 或 Nginx 程序的更多細節。
可以看到該程序可執行檔案的路徑。這個 OpenResty 是使用者自己用原始碼編譯的。
使用 file
命令檢查該可執行檔案。複製這個檔案路徑。
可以看到,檔案已經被 strip 過,沒有任何除錯符號或符號表。也找不到該程式對應的除錯符號安裝包。
再用 file
命令檢查 LuaJIT 動態連結庫。
我們再次看到,LuaJIT 檔案的除錯符號也是缺失的。
自動分析與重建除錯符號
多虧了 OpenResty XRay 擁有從這樣的可執行檔案中生成除錯符號的超能力,我們才能透過動態追蹤進行深入和全面的分析。
在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。
進入 “Guided Analysis” 頁面。
這裡可以看到系統能分析的不同型別的問題。
選擇這四種型別的問題。
點選 “Next”。
選擇之前的 OpenResty 應用。
選擇 worker
程序。
OpenResty XRay 可以同時分析多種語言級別。這裡保持 Lua 和 C/C++ 都選中的狀態。
開始分析。
OpenResty XRay 會先檢查是否有可執行檔案缺少除錯符號,然後嘗試自動重建。符號重建任務正在執行。
符號重建成功後,它會像往常一樣開始執行所有相關的分析器。
停止分析。
可以看到已經自動生成了一份分析報告。
報告的第一部分是 CPU 問題型別。
首先,檢視 Lua 的效能熱點。
點選檢視更多。
這條熱程式碼路徑是從這個 C 語言級別的 CPU 火焰圖自動推匯出來的。
點選放大火焰圖。
我們可以看到所有 C 函式名稱,包括行內函數。
它甚至顯示了 C 原始檔的名稱。
還有原始碼行號!這很神奇,不是嗎?
點選檢視更多詳情。
這是佔用 CPU 時間最多的 Lua 程式碼路徑。
close
函式被 generate
函式呼叫。
generate
是一個 Lua 函式,被定義在 Lua 原始檔 lua/report.lua
中。
lua/invoice.lua
檔案中定義的 generate_monthly_report
呼叫了前面那個 generate
函式。
將滑鼠懸停在這個 generate
函式的綠框上。在提示框中可以看到其 Lua 原始檔的完整路徑。
Lua 原始碼行號為 11。
複製它的原始檔路徑。
使用 Vim 編輯器開啟它的原始檔。檢視裡面的 Lua 程式碼。您可以使用任何您喜歡的編輯器。
按照 OpenResty XRay 的建議,跳轉到第 11 行。您可以在報告中看到 close
函式。即使沒有除錯符號,我們仍然可以獲得熱點 Lua 函式和原始碼行的詳細資訊。
generate
函式用於查詢資料庫和生成報告。
讓我們看看報告中關於記憶體的分析部分。
在 Lua 語言級別的 GC 物件引用路徑中,很大一部分的記憶體被 LuaJIT 垃圾收集器尚未釋放的死亡 Lua 物件佔用。
點選放大它。
放大這條 registry -> ._LOADED
的資料引用路徑。
在這條資料引用路徑下,table
是當前 Lua 應用已載入的所有 Lua 模組的資料結構。顯然,這些載入的 Lua 模組也佔了很多的記憶體。
全自動分析與報告
OpenResty XRay 也可以自動監控線上程序,並顯示分析報告。
切換到 “Insights” 頁面。您可以在 “Insights” 頁面中找到以日和周為週期的報告。所以您不是非得用 “Guided Analysis” 功能。
當然,“Guided Analysis” 對於應用的開發和演示是很有用的。
如果您喜歡這個教程,請訂閱這個部落格網站和我們的 YouTube 頻道 或 B 站頻道。謝謝!
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!