今天我將逐步向您展示一個使用 OpenResty XRay 分析 Erlang/OTP 應用的例子。我們將快速定位一個已經在執行的 Erlang 程序中最熱的程式碼路徑。這些程式碼路徑消耗最多的 CPU 時間,會影響您應用的效能。OpenResty XRay 可以同時分析 Erlang 語言層面和更底層的 Beam 虛擬機器的 C 語言層面。OpenResty XRay 是真正的非侵入式動態分析,無需在目標應用中安裝任何特殊模組或外掛,無需重新編譯目標應用,甚至無需重啟已經在執行的程序。

問題:高 CPU 使用率

先執行 top 命令來檢查目標程序的 CPU 使用情況。

Screenshot

可以看到,這個程序消耗超過 200% 的 CPU 資源。

Screenshot

它名為 rebar3,是管理和構建 Erlang 專案的工具,這裡我們用來啟動專案。

Screenshot

執行 ps 命令來檢視這個程序的詳情。

Screenshot

這個 rebar3 二進位制可執行檔案是 Linux 發行版自帶的。這個程式自然也是用標準發行版自帶的 Erlang 編譯的。

Screenshot

使用引導式分析功能定位 CPU 最熱的 Erlang 程式碼路徑

讓我們使用 OpenResty XRay 來檢查這個未經修改的程序。您可以對它進行實時分析,並找出原因。

在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。

Screenshot

確保我們當前分析的是正確的機器。

Screenshot

如果當前顯示的機器不對,您可以從下面的列表中選擇一個正確的。

Screenshot

進入 “Guided Analysis” 頁面。

Screenshot

這裡可以看到系統能分析的不同型別的問題。

Screenshot

讓我們選擇 “High CPU Usage”。

Screenshot

點選 “Next”。

Screenshot

選擇之前的 Erlang 應用例項。

Screenshot

選擇消耗接近 200% CPU 資源的程序。也就是我們之前在 top 中看到的。

Screenshot

確保應用的型別是正確的。通常預設值就是對的。

Screenshot

OpenResty XRay 可以在多種不同語言的級別上進行分析。這裡保持 Erlang 和 C/C++ 都選中。

Screenshot

我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。

Screenshot

開始分析。

Screenshot

系統將持續執行多輪分析。現在它正在執行第一輪分析。

Screenshot

第一輪已經完成,現在進入第二輪分析。對這個例子來說,執行一輪就夠了。

Screenshot

停止分析。

Screenshot

可以看到自動生成了一份分析報告。

Screenshot

這是現在我們要分析的問題型別,CPU。

Screenshot

這條是佔用 CPU 時間最多的 Erlang 程式碼路徑。

Screenshot

check_resp_content 函式是用於檢查內容的業務函式。

Screenshot

它呼叫了 lists 模組的 filter 函式對列表進行過濾篩選。

Screenshot

而篩選條件是一個匿名函式,這個匿名函式內使用正規表示式匹配。這些呼叫都發生在 check_resp_content 函式內。

Screenshot

點選檢視更多。

Screenshot

這條熱程式碼路徑是由這個 Erlang 語言級別的 CPU 火焰圖自動推匯出來的。

Screenshot

這是對問題更詳細的解釋和建議。

Screenshot

回到之前的熱程式碼路徑。將滑鼠懸停在這個函式的綠框上。在提示框中可以看到它的原始檔路徑。

Screenshot

Erlang 原始碼的行號是 15。

Screenshot

點選複製原始檔路徑。

Screenshot

使用 Vim 編輯器開啟 Erlang 原始檔。您可以使用任何您喜歡的編輯器。

Screenshot

按照 OpenResty XRay 的建議,跳轉到第 15 行。

Screenshot

這是 re 模組的 run 函式。

Screenshot

這是我們之前看到的 lists:filter 函式呼叫。

Screenshot

這行程式碼確實在函式 check_resp_content 中。您可以透過最佳化這裡的正則,避免正則引擎進行代價高昂的回溯操作。或者改用非回溯的正則引擎。

Screenshot

這兩條程式碼路徑類似,都是在執行正則匹配。

Screenshot

第三條路徑是在計算字串的長度。

Screenshot

iolist 是要匹配的輸入字串,erts_iolist_size 就是在計算待匹配字串的長度。

Screenshot

這裡的 Content 就是待匹配的輸入字串。

Screenshot

回到 Web 控制檯。看一下這條佔用 CPU 時間最多的 C++ 程式碼路徑。C++ 語言級別的分析顯示了 Erlang 的 Beam 虛擬機器層面的效能熱點。

Screenshot

這個名為 match 的 C 函式是 PCRE 庫中負責執行正則匹配的函式。

Screenshot

erts_pcre_exec 函式是 Erlang 執行時對 PCRE 庫中的 pcre_exec 函式的封裝。

Screenshot

re_run 是 Erlang 中 re 模組用於執行正則匹配的函式。

Screenshot

這個 16 進位制地址表示這個程式碼路徑是在 JIT 編譯 Erlang 程式碼中執行的。

Screenshot

全自動分析與報告

OpenResty XRay 也可以自動監控線上程序,並生成分析報告。切換到 “Insights” 頁面。

Screenshot

您可以在 “Insights” 頁面中找到以日和周為週期的報告。所以您不是非得用 “Guided Analysis” 功能。

Screenshot

當然,“Guided Analysis” 對於應用的開發和演示是很有用的。

Screenshot

如果您喜歡這個教程,請訂閱這個部落格網站和我們的 YouTube 頻道B 站頻道。謝謝!

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!