當 Erlang 應用的 CPU 使用率超過 200% 時,瓶頸往往深藏在 BEAM VM 執行時內部。我們使用 OpenResty XRay 分析了一個正在執行的 Erlang 程序,將 Erlang 高 CPU 使用率追蹤定位到了 check_resp_content 中的 PCRE 正則回溯 —— 具體來說是 Erlang 執行時中封裝 PCRE 庫的 erts_pcre_exec C 函式。整個過程無需修改程式碼、無需重新編譯、也無需重啟程序。

本文展示了完整的分析過程 —— 從在 top 中觀察到一個 Erlang 程序消耗超過 200% 的 CPU,到 Erlang 語言級別和 C 語言級別的火焰圖分析,再到精確定位導致問題的原始檔和行號。

觀察 Erlang 程序 CPU 使用率超過 200%

Erlang 高 CPU 使用率通常在 tophtop 的輸出中表現為一個繁忙的 BEAM VM 程序 —— 通常名為 beam.smp,或者像本例一樣,顯示為啟動它的 escript 名稱。無論哪種情況,真正的問題是哪條 Erlang 程式碼路徑導致了高 CPU 佔用。

執行 top 命令來檢查目標程序的 CPU 使用情況。

top 命令顯示一個 Erlang 程序消耗超過 200% 的 CPU

可以看到,這個程序消耗超過 200% 的 CPU 資源。

Erlang 程序 CPU 使用率超過 200% 的詳細資訊

它名為 rebar3,是管理和構建 Erlang 專案的工具,這裡我們用來啟動專案。

程序列表顯示 rebar3 程序名稱

執行 ps 命令來檢視這個程序的詳情。

ps 命令顯示 rebar3 Erlang 程序的完整命令列

這個 rebar3 二進位制可執行檔案是 Linux 發行版自帶的。這個程式自然也是用標準發行版自帶的 Erlang 編譯的。

ps 輸出確認標準 rebar3 二進位制檔案和 Erlang 發行版

使用 OpenResty XRay 分析 Erlang CPU 使用率

OpenResty XRay 可以實時分析這個未經修改的 Erlang 程序 —— 同時在 Erlang 語言級別和 BEAM VM 底層的 C 語言級別進行分析 —— 無需在目標應用中安裝任何模組或外掛。在 Web 控制檯中,進入 Guided Analysis 頁面,選擇 High CPU Usage 作為問題型別,然後選擇目標機器上的 Erlang 應用。

從已發現的應用列表中選擇 Erlang 應用

選擇消耗接近 200% CPU 資源的程序 —— 也就是我們之前在 top 中看到的。

選擇消耗 200% CPU 的 Erlang 程序進行分析

OpenResty XRay 可以在多種不同語言的級別上同時進行分析。這裡保持 Erlang 和 C/C++ 都選中,以同時檢視 Erlang 程式碼層面和 BEAM VM 內部的熱點,最長分析時間保持預設的 300 秒不變。

選擇 Erlang 和 C/C++ 語言級別進行雙層分析

開始分析後,系統將持續執行多輪分析。對這個例子來說,兩輪就夠了。

系統自動生成了一份分析報告。

自動生成的 CPU 分析報告

Erlang 語言級別 CPU 火焰圖:check_resp_content 中的正則匹配

這條是佔用 CPU 時間最多的 Erlang 程式碼路徑。

最熱的 Erlang 程式碼路徑顯示 check_resp_content 是最大的 CPU 消耗者

check_resp_content 函式是用於檢查內容的業務函式。

在 Erlang CPU 報告中高亮顯示的 check_resp_content 函式

它呼叫了 lists 模組的 filter 函式對列表進行過濾篩選。

程式碼路徑中 check_resp_content 內部的 lists:filter 呼叫

而篩選條件是一個匿名函式,這個匿名函式內使用正規表示式匹配。這些呼叫都發生在 check_resp_content 函式內。

lists:filter 內部使用 re:run 正則匹配的匿名函式

點選檢視更多。

展開程式碼路徑詳情以進一步檢查

這條熱程式碼路徑是由這個 Erlang 語言級別的 CPU 火焰圖自動推匯出來的。

Erlang 語言級別 CPU 火焰圖顯示 check_resp_content 的完整呼叫棧

這是對問題更詳細的解釋和建議。

Erlang 程式碼路徑的詳細說明和函式描述

回到之前的熱程式碼路徑。將滑鼠懸停在這個函式的綠框上。在提示框中可以看到它的原始檔路徑。

提示框顯示 check_resp_content 的原始檔路徑

Erlang 原始碼的行號是 15。

顯示熱點函式的原始碼行號 15

點選複製原始檔路徑。

從 OpenResty XRay 報告中複製 Erlang 原始檔路徑

使用 Vim 編輯器開啟 Erlang 原始檔。您可以使用任何您喜歡的編輯器。

在 vim 中開啟 Erlang 原始檔以檢查熱點

按照 OpenResty XRay 的建議,跳轉到第 15 行。

跳轉到 Erlang 原始檔的第 15 行

這是 re 模組的 run 函式 —— Erlang 標準庫中連線 PCRE 正則引擎的介面。

第 15 行的 re:run 函式呼叫執行 PCRE 正則匹配

這是我們之前看到的 lists:filter 函式呼叫。

原始碼中的 lists:filter 函式呼叫與火焰圖結果一致

這行程式碼確實在函式 check_resp_content 中。您可以透過最佳化這裡的正則,避免正則引擎進行代價高昂的回溯操作,或者改用非回溯的正則引擎。

check_resp_content 函式體確認正則熱點的位置

這兩條程式碼路徑類似,都是在執行正則匹配。

報告中第二條最熱的 Erlang 程式碼路徑同樣顯示正則匹配

第三條路徑是在匹配前計算輸入字串的長度。

第三條 Erlang 程式碼路徑顯示 iolist 大小計算

iolist 是要匹配的輸入字串,erts_iolist_size 就是在將字串傳遞給 PCRE 引擎之前計算其長度。

erts_iolist_size 計算輸入 iolist 的長度

這裡的 Content 就是待匹配的輸入字串。

Content 變數作為正則匹配的輸入字串

C 語言級別分析:erts_pcre_exec 與 PCRE 回溯

回到 Web 控制檯。C 語言級別的分析揭示了 BEAM VM 內部的效能熱點 —— 確認 CPU 瓶頸一直深入到了 PCRE 庫層面。

C 語言級別程式碼路徑顯示 PCRE match 是最熱的 C 函式

這個名為 match 的 C 函式是 PCRE 庫中負責執行正則匹配的函式。

PCRE match 函式被確認為葉節點 CPU 消耗者

erts_pcre_exec 函式是 Erlang 執行時對 PCRE 庫中的 pcre_exec 函式的封裝。

erts_pcre_exec 封裝 BEAM VM 執行時中的 pcre_exec

re_run 是 Erlang 中 re 模組用於執行正則匹配的函式。

re_run 呼叫 erts_pcre_exec 執行正則匹配

這個 16 進位制地址表示這個程式碼路徑是在 JIT 編譯的 Erlang 程式碼中執行的。

呼叫棧中的十六進位制地址表明是 JIT 編譯的 Erlang 程式碼

PCRE 正則回溯在 BEAM VM 中為何代價高昂

C 語言級別的火焰圖確認 CPU 時間花費在 erts_pcre_exec 上 —— 這是 BEAM VM 內建的 PCRE 庫繫結。Erlang 的 re 模組將所有正則操作委託給 PCRE,而 PCRE 使用回溯 NFA 引擎。當正則模式包含 .*.+ 等量詞或巢狀的選擇分支時,引擎可能需要探索指數級數量的匹配路徑才能得出不匹配的結論。這就是所謂的災難性回溯

要修復此類 PCRE 正則瓶頸,您可以最佳化正規表示式以避免正則引擎進行代價高昂的回溯操作,或者考慮使用非回溯的正則引擎。

自動監控與報告

對於生產環境的工作負載,OpenResty XRay 會持續監控 Erlang 程序,並在 Insights 頁面自動生成每日和每週報告 —— 無需手動執行引導式分析。

Insights 頁面顯示每日和每週自動分析報告

常見問題:Erlang 高 CPU 使用率

為甚麼我的 Erlang 程序 CPU 使用率這麼高?

Erlang 高 CPU 使用率的常見原因是熱程式碼路徑中存在高開銷的操作 —— 通常是正則匹配、垃圾回收壓力或低效的列表處理。在本例中,OpenResty XRay 將 CPU 瓶頸追蹤定位到了 check_resp_content 函式中的 PCRE 正則回溯,其中 re:run/2lists:filter/2 迴圈中對每個元素都被呼叫。Erlang 和 C 兩個級別的 CPU 火焰圖揭示了直達 erts_pcre_exec 的完整呼叫鏈。

如何找到導致高 CPU 的 Erlang 程式碼?

使用 OpenResty XRay 的引導式分析功能,在 Erlang 和 C 兩個語言級別生成 CPU 火焰圖。火焰圖以堆疊的函式呼叫形式展示,寬度代表 CPU 時間。將滑鼠懸停在函式框上即可檢視原始檔路徑和行號,然後用任何編輯器開啟該檔案即可檢查導致問題的具體程式碼。整個過程無需修改程式碼或重啟 —— OpenResty XRay 直接附加到正在執行的 Erlang 程序。

PCRE 正則模式會導致 Erlang 高 CPU 嗎?

會的。Erlang 的 re 模組透過 erts_pcre_exec 將正則操作委託給 PCRE 庫,而 PCRE 使用回溯 NFA 引擎。包含巢狀量詞或選擇分支的模式可能觸發災難性回溯,消耗指數級的 CPU 時間。在本例中,PCRE 的 match 函式在 C 語言級別的火焰圖中顯示為葉節點 CPU 消耗者,確認正則回溯就是 Erlang 高 CPU 使用率的根本原因。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

如果您喜歡這個教程,請訂閱這個部落格網站和我們的 YouTube 頻道B 站頻道。謝謝!

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算”、“動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!