在本教程中,我們將逐步演示如何用 OpenResty XRay 定量分析 Envoy 伺服器中 CPU 時間的消耗情況。我們將展示其中佔用 CPU 最多的那些 C++ 程式碼路徑。這些熱程式碼路徑是 OpenResty XRay 自動分析和解讀 C++ 語言級別的 CPU 火焰圖得來的。它的效能損耗很小,這非常適用於對效能和延遲有高要求的生產環境。至少對於較簡單的應用場景,我們可以看到 Envoy 明顯比 OpenResty 和 Nginx 要低效很多。

問題:高 CPU 使用率

使用 cat 命令檢視 Envoy 伺服器的配置檔案。

Screenshot

您可以看到它透過 1088 埠監聽。

Screenshot

它回覆的是 “Hello world” 響應體。

Screenshot

測試一下 /hello 介面的響應。響應確實是 “Hello World”。

Screenshot

執行 top 命令來檢查 CPU 使用情況。看一下這個名為 envoy 的程序。

Screenshot

可以看到,它消耗了超過 90% 的 CPU 核心資源。

Screenshot

執行 ps 命令檢視此程序的完整命令列。這是從 Envoy 官方二進位制包倉庫下載安裝的。

Screenshot

使用 OpenResty XRay 的引導式分析功能分析 Envoy 伺服器中 CPU 時間的消耗情況

讓我們使用 OpenResty XRay 來檢查這個未經修改的程序。您可以對它進行實時分析,並找出原因。

Screenshot

確保當前分析的機器是正確的。

Screenshot

如果不對,我們可以在下面的列表重新選擇。

Screenshot

進入 “Guided Analysis” 頁面。

Screenshot

這裡可以看到系統能分析的不同型別的問題。

Screenshot

選擇 “High CPU usage”.

Screenshot

點選 “Next”。

Screenshot

選擇之前的 Envoy 應用。

Screenshot

選擇消耗超過 90% CPU 資源的程序。也就是我們之前在 top 中看到的。

Screenshot

確保應用的型別是正確的。通常預設值就是對的。

Screenshot

這裡的語言級別就只有 “C/C++” 了。

Screenshot

我們還可以設定最長的取樣時間。這裡保持預設的 300 秒不變。

Screenshot

開始分析。

Screenshot

系統將持續執行多輪分析。目前它正在執行第一輪分析。

Screenshot

第一輪已經完成,現在進入第二輪分析。對這個例子來說,執行一輪分析就夠了。

Screenshot

停止分析。

Screenshot

可以看到自動生成了一份分析報告。

Screenshot

這是我們要分析的問題型別,CPU。

Screenshot

這是佔用 CPU 時間最多的 C++ 程式碼路徑。

Screenshot

這是 SchedulableCallbackImpl 類過載的運算子。

Screenshot

點選 “More” 檢視詳情。

Screenshot

上面的熱程式碼路徑是從這個 C++ 語言級別的 CPU 火焰圖中自動推匯出來的。

Screenshot

點選圖示放大火焰圖。

Screenshot

放大這個 invoke_impl 函式。

Screenshot

Envoy 網路 socket 類的 write 方法執行 socket 寫入操作。它會傳送 HTTP 響應資料。

Screenshot

Envoy 緩衝區類的 drain 方法用於釋放寫緩衝區中未使用的記憶體,並執行其他清理工作。

Screenshot

Envoy 排程類的 clearDeferredDeletedList 方法會釋放與當前請求關聯的所有資源,並執行所有清理工作。

Screenshot

看一下這條 CPU 時間佔用排名第二的 C++ 熱程式碼路徑。

Screenshot

Envoy 代理中的 emitLog 函式用於將訪問日誌寫入檔案。

Screenshot

放大火焰圖。

Screenshot

放大這個 emitLog 函式。

Screenshot

大多數 emitLog 的 CPU 時間用於格式化日誌訊息字串,而不是花在寫檔案的操作上面。

Screenshot

這是花費 CPU 時間第三多的熱程式碼路徑。

Screenshot

prepareLocalReplayViaFilterChain 函式在 Envoy 響應輸出過濾器鏈中。鏈中的每個過濾器都有可能修改響應。

Screenshot

放大火焰圖。

Screenshot

放大 prepareLocalReplayViaFilterChain 函式。

Screenshot

createHeaderMap 函式被呼叫了很多次。它主要用於為 HTTP 頭分配新的雜湊表。

Screenshot

newUri 函式主要用於分配和格式化 URI 字串。

Screenshot

setStatus 函式用於設定響應狀態碼。

Screenshot

BodyFormatter 類的 format 方法用於格式化響應體資料。

Screenshot

setContentLength 方法也用於設定響應長度頭。

Screenshot

setReferenceContentType 方法用於設定 Content-Type 響應頭。

Screenshot

這是 Envoy 伺服器和 OpenResty 之間的效能比較圖表。可以看到,OpenResty 的吞吐量比 Envoy 伺服器高出 200% 以上。

Screenshot

全自動分析報告

OpenResty XRay 也可以自動監控線上程序,並生成分析報告。切換到 “Insights” 頁面。

Screenshot

您可以在 “Insights” 頁面中找到以日和周為週期的報告。其實您不是非得用 “Guided Analysis” 功能。

Screenshot

當然, “Guided Analysis” 對於應用的開發和演示是很有用的。

Screenshot

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言 驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!