今天我將向您展示如何使用 OpenResty XRay 快速定位一些阻塞作業系統執行緒的 Go 程式碼路徑。這些程式碼可能導致您的程序變慢並使它們不能充分利用 CPU 資源。

問題: CPU 使用率上不去

首先執行 top 命令檢查 CPU 的使用情況。

可以看到這個名為 chat-service 的程序。我們已經事先知道這個程序是用 Go 語言實現的。它的 CPU 使用率非常低，只有 2%。即使有很多請求進來，它也不會上升。

讓我們看一下這個 golang 應用程式的訪問日誌。

可以看到，有許多客戶端請求正在湧入，可是 CPU 使用率仍然很低。 這意味著有一些東西阻塞了 golang 程式碼高效執行。我們怎麼才能找到原因呢？

使用 OpenResty XRay 的引導式分析功能定位 off-CPU 時間佔比最大的 Go 程式碼路徑

我們可以使用 OpenResty XRay 來檢查這個未修改的程序。可以對它進行實時分析，並找出原因。

在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。

確保我們當前分析的是正確的機器。

進入 “Guided Analysis” 頁面。

這裡可以看到系統能分析的不同型別的問題。

讓我們選擇 “Low CPU usage and cannot go up”。

點選“下一步”。

選擇之前的 Go 應用程式。

選擇消耗 2% CPU 資源的程序。也就是我們之前在 top 中看到的。

確保應用程式的型別是正確的。通常預設值就是對的。

這裡的語言級別就只有 “Go” 了。

我們還可以設定最大分析時間，這裡保持預設的 300 秒不變。

開始分析。

系統將持續執行多輪分析，現在它正在執行第一輪分析。

第一輪分析已經完成，現在進入第二輪分析。對這個例子來說，執行一輪分析就夠了。

現在停止分析。

可以看到自動生成了一份分析報告。

這是現在我們要分析的問題型別，off-CPU。

這是阻止 CPU 高效執行的 Go 程式碼路徑。

第一個函式是 Syscall6 ，一個帶有 6 個引數的系統呼叫。為了確定它是甚麼樣的系統呼叫，我們需要檢視更多的上下文資訊。

根據 Process.wait 這個函式名，底層呼叫的系統呼叫應當是 waitpid。

再看一下這個在標準 os 模組中定義的 golang 函式 exec.Cmd.run。這意味著 golang 程式正在執行系統 shell 命令，並等待它完成。

chat.RateLimit 函式在我們的業務級別 golang 程式碼中。

點選 “More” 檢視細節資訊。

最顯著的阻塞程式碼路徑是從這個 Go 級別的 off-CPU 火焰圖中推匯出來的。

下面是對當前問題更詳細的解釋和建議。

它提到了我們之前看到的 chat.RateLimit 函式。

也提到這個函式正在執行一個系統命令並等待它完成。

讓我們回到之前的熱程式碼路徑。

把滑鼠放在名為 chat.RateLimit 的 Go 函式的綠色框上。

可以看到這個函式的 Go 原始檔名。在提示框中還可以看到 processor.go 檔案的完整路徑。

原始碼的行號是 46。

點選這個圖示，複製這個函式完整的 Go 原始檔路徑。

在終端上，當前工作目錄已經在這個 Go 應用的原始碼目錄裡了。使用 find 命令來查詢原始檔。

貼上我們剛剛複製的檔案路徑。

複製完整的檔案路徑。使用 vim 編輯器，檢視這個檔案裡的業務 Go 程式碼。您可以使用任何您喜歡的編輯器。

正如 OpenResty XRay 建議的那樣跳轉到第 46 行。

可以看到，這行 Go 程式碼確實是呼叫了 cmd.Run 函式。

這行程式碼也確實在之前報告裡提到的 RateLimit 函式中。現在我們最佳化這個瓶頸就很容易了！

全自動分析與報告

OpenResty XRay 也可以自動監控線上程序，並顯示分析報告。

跳轉到 “Insights” 頁面。

您可以在 “Insights” 頁面中找到以日和周為週期的報告。

其實您不是非得用 “Guided Analysis” 功能。當然 “Guided Analysis” 對於應用程式的開發和演示是很有用的。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品，它可以自動分析執行中的應用程式，以解決效能問題、行為問題和安全漏洞，並提供可行的建議。在底層實現上，OpenResty XRay 由我們的 Y 語言驅動，可以在不同環境下支援多種不同的執行時，如 Stap+、eBPF+、GDB 和 ODB。

關於本文和關聯影片

本文和相關聯的影片都是完全由我們的 OpenResty Showman 產品從一個簡單的劇本檔案自動生成的。

關於作者

章亦春是開源 OpenResty^® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春（Github ID: agentzh），生於中國江蘇，現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物，曾供職於多家國際知名的高科技企業，如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅，擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty^® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay（利用動態追蹤技術的非侵入式的故障剖析和排除工具）和 OpenResty Edge（最適合微服務和分散式流量的全能型閘道器軟體），廣受全球眾多上市及大型企業青睞。在 OpenResty 以外，章亦春為多個開源專案貢獻了累計超過百萬行程式碼，其中包括，Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等，並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文，歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號：

翻譯

我們提供了英文版原文和中譯版（本文）。我們也歡迎讀者提供其他語言的翻譯版本，只要是全文翻譯不帶省略，我們都將會考慮採用，非常感謝！