線上快速定位硬碟 I/O 高的 Go 程式碼路徑(使用 OpenResty XRay)
在本教程中,您將學習如何利用 OpenResty XRay 對線上 Go 應用的硬碟 I/O 高的問題進行定量分析。透過 OpenResty XRay 生成的 Go 級別硬碟讀寫次數、延時以及吞吐量火焰圖,您能夠識別出導致硬碟讀寫延遲最長和資料量最大的 Go 程式碼路徑。此外,它還能幫助您精確到具體的 Go 程式碼行,從而快速定位問題所在,並指導最佳化。
問題:硬碟 I/O 高
在 OpenResty XRay 的 Dashboard 上,我們發現了一個名為 chat-service
的 Go 應用,它對硬碟進行了頻繁的讀寫。
首先,執行 ps
命令來檢視該應用。
我們可以看到完整的命令列。
使用引導式分析功能定位有問題的 Go 程式碼路徑
使用 OpenResty XRay 來檢查這個應用。我們可以對它進行實時分析,並找出原因。
在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。
確保當前分析的機器是正確的。
如果不對,我們可以在下面的列表重新選擇。
進入 ”Guided Analysis“ 頁面。
這裡可以看到系統能分析的不同型別的問題。
選擇 “High disk IO“。
點選 “Next”。
選擇名為 chat-service
的 Go 應用。
選擇我們之前在 ps
命令中看到的程序。
確保應用的型別是正確的。通常預設值就是對的。
這裡的語言級別就只有 “Go” 了。
我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。
開始分析。
系統將持續執行多輪分析。目前它正在執行第一輪分析。
第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。
停止分析。
這裡顯示系統正在為本次分析生成報告。
可以看到自動生成了一份分析報告。
這是我們要分析的問題型別,“Disk I/O”。
這是對硬碟讀取次數的分析。
硬碟讀取最多的是這條程式碼路徑。
syscall.read
函式從檔案描述符讀取資料。
http.serveFile
函式將檔案作為 HTTP 響應傳送出去。
點選檢視更多細節。
download.Handler
處理檔案的下載。它屬於業務函式。
handleHTTPRequest
是 gin
框架中的一個核心函式,它的主要作用是處理 HTTP 請求。gin
是一個用 Go 語言編寫的高效能 HTTP Web 框架。
這條熱程式碼路徑是從這個 Go 級別的硬碟讀取次數火焰圖自動推匯出來的。
下面是對問題更詳細的解釋和建議。
它提到了函式 download.Handler
。
它是負責處理 HTTP 的請求和響應的。
也提到了 http.serveFile
函式。
它將檔案作為 HTTP 響應傳送出去。
讓我們回到原始的程式碼路徑。將滑鼠停在這個函式的綠框上。
在提示框中可以看到這個函式的原始檔名和完整路徑。
這行原始碼的行號是 25。
點選這個圖示,複製這個函式的原始檔路徑。
用 vim 編輯器開啟原始檔。貼上我們剛才複製的檔案路徑。您可以使用任何您喜歡的編輯器。
正如 OpenResty XRay 建議的那樣檢查第 25 行。
這個函式將檔案內容作為 HTTP 響應返回給客戶端。我們建議改用 nginx 這樣的 web 伺服器代替 Go 應用來服務這些靜態檔案。
正如我們剛剛在報告中看到的,這行程式碼正是在 Handler
函式內部。
這是對硬碟讀取延時的分析。
可以看到這條程式碼路徑和我們剛才分析的程式碼路徑是同一條,也是處理檔案下載的。
它是硬碟讀取延時的全部來源。
這是對硬碟讀取吞吐量的分析。
也是那條處理檔案下載的路徑。
這條路徑的讀取速率接近 3 兆位元組每秒。
這是對讀取最多的檔案的分析。
讀取最多的檔案是 188.jpg
。
其讀取速率達到了 417 KB 每秒。
這些是累積讀取延時最長的檔案。
延時最長的檔案是 188.jpg
。
延時佔比為 36%。
這是對硬碟寫操作次數的分析。
硬碟的寫操作全部來源於這條程式碼路徑。
這是 gin
包裡用於記錄請求訪問日誌的函式。
全自動分析報告
OpenResty XRay 也可以自動監控線上程序,並生成分析報告。
切換到 “Insights” 頁面。
您可以在 “Insights” 頁面中找到以日和周為週期的自動報告。
所以您不是非得用 “Guided Analysis” 功能。
當然,“Guided Analysis” 對於應用的開發和演示是很有用的。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用程式,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!