在本教程中,OpenResty XRay 對一個名為 chat-service 的 Go 應用(基於 gin 框架)進行硬碟 I/O 高的問題診斷。透過 Go 級別的磁碟讀寫次數、延時和吞吐量火焰圖,定位磁碟活動最密集的程式碼路徑——本例中是 download.Handler 透過 http.serveFile 提供檔案服務以及 gin 的請求日誌——並精確到具體的原始檔和行號。

定位硬碟 I/O 高的 Go 程序

OpenResty XRay 的 Dashboard 上,我們發現了一個名為 chat-service 的 Go 應用,它對硬碟進行了頻繁的讀寫。

go-high-disk-io.png

首先,執行 ps 命令來檢視該應用。

Screenshot

我們可以看到完整的命令列。

Screenshot

使用火焰圖追蹤 Go 磁碟讀寫程式碼路徑

使用 OpenResty XRay 來檢查這個應用。我們可以對它進行實時分析,並找出原因。

在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。

Screenshot

確保當前分析的機器是正確的。

Screenshot

如果不對,我們可以在下面的列表重新選擇。

Screenshot

進入 ”Guided Analysis“ 頁面。

Screenshot

這裡可以看到系統能分析的不同型別的問題。

Screenshot

選擇 “High disk IO“。

Screenshot

點選 “Next”。

Screenshot

選擇名為 chat-service 的 Go 應用。

Screenshot

選擇我們之前在 ps 命令中看到的程序。

Screenshot

確保應用的型別是正確的。通常預設值就是對的。

Screenshot

這裡的語言級別就只有 “Go” 了。

Screenshot

我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。

Screenshot

開始分析。

Screenshot

系統將持續執行多輪分析。目前它正在執行第一輪分析。

Screenshot

第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。

Screenshot

停止分析。

Screenshot

這裡顯示系統正在為本次分析生成報告。

Screenshot

可以看到自動生成了一份分析報告。

Screenshot

這是我們要分析的問題型別,“Disk I/O”。

Screenshot

這是對硬碟讀取次數的分析。

Screenshot

硬碟讀取最多的是這條程式碼路徑。

Screenshot

syscall.read 函式從檔案描述符讀取資料。

Screenshot

http.serveFile 函式將檔案作為 HTTP 響應傳送出去。

Screenshot

點選檢視更多細節。

Screenshot

download.Handler 處理檔案的下載。它屬於業務函式。

Screenshot

handleHTTPRequestgin 框架中的一個核心函式,它的主要作用是處理 HTTP 請求。gin 是一個用 Go 語言編寫的高效能 HTTP Web 框架。

Screenshot

這條熱程式碼路徑是從這個 Go 級別的硬碟讀取次數火焰圖自動推匯出來的。

Screenshot

下面是對問題更詳細的解釋和建議。

Screenshot

它提到了函式 download.Handler

Screenshot

它是負責處理 HTTP 的請求和響應的。

Screenshot

也提到了 http.serveFile 函式。

Screenshot

它將檔案作為 HTTP 響應傳送出去。

Screenshot

讓我們回到原始的程式碼路徑。將滑鼠停在這個函式的綠框上。

Screenshot

在提示框中可以看到這個函式的原始檔名和完整路徑。

Screenshot

這行原始碼的行號是 25。

Screenshot

點選這個圖示,複製這個函式的原始檔路徑。

Screenshot

用 vim 編輯器開啟原始檔。貼上我們剛才複製的檔案路徑。您可以使用任何您喜歡的編輯器。

Screenshot

正如 OpenResty XRay 建議的那樣檢查第 25 行。

Screenshot

這個函式將檔案內容作為 HTTP 響應返回給客戶端。我們建議改用 nginx 這樣的 web 伺服器代替 Go 應用來服務這些靜態檔案。

Screenshot

正如我們剛剛在報告中看到的,這行程式碼正是在 Handler 函式內部。

Screenshot

這是對硬碟讀取延時的分析。

Screenshot

可以看到這條程式碼路徑和我們剛才分析的程式碼路徑是同一條,也是處理檔案下載的。

Screenshot

它是硬碟讀取延時的全部來源。

Screenshot

這是對硬碟讀取吞吐量的分析。

Screenshot

也是那條處理檔案下載的路徑。

Screenshot

這條路徑的讀取速率接近 3 兆位元組每秒。

Screenshot

這是對讀取最多的檔案的分析。

Screenshot

讀取最多的檔案是 188.jpg

Screenshot

其讀取速率達到了 417 KB 每秒。

Screenshot

這些是累積讀取延時最長的檔案。

Screenshot

延時最長的檔案是 188.jpg

Screenshot

延時佔比為 36%。

Screenshot

這是對硬碟寫操作次數的分析。

Screenshot

硬碟的寫操作全部來源於這條程式碼路徑。

Screenshot

這是 gin 包裡用於記錄請求訪問日誌的函式。

Screenshot

自動磁碟 I/O 分析報告

OpenResty XRay 也可以自動監控線上程序,並生成分析報告。

切換到 “Insights” 頁面。

Screenshot

您可以在 “Insights” 頁面中找到以日和周為週期的自動報告。

Screenshot

所以您不是非得用 “Guided Analysis” 功能。

Screenshot

當然,“Guided Analysis” 對於應用的開發和演示是很有用的。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用程式,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

常見問題

為甚麼我的 Go 服務硬碟 I/O 高?

在本例中,chat-servicedownload.Handler 呼叫 http.serveFile 直接從 Go 程序提供檔案服務,這條程式碼路徑是磁碟讀延時的唯一來源;其中最繁忙的單個檔案 188.jpg 佔累計讀延時的約 36%,讀速率為 417 KB/s。

如何找到導致磁碟讀取過多的 Go 函式?

執行 OpenResty XRay 的引導式分析,選擇"High disk IO",然後選擇目標 Go 程序,保持 Go 語言級別選中。它會生成磁碟讀取次數火焰圖,將滑鼠懸停在熱點函式上即可檢視其精確的原始檔和行號,直達 handler 內部的具體程式碼行。

Go 應用應該自己提供靜態檔案服務嗎?

從效能和安全形度看不建議。在本例中,OpenResty XRay 追蹤到磁碟讀熱點是一個 Go handler 直接提供靜態圖片檔案,建議將靜態檔案服務交給 Nginx 等 Web 伺服器,而不是在 Go 應用內部處理。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!