線上快速定位硬碟 I/O 高的 Rust 程式碼路徑(使用 OpenResty XRay)
在本教程中,您將學習如何利用 OpenResty XRay 對線上 Rust 應用的硬碟 I/O 高的問題進行定量分析。透過 OpenResty XRay 生成的 Rust 級別硬碟寫入次數、延時以及吞吐量火焰圖,您能夠識別出導致硬碟讀寫延遲最長和資料量最大的 Rust 程式碼路徑。此外,它還能幫助您精確到具體的 Rust 程式碼行,從而快速定位問題所在,並指導最佳化。
問題:硬碟 I/O 高
首先,執行 ps
命令來檢視應用。
我們可以看到一個名為 sled-service
的 Rust 應用。它基於 Sled,一個由 Rust 編寫的嵌入式 KV 資料庫。
讓我們使用 OpenResty XRay 來檢查這個應用中硬碟的執行情況。
定位有問題的 Rust 程式碼路徑
跳轉到 OpenResty XRay 的 Web 控制檯。確保當前分析的機器是正確的。
進入 “Guided Analysis” 頁面。
這裡可以看到系統能分析的不同型別的問題。
選擇 “High disk IO”。
點選 “Next”。
選擇名為 sled-service
的 Rust 應用。
選擇這個 rust
程序。
確保應用的型別是正確的。通常預設值就是對的。
這裡的語言級別就只有 “Rust” 了。
我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。
開始分析。
系統將持續執行多輪分析。目前它正在執行第一輪分析。
第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。
停止分析。
可以看到自動生成了一份分析報告。
這是我們要分析的問題型別,“Disk I/O”。
這是對硬碟寫入操作次數的分析。
這條程式碼路徑的磁碟寫入操作最多。
這兩個 __libc_pwrite64
函式,是用於在檔案的特定位置寫入資料的 C 函式。
在 Rust 標準庫中,write_at
和 write_at_all
都是在檔案中特定位置寫入資料的函式。
pwrite_all
函式負責支援將整頁資料並行寫入檔案。
write_to_log
函式用於將資料寫入日誌檔案,以便進行持久化儲存或其他操作。
點選檢視更多詳情。
這條熱程式碼路徑是從這個 Rust 級別的硬碟寫入次數火焰圖自動推匯出來的。
下面是對問題更詳細的解釋和建議。
它提到了函式 pwrite64
。
讓我們回到原始的程式碼路徑。將滑鼠停在這個函式的綠框上。在提示框中可以看到原始檔名的完整路徑。
這行原始碼的行號是 730。
點選這個圖示,複製這個函式的原始檔路徑。
用 vim 編輯器開啟原始檔。 檢視檔案裡的 Rust 程式碼。您可以使用任何您喜歡的編輯器。
正如 OpenResty XRay 建議的那樣檢查第 730 行。
pwrite_all
函式是 Sled 庫中用於將資料寫入日誌檔案的函式。它的作用是以原子方式將一個資料塊寫入到檔案的特定偏移量處。
這是對硬碟寫入延時的分析。
這條程式碼路徑正在向資料庫資料檔案寫入程式碼。
它幾乎是硬碟寫入延時的全部來源。
這是對硬碟寫入吞吐量的分析。
它與寫入資料庫資料檔案的程式碼路徑相同。
這條路徑的寫入速率接近 12 兆位元組每秒。
這些是磁碟寫入最頻繁的檔案。
該檔案的寫入資料量最大。它是 Sled 應用的資料庫檔案。
其讀取速率達到了 6.4MB 每秒。
這些是累積寫入延時最長的檔案。
這個檔案也是寫入資料延遲最高的檔案。
延時佔比約為 40%。
全自動分析報告
OpenResty XRay 也可以自動監控線上程序,並生成分析報告。切換到 “Insights” 頁面。
您可以在 “Insights” 頁面中找到以日和周為週期的自動報告。所以您不是非得用 “Guided Analysis” 功能。
當然,“Guided Analysis” 對於應用的開發和演示是很有用的。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用程式,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!