線上快速定位硬碟 I/O 高的 Python 程式碼路徑(使用 OpenResty XRay)
在本教程中,您將學習如何利用 OpenResty XRay 對線上 Python 應用的硬碟 I/O 高的問題進行定量分析。透過 OpenResty XRay 生成的 Python 級別硬碟讀寫次數、延時以及吞吐量火焰圖,您能夠識別出導致硬碟讀寫延遲最長和資料量最大的 Python 程式碼路徑。此外,它還能幫助您精確到具體的 Python 程式碼行,從而快速定位問題所在,並指導最佳化。
問題:硬碟 I/O 高
在 OpenResty XRay 的 Dashboard 上,我們發現了一個名為 order-service
的 Python 應用。經過取樣和分析,XRay 發現它的硬碟 I/O 存在問題。
首先,執行 ps
命令來檢視該應用。
我們可以看到完整的命令列。
使用 OpenResty XRay 來檢查這個未經修改的應用。我們可以對它進行實時分析,並找出原因。
定位有問題的 Python 程式碼路徑
切換到 OpenResty XRay 的 Web 控制檯。確保當前分析的機器是正確的。
如果不對,可以在列表中重新選擇。
進入 “Guided Analysis” 頁面。
這裡可以看到系統能分析的不同型別的問題。
選擇 “High disk IO“。
點選 “Next”。
選擇名為 order-service
的 Python 應用。
選擇我們之前在 ps
命令中看到的程序。
確保應用的型別是正確的。通常預設值就是對的。
OpenResty XRay 可以在多種不同語言的級別上進行分析。這裡保持 Python 和 C/C++ 都選中。
我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。
開始分析。
系統將持續執行多輪分析。目前它正在執行第一輪分析。
第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。
停止分析。
可以看到自動生成了一份分析報告。
這是我們要分析的問題型別,“Disk I/O”。
這是對硬碟讀取次數的分析。
硬碟讀取最頻繁的是這條程式碼路徑。
__read
是一個用於從檔案中讀取資料的函式。
download_file
是一個用於下載檔案的業務級函式。
點選檢視更多細節。
這條熱程式碼路徑是從這個 Python 級別的硬碟讀取次數火焰圖自動推匯出來的。
下面是對問題更詳細的解釋和建議。它解釋了我們剛剛看到的 __read
函式。
讓我們回到原始的程式碼路徑。將滑鼠停在這個函式的綠框上。在提示框中可以看到這個函式的原始檔名和完整路徑。
這行原始碼的行號是 10。
點選圖示,複製這個函式的 Python 原始檔路徑。
用 vim 編輯器開啟原始檔。檢視該檔案內的 Python 原始碼。您可以使用任何您喜歡的編輯器。
正如 OpenResty XRay 建議的那樣檢查第 10 行。
這行程式碼正在從檔案中讀取資料。
這是對硬碟讀取吞吐量的分析。
這條程式碼路徑,也用於處理檔案下載。
這條路徑的資料讀取速率接近 269 兆位元組每秒。
這是對硬碟讀取延時的分析。
可以看到這條程式碼路徑和我們剛才分析的程式碼路徑是同一條,也是處理檔案下載的。
它是硬碟讀取延時的全部來源。
這是對讀取最多的檔案的分析。
讀取資料量最大的檔案是 pic-ocean-wave.jpg
。
其資料的讀取速率達到了 193 兆位元組每秒。
這些是累積讀取延時最長的檔案。
延時最長的檔案是 pic-ocean-wave.jpg
。
延時佔比為 75%。
這是對硬碟寫入操作次數的分析。
硬碟的寫入操作全部來源於這條程式碼路徑。
write
是將資料寫入檔案的函式。
flush
是 Python 日誌模組中的一個函式,用於確保所有日誌資訊都已完全寫入。
emit
是日誌模組中的一個函式,用於處理日誌記錄。
全自動分析報告
OpenResty XRay 也可以自動監控線上程序,並生成分析報告。切換到 “Insights” 頁面。
您可以在 “Insights” 頁面中找到以日和周為週期的自動報告。所以您不是非得用 “Guided Analysis” 功能。
當然,“Guided Analysis” 對於應用的開發和演示是很有用的。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用程式,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!