線上定位 Python 程序中的大記憶體物件(使用 OpenResty XRay)
在本教程中,你將學習如何快速定位應用中最大的 Python 記憶體物件或值。這得益於 OpenResty XRay 的強大功能。我們可以透過資料引用路徑精確定位這些可被垃圾回收的物件。我們還將演示自己開發的 Python GC 物件記憶體分佈火焰圖。您的 Python 程式碼中的記憶體洩漏或大記憶體佔用問題,從此都可以輕鬆搞定!
問題: 記憶體佔用率過高
首先執行 top
命令檢查每個程序的記憶體使用情況。可以看到,名為 gunicorn
的 Python 程序消耗了超過 600MB 的記憶體。
讓我們執行 ps
命令來檢視這個程序的更多細節。
我們可以看到,這個程序使用的 Python3 二進位制可執行檔案,是 Linux 發行版自帶的。
使用 OpenResty XRay 的引導式分析功能定位 Python 程序中的大記憶體物件或值
我們可以使用 OpenResty XRay 來檢查這個未經修改的程序。系統可以對它進行實時分析,並找出原因。在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。
確保當前分析的機器是正確的。
如果不對,我們可以在下面的列表重新選擇。
進入 “Guided Analysis” 頁面。
這裡可以看到系統能分析的不同型別的問題。
讓我們選擇 “High memory usage”。
點選 “Next”。
選擇之前的 Python 應用。
選擇消耗近 600 MB 記憶體的程序。這就是我們之前在 top
中看到的程序。
確保應用的型別是正確的。通常預設值就是對的。
OpenResty XRay 可以在多種不同語言的級別上進行分析。這裡保持 Python 和 C/C++ 都選中。
我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。
開始分析。
系統將持續執行多輪分析。現在它正在執行第一輪分析。
第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。
現在停止分析。
可以看到自動生成了一份分析報告。
這是現在我們要分析的問題型別,記憶體。
我們可以看到大部分記憶體是由 Libc 分配器分配的,這裡超過了 580 MB。
這是佔用記憶體最多的 Python GC 物件的引用路徑。很明顯,這個 Python 虛擬機器使用了 Libc 分配器來請求記憶體。
這個 Pytion 字典用於儲存所有已載入的 Python 模組。
這是一個名為 order_service.service.order.prev_processor
的 Python 模組。
在這個模組中,有一個名為 order_name_cache
的欄位。
這個欄位的值是一個 Python 字典。
點選檢視更多細節。
這個資料引用路徑,是從這個 Python GC 物件記憶體分佈火焰圖中自動推匯出來的。
下面是對問題更詳細的解釋和建議。它提到了我們之前看到的 prev_processor
模組。
它也提到了 order_name_cache
字典。
讓我們回到資料引用路徑。點選這個圖示,來複制這個模組名稱。
在終端上,使用 find
命令來查詢 Python 原始檔。
貼上我們剛剛複製的模組名稱。這裡,我們借用模組名稱中的點,作為 grep
命令的萬用字元。
複製完整的檔案路徑。使用 vim 編輯器開啟這個原始檔。您可以使用任何您喜歡的編輯器。
我們可以找到之前報告裡提到的 order_name_cache
變數。
我們也可以檢查這個變數是如何使用的,以確定是否存在記憶體洩漏問題。
全自動分析與報告
OpenResty XRay 也可以自動監控線上程序,並顯示分析報告。
切換到 “Insights” 頁面。
您可以在 “Insights” 頁面中找到以日和周為週期的報告。所以您不是非得用 “Guided Analysis” 功能。
當然, “Guided Analysis” 對於應用的開發和演示是很有用的。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用程式,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!