Python 記憶體分析器:無需改程式碼定位最佔記憶體的物件
要在不改動一行程式碼的情況下剖析 Python 記憶體佔用,只需把 OpenResty XRay 掛到執行中的程序上。它自研的 Python GC 物件記憶體分佈火焰圖能精確指出到底是哪些物件、模組和字典佔用了最多記憶體,並給出通向每一個的完整資料引用路徑。
下面我們在一個未經修改的 gunicorn 程序上實時演示這套分析——無需 @profile 裝飾器,也無需重啟——再展示能持續自動暴露記憶體大戶的報告。Python 程式碼中的記憶體洩漏和大記憶體佔用,從此不再是謎!
找出哪個 Python 程序最佔記憶體
執行 top 命令檢查記憶體使用情況。可以看到,名為 gunicorn 的 Python 程序佔用記憶體最多——RSS 超過 600MB。
執行 ps 檢視更多細節。這裡它使用的是 Linux 發行版自帶的標準 Python 3 二進位制(/usr/bin/python3),執行著一個 order_service 的 gunicorn WSGI 應用。
用引導式分析剖析 Python 記憶體:定位最大的物件及其所屬模組
用 OpenResty XRay 實時檢查這個未經修改的程序。開啟 Web 控制檯,確認正在觀察的機器無誤,進入 Guided Analysis(引導式分析)頁面,這裡可以選擇 OpenResty XRay 能診斷的各類問題。
選擇 High memory usage,選中 Python 應用以及 top 標記出的那個 gunicorn 程序(佔用近 600MB 的那個),保持 Python 與 C/C++ 兩個語言級別都選中,然後開始。經過一兩輪分析後,OpenResty XRay 會自動生成一份報告。
這是現在我們要分析的問題型別,記憶體。
我們可以看到大部分記憶體是由 Libc 分配器分配的,這裡超過了 580 MB。
這是佔用記憶體最多的 Python GC 物件的引用路徑。很明顯,這個 Python 虛擬機器使用了 Libc 分配器來請求記憶體。
這個 Python 字典用於儲存所有已載入的 Python 模組。
這是一個名為 order_service.service.order.prev_processor 的 Python 模組。
在這個模組中,有一個名為 order_name_cache 的欄位。
這個欄位的值是一個 Python 字典。
點選檢視更多細節。
這個資料引用路徑,是從這個 Python GC 物件記憶體分佈火焰圖中自動推匯出來的。
下面是對問題更詳細的解釋和建議。它提到了我們之前看到的 prev_processor 模組。
它也提到了 order_name_cache 字典。
回到資料引用路徑。點選這個圖示,來複制這個模組名稱。
在終端上,使用 find 命令來查詢 Python 原始檔。
貼上我們剛剛複製的模組名稱。這裡,我們借用模組名稱中的點,作為 grep 命令的萬用字元。
複製完整的檔案路徑。使用 vim 編輯器開啟這個原始檔。您可以使用任何您喜歡的編輯器。
我們可以找到之前報告裡提到的 order_name_cache 變數。
我們也可以檢查這個變數是如何使用的,以確定是否存在記憶體洩漏問題。
order_name_cache 是一個模組級字典,handle() 每處理一個訂單就往裡寫入一條新條目,而沒有任何地方會移除條目。正是這種無上限的增長,讓程序佔用了數百 MB 記憶體——一個經典的 Python 記憶體洩漏,現在你可以直接在源頭修復它。
用定時報告自動監控 Python 記憶體佔用
OpenResty XRay 也可以自動監控線上程序並展示分析報告。在 Insights 頁面,你可以找到以日和周為週期的報告——同樣的記憶體引用路徑會自動浮現——所以你不必每次都手動執行引導式分析,儘管引導式分析對於應用開發和演示仍然很有用。
常見問題
如何在不修改程式碼的情況下剖析 Python 記憶體佔用?
把 OpenResty XRay 掛到已經執行的程序上,啟動一次 “High memory usage” 引導式分析即可。它直接讀取執行中的 Python 程序——無需 @profile 裝飾器、無需插樁、也無需重啟——所以你可以在生產環境的 gunicorn 或任何未經修改的 Python 程式對外提供服務的同時完成剖析。
哪個 Python 物件或模組佔用了最多記憶體?
引導式分析會生成 Python GC 物件記憶體分佈火焰圖,並推匯出通向最重物件的資料引用路徑。在本例中,它直接指向了 order_service.service.order.prev_processor 模組裡的 order_name_cache 字典——正是這個欄位佔用了數百 MB 記憶體。
如何找出一個 Python 程序中最大的物件?
OpenResty XRay 會按物件保留的記憶體大小排序,並給出從模組一路到具體字典或值的完整引用路徑。你不必再用 sys.getsizeof 一個個物件去猜,而是直接得到最大的記憶體佔用者以及它在程式碼中的位置。
可以自動監控 Python 記憶體佔用嗎?
可以。“Insights” 頁面會按計劃對線上程序執行同樣的分析,生成日報和週報,反覆出現的記憶體大戶會自動浮現,無需你每次手動發起引導式分析。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!







































