在本教程中,你將學習如何快速定位應用中最大的 Python 記憶體物件或值。這得益於 OpenResty XRay 的強大功能。我們可以透過資料引用路徑精確定位這些可被垃圾回收的物件。我們還將演示自己開發的 Python GC 物件記憶體分佈火焰圖。您的 Python 程式碼中的記憶體洩漏或大記憶體佔用問題,從此都可以輕鬆搞定!

問題: 記憶體佔用率過高

首先執行 top 命令檢查每個程序的記憶體使用情況。可以看到,名為 gunicorn 的 Python 程序消耗了超過 600MB 的記憶體。

Screenshot

讓我們執行 ps 命令來檢視這個程序的更多細節。

Screenshot

我們可以看到,這個程序使用的 Python3 二進位制可執行檔案,是 Linux 發行版自帶的。

Screenshot

使用 OpenResty XRay 的引導式分析功能定位 Python 程序中的大記憶體物件或值

我們可以使用 OpenResty XRay 來檢查這個未經修改的程序。系統可以對它進行實時分析,並找出原因。在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。

Screenshot

確保當前分析的機器是正確的。

Screenshot

如果不對,我們可以在下面的列表重新選擇。

Screenshot

進入 “Guided Analysis” 頁面。

Screenshot

這裡可以看到系統能分析的不同型別的問題。

Screenshot

讓我們選擇 “High memory usage”。

Screenshot

點選 “Next”。

Screenshot

選擇之前的 Python 應用。

Screenshot

選擇消耗近 600 MB 記憶體的程序。這就是我們之前在 top 中看到的程序。

Screenshot

確保應用的型別是正確的。通常預設值就是對的。

Screenshot

OpenResty XRay 可以在多種不同語言的級別上進行分析。這裡保持 Python 和 C/C++ 都選中。

Screenshot

我們還可以設定最長的分析時間。這裡保持預設的 300 秒不變。

Screenshot

開始分析。

Screenshot

系統將持續執行多輪分析。現在它正在執行第一輪分析。

Screenshot

第一輪分析已經完成,現在進入第二輪。對這個例子來說,執行一輪分析就夠了。

Screenshot

現在停止分析。

Screenshot

可以看到自動生成了一份分析報告。

Screenshot

這是現在我們要分析的問題型別,記憶體。

Screenshot

我們可以看到大部分記憶體是由 Libc 分配器分配的,這裡超過了 580 MB。

Screenshot

這是佔用記憶體最多的 Python GC 物件的引用路徑。很明顯,這個 Python 虛擬機器使用了 Libc 分配器來請求記憶體。

Screenshot

這個 Pytion 字典用於儲存所有已載入的 Python 模組。

Screenshot

這是一個名為 order_service.service.order.prev_processor 的 Python 模組。

Screenshot

在這個模組中,有一個名為 order_name_cache 的欄位。

Screenshot

這個欄位的值是一個 Python 字典。

Screenshot

點選檢視更多細節。

Screenshot

這個資料引用路徑,是從這個 Python GC 物件記憶體分佈火焰圖中自動推匯出來的。

Screenshot

下面是對問題更詳細的解釋和建議。它提到了我們之前看到的 prev_processor 模組。

Screenshot

它也提到了 order_name_cache 字典。

Screenshot

讓我們回到資料引用路徑。點選這個圖示,來複制這個模組名稱。

Screenshot

在終端上,使用 find 命令來查詢 Python 原始檔。

Screenshot

貼上我們剛剛複製的模組名稱。這裡,我們借用模組名稱中的點,作為 grep 命令的萬用字元。

Screenshot

複製完整的檔案路徑。使用 vim 編輯器開啟這個原始檔。您可以使用任何您喜歡的編輯器。

Screenshot

我們可以找到之前報告裡提到的 order_name_cache 變數。

Screenshot

我們也可以檢查這個變數是如何使用的,以確定是否存在記憶體洩漏問題。

Screenshot

全自動分析與報告

OpenResty XRay 也可以自動監控線上程序,並顯示分析報告。

Screenshot

切換到 “Insights” 頁面。

Screenshot

您可以在 “Insights” 頁面中找到以日和周為週期的報告。所以您不是非得用 “Guided Analysis” 功能。

Screenshot

當然, “Guided Analysis” 對於應用的開發和演示是很有用的。

Screenshot

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用程式,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!