Python 的 Django 應用內部是如何使用記憶體的(使用 OpenResty XRay)
在本教程中,我們展示瞭如何分析一個 Python Web 應用內部的記憶體使用細節。該應用基於 Python 的 Django 框架。我們可以透過 OpenResty XRay 找到的詳細資料引用路徑來定位最佔用記憶體的 Python 物件或值。OpenResty XRay 會自動生成並解釋 Python GC 物件記憶體分佈火焰圖;這是我們自己發明的火焰圖型別。可以精確到某一個具體的 Python 物件,比如某一個 Python 字串或字典。
問題: 記憶體佔用量高
執行 ps
命令,檢視所有 Python3 程序。可以看到,有一個程序佔用了 86MB 的記憶體。
這個 Python 二進位制可執行檔案是 Linux 發行版自帶的。
使用 OpenResty XRay 的引導式分析功能分析 Django 應用
讓我們使用 OpenResty XRay 來檢查這個未經修改的程序。我們可以對它進行實時分析,檢視記憶體具體消耗在哪裡了。
在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯。
確保我們當前分析的是正確的機器。
如果當前的機器不對,您可以從下面的列表中選擇正確的。
進入 “Guided Analysis” 頁面。
這裡可以看到系統能分析哪些型別的問題。
選擇 “High memory usage”。
點選 “Next”。
選擇 Python Django 應用。
選擇消耗超過 84MB 記憶體的程序。也就是我們之前在 ps
命令輸出中看到的。
確保應用的型別是正確的。
通常預設值就是對的。
OpenResty XRay 可以同時分析多種語言級別。這裡我們保持 Python 和 C/C++ 都選中的狀態。
我們還可以設定最大分析時間。這裡保持預設的 300 秒不變。
開始分析。
系統將持續執行多輪分析,現在它正在執行第一輪分析。
第一輪分析已經完成,現在進入第二輪分析。對這個例子來說,分析一輪就夠了。
現在停止分析。
這裡顯示了系統正在為本次分析生成報告。
可以看到自動生成了一份分析報告。
這是現在我們要分析的問題型別,Memory。
這條資料引用路徑告訴我們,直譯器載入的 Python 模組一共佔用了 38MB 的記憶體。
點選 “More” 檢視細節資訊。
這條資料引用路徑是從這個 Python GC 物件記憶體分佈火焰圖中自動推匯出來的。
下面是對當前問題更詳細的解釋和建議。
它提到了 .modules
。
並提到它包含了所有與 Python 模組相關的內容。
接下來,我們放大火焰圖,找出哪些 Python 模組佔了較多記憶體。
可以看到這裡有 1521 個 Python 模組被合併在一起。其中每一個模組都只佔用了不到 1% 的記憶體。
這個模組佔用了較多記憶體。我們可以點選它進行放大,檢視更多的細節。
這裡我們可以看到 openpyxl.utils.cell
模組佔用了超過 2.6MB 的記憶體。openpyxl
是一個處理 Excel 檔案的 Python 庫。
複製模組名。
現在開啟終端,使用 find
命令,在專案目錄中搜尋這個模組對應的原始碼檔案。專案目錄是 Python 模組安裝路徑的根目錄。
貼上我們剛剛複製的模組名。
這裡我們把模組名中的圓點當作 grep
命令的萬用字元使用。
複製這條完整的檔案路徑。
使用 vim 編輯器開啟原始檔,檢視這個檔案裡的 Python 實現程式碼。您可以使用任何您喜歡的編輯器。
返回火焰圖。
openpyxl
模組定義了兩個字典,_COL_STRING_CACHE
和 _STRING_COL_CACHE
。它們用於在 Excel 單元格座標和列名之間進行轉換。這兩個變數佔用了較多的記憶體。
複製第一個變數的名字。
然後搜尋 _COL_STRING_CACHE
,就可以找到這個物件。我們還可以找到這個檔案中所有使用這個變數的地方。
_STRING_COL_CACHE
變數也可以透過同樣的方法找到。
我們還可以用類似的方法分析火焰圖上其他佔用記憶體較多的模組。
比如說 linecache
模組。這是一個快取檔案內容的 Python 標準模組。它佔用了 648KB 的記憶體。
它有一個叫做 cache
的變數,使用了很多記憶體。
Python 使用 Libc 分配器和 mmap 系統呼叫來分配記憶體。報告顯示,Libc 分配器使用了 18.7MB 的記憶體。
全自動分析與報告
OpenResty XRay 也可以自動監控線上程序,並顯示分析報告。
進入 “Insights” 頁面。
您可以在 “Insights” 頁面中找到以日和周為週期的報告。
所以您不是非得用 “Guided Analysis” 功能。當然,“Guided Analysis” 對於應用的開發和演示是很有用的。
關於 OpenResty XRay
OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用程式,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。
關於作者
章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。
章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等,並編寫過 60 多個開源軟體庫。
關注我們
如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:
翻譯
我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!