在本教程中,我們將使用 OpenResty XRay 來分析 CockroachDB 資料庫中 CPU 時間的消耗情況,CockraochDB 是使用 Go 語言實現的。我們將展示哪些 Go 程式碼路徑消耗了最多的 CPU 時間。OpenResty XRay 可以自動分析和解釋 Go 語言級別的 CPU 火焰圖,幫助我們快速找到效能瓶頸。

問題:高 CPU 使用率

CockroachDB 是一個用 Go(golang)語言編寫的分散式資料庫。我們將分析一個執行中的 CockroachDB 伺服器的 CPU 時間是如何分配的。

我們使用 top 命令檢查 CPU 使用情況。

Screenshot

可以看到,這個程序使用了超過 250% 的 CPU 資源。

Screenshot

使用 ps 命令檢視它的更多詳細資訊。這個程序使用的 Cockroach 二進位制可執行檔案,是 Linux 發行版自帶的。

Screenshot

使用 OpenResty XRay 的引導式分析功能分析 CockroachDB 中 CPU 時間的消耗情況

讓我們使用 OpenResty XRay 來檢查這個未經修改的程序。您可以對它進行實時分析,並找出原因。

Screenshot

確保我們當前分析的是正確的機器。

Screenshot

如果當前顯示的機器不對,您可以從下面的列表中選擇正確的。

Screenshot

進入 “Guided Analysis” 頁面。

Screenshot

這裡可以看到系統能分析的不同型別的問題。

Screenshot

讓我們選擇 “High CPU Usage”。

Screenshot

點選 “Next”。

Screenshot

選擇 “By Processes”。

Screenshot

選擇消耗接近 200% CPU 資源的程序。也就是我們之前在 top 中看到的。

Screenshot

確保應用的型別是正確的。通常預設值就是對的。

Screenshot

這裡的語言級別就只有 “Go” 了。

Screenshot

我們還可以設定最大分析時間。這裡保持預設的 300 秒不變。

Screenshot

開始分析。

Screenshot

系統將持續執行多輪分析。現在它正在執行第一輪分析。

Screenshot

第一輪分析已經完成,現在進入第二輪分析。對這個例子來說,執行一輪分析就夠了。

Screenshot

現在停止分析。

Screenshot

可以看到自動生成了一份分析報告。

Screenshot

這是現在我們要分析的問題型別,CPU。

Screenshot

Go 執行時的 GC 垃圾回收佔了約 13% 的 CPU 時間。

Screenshot

這條 Go 程式碼路徑新建立的 GC 物件數目,約佔新建立 GC 物件總數的 25%。

Screenshot

目前正在執行的是一個建立於 RunAsyncTaskEx 函式中的匿名函式,它用於管理 CockroachDB 系統中各種非同步任務的生命週期。

Screenshot

點選 “More” 檢視詳情。

Screenshot

這條熱程式碼路徑是從這個 Go 級別的 GC 物件記憶體分佈火焰圖中自動推匯出來的。

Screenshot

放大火焰圖。

Screenshot

繼續點選放大。

Screenshot

這條熱程式碼路徑由 kvcoord 包、

Screenshot

Raft 協議、

Screenshot

sqlMux 元件三大部分組成。

Screenshot

點選放大 kvcoord/dist_sender

Screenshot

kvcoord 是 CockroachDB 中的鍵值協調器模組,用於處理併發訪問和資料一致性。它負責協調多個 kvclient 例項之間的併發操作,以確保資料的正確性和一致性。

Screenshot

點選放大 Start 函式。

Screenshot

Raft 是 CockroachDB 使用的一種分散式一致性協議,用於實現資料的複製和故障容錯。CockroachDB 採用了分散式資料庫的架構,其中多個 kvserver 節點協同工作以提供高可用性和可擴充套件性。

Screenshot

進入 sqlMux 函式。

Screenshot

sqlMux 用於在 CockroachDB 的節點上處理 SQL 請求的路由和多路複用。

Screenshot

這些是分配 GC 物件最多的其他程式碼路徑。

Screenshot

這是第二條 GC 物件分配路徑。

Screenshot

CockroachDB SQL 層中的 makeExecPlan() 函式,會建立一個查詢執行計劃。

Screenshot

看一下第三條 GC 物件分配路徑。

Screenshot

在處理列資料流時,呼叫 nextAdapter() 也會建立大量 GC 物件。

Screenshot

這是第四條 GC 物件分配路徑。

Screenshot

execStmt 函式在執行過程中,也會建立大量 GC 物件。

Screenshot

GC 物件收集佔用了 CPU 近 10% 的時間。

Screenshot

全自動分析報告

OpenResty XRay 也可以自動監控線上程序,並顯示分析報告。

Screenshot

切換到 “Insights” 頁面。

Screenshot

您可以在 “Insights” 頁面中找到以日和周為週期的報告。所以您不是非得用 “Guided Analysis” 功能。

Screenshot

當然,“Guided Analysis” 對於應用的開發和演示是很有用的。

Screenshot

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言 驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版 原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!