← 返回

CockroachDB 高 CPU 使用率：用火焰圖剖析執行中的 Go 服務

章亦春釋出於 Dec 25, 2023 更新於 Aug 21, 2026

預計閱讀 5 分鐘

閱讀次數

當 CockroachDB 程序吃滿高 CPU——本例中超過單核的 250%——OpenResty XRay 能在執行中的 Go 服務上精準定位 CPU 時間的去向，無需重啟、不改一行程式碼。僅 Go 垃圾回收就佔了約 13% 的 CPU，背後是 kvcoord、Raft 和 sqlMux 元件中大量分配 GC 物件的熱程式碼路徑。

本教程接下來演示 OpenResty XRay 如何量化 CockroachDB（Go 語言實現）內部的 CPU 時間消耗，自動分析並解讀 Go 語言級別的 CPU 火焰圖，找出最耗 CPU 的程式碼路徑。

問題：CockroachDB 高 CPU 使用率

CockroachDB 是一個用 Go（golang）語言編寫的分散式資料庫。我們將分析一個執行中的 CockroachDB 伺服器的 CPU 時間是如何分配的。

我們使用 top 命令檢查 CPU 使用情況。可以看到，這個程序使用了超過 250% 的 CPU 資源。

使用 ps 命令檢視它的更多詳細資訊。這個程序使用的 Cockroach 二進位制可執行檔案，是 Linux 發行版自帶的。

用引導式分析定位最耗 CPU 的 Go 程式碼路徑

讓我們用 OpenResty XRay 實時分析這個未經修改的 CockroachDB 程序——無需重啟，也不改動程式碼。開啟 OpenResty XRay Web 控制檯，確認正在觀察的機器無誤，進入 “Guided Analysis” 頁面。

在 Guided Analysis 頁面選擇 “High CPU Usage” 問題型別，點選 “By Processes”，挑出消耗接近 200% CPU 的 CockroachDB 程序——正是我們先前在 top 裡看到的那個。

應用型別與語言級別保持自動識別出的 “Go” 預設值，最大分析時間保持預設的 300 秒，開始分析。

OpenResty XRay 會對執行中的程序執行多輪取樣。本例跑兩輪就夠了，於是停止分析。

系統自動生成了一份分析報告。

這是現在我們要分析的問題型別，CPU。

Go 執行時的 GC 垃圾回收佔了約 13% 的 CPU 時間。

這條 Go 程式碼路徑新建立的 GC 物件數目，約佔新建立 GC 物件總數的 25%。

目前正在執行的是一個建立於 RunAsyncTaskEx 函式中的匿名函式，它用於管理 CockroachDB 系統中各種非同步任務的生命週期。

點選 “More” 檢視詳情。

這條熱程式碼路徑是從這個 Go 級別的 GC 物件記憶體分佈火焰圖中自動推匯出來的。

放大火焰圖。

繼續點選放大。

這條熱程式碼路徑由 kvcoord 包、

Raft 協議、

sqlMux 元件三大部分組成。

點選放大 kvcoord/dist_sender。

kvcoord 是 CockroachDB 中的鍵值協調器模組，用於處理併發訪問和資料一致性。它負責協調多個 kvclient 例項之間的併發操作，以確保資料的正確性和一致性。

點選放大 Start 函式。

Raft 是 CockroachDB 使用的一種分散式一致性協議，用於實現資料的複製和故障容錯。CockroachDB 採用了分散式資料庫的架構，其中多個 kvserver 節點協同工作以提供高可用性和可擴充套件性。

進入 sqlMux 函式。

sqlMux 用於在 CockroachDB 的節點上處理 SQL 請求的路由和多路複用。

這些是分配 GC 物件最多的其他程式碼路徑。

這是第二條 GC 物件分配路徑。

CockroachDB SQL 層中的 makeExecPlan() 函式，會建立一個查詢執行計劃。

看一下第三條 GC 物件分配路徑。

在處理列資料流時，呼叫 nextAdapter() 也會建立大量 GC 物件。

這是第四條 GC 物件分配路徑。

execStmt 函式在執行過程中，也會建立大量 GC 物件。

GC 物件收集佔用了 CPU 近 10% 的時間。

立即申請 OpenResty XRay 試用

全自動 CPU 分析報告

OpenResty XRay 也可以自動監控線上程序，並顯示分析報告。

切換到 “Insights” 頁面。

您可以在 “Insights” 頁面中找到以日和周為週期的報告。所以您不是非得用 “Guided Analysis” 功能。

當然，“Guided Analysis” 對於應用的開發和演示是很有用的。

常見問題

CockroachDB 為甚麼會佔用這麼高的 CPU？

在本次分析中，Go 垃圾回收是主要開銷：GC 本身佔了約 13% 的 CPU 時間，GC 物件收集又佔了近 10%。大量物件分配來自 kvcoord 鍵值協調器、Raft 複製協議和 sqlMux SQL 請求多路複用器等熱程式碼路徑，以及 SQL 層的 makeExecPlan()、nextAdapter() 和 execStmt() 函式。你自己叢集上的高 CPU 成因可能不同，因此對執行中的程序做剖析才是弄清 CPU 時間去向的可靠辦法。

如何找出 CockroachDB 中最耗 CPU 的程式碼？

對執行中的 CockroachDB 程序執行 OpenResty XRay 的 “Guided Analysis”，按程序選擇 “High CPU Usage”，讓它取樣若干輪。它會生成 Go 語言級別的 CPU 與 GC 物件分配火焰圖，並自動推匯出精確到函式級別的最熱程式碼路徑——無需重啟，也不改動程式碼。

不重啟、不用 pprof，能剖析 CockroachDB 的 CPU 嗎？

可以。OpenResty XRay 直接分析未經修改、正在執行的 CockroachDB 二進位制檔案，因此你無需開啟 Go 的 pprof 端點、傳入除錯引數或重啟服務。這使得在生產節點仍在處理流量時診斷 CockroachDB 高 CPU 使用率也很安全。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品，它可以自動分析執行中的應用，以解決效能問題、行為問題和安全漏洞，並提供可行的建議。在底層實現上，OpenResty XRay 由我們的 Y 語言驅動，可以在不同環境下支援多種不同的執行時，如 Stap+、eBPF+、GDB 和 ODB。

立即申請 OpenResty XRay 試用

關於作者

章亦春是開源 OpenResty^® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春（Github ID: agentzh），生於中國江蘇，現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物，曾供職於多家國際知名的高科技企業，如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅，擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty^® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay（利用動態追蹤技術的非侵入式的故障剖析和排除工具）和 OpenResty Edge（最適合微服務和分散式流量的全能型閘道器軟體），廣受全球眾多上市及大型企業青睞。在 OpenResty 以外，章亦春為多個開源專案貢獻了累計超過百萬行程式碼，其中包括，Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等，並編寫過 60 多個開源軟體庫。