この万物がインターネットで繋がる時代において、DNS サービスの安定性はビジネスの存続に直結します。しかし、システムが CPU 使用率の不均衡や応答遅延の急上昇などの複雑な性能問題に直面したとき、従来の監視手段では表面的な問題しか見えず、コードレベルでの真の原因を特定することは困難です。

本日は、実際の顧客事例を通じて、DNS サービスが性能ボトルネックに直面し、従来の監視手段が無力だった際に、どのようにして OpenResty XRay を使用して数分以内に問題の根本原因を正確に特定し、60% 以上の性能向上を実現したかを紹介します。

OpenResty XRay の試用をすぐに申請する

「ライフライン」DNS サービスがパフォーマンス危機に直面

お客様が運用する DNS サービスシステムは、深刻な CPU 使用率の不均衡問題に直面しています。一部の Nginx worker プロセスの CPU 使用率が非常に高く、他のプロセスは相対的に空いています。同時に、システム全体の応答遅延が増加し、特に高負荷時に顕著です。この不均衡はサービスの安定性に影響を与えるだけでなく、リソース利用効率の低下を招き、運用コストの増加を引き起こしています。

従来のパフォーマンス分析方法では、複数のレイヤーにわたる複雑な相互作用が原因で、根本的な原因を正確に特定することが困難です。このような状況下で、お客様は OpenResty XRay を使用してシステムの全方位的なパフォーマンス解析を行いました。

OpenResty XRay で問題の根本原因を段階的に調査する方法

OpenResty XRay 分析ツールを使用して、対象システムを詳細に分析した結果、以下の重要な問題が明らかになりました：

1. CPU 使用率の不均一な分布

まず、Nginx の設定状態を確認しました：

use_accept_mutex: 0
listening on: 0.0.0.0:8090, reuseport: 0
listening on: 0.0.0.0:3581, reuseport: 0
listening on: 0.0.0.0:8081, reuseport: 0
listening on: 0.0.0.0:8088, reuseport: 0
listening on: 0.0.0.0:11080, reuseport: 0
listening on: 0.0.0.0:8080, reuseport: 0
listening on: 0.0.0.0:9000, reuseport: 0
listening on: 0.0.0.0:9090, reuseport: 0
listening on: 0.0.0.0:1935, reuseport: 0
listening on: 0.0.0.0:80, reuseport: 0

すべてのリスニングポートで reuseport オプションが有効になっていないことが判明し、これがリクエストの不均一な分配を引き起こしていました。

2. 60% の CPU が「盗まれた」真相

C フレームグラフ分析を通じて、約 60% の CPU 時間が cjson モジュールに消費されていることが分かりました。

Screenshot

Lua フレームグラフから見ると、約 60% の時間が cjson_decode 操作に、約 30% の時間が shcache.lua:load に消費されており、コアビジネスロジックである dns_server.lua にはわずか約 5% の時間しか消費されていません。

Screenshot

これにより、JSON 解析が絶対的な性能ボトルネックとなっていることが示されました。

3. Cosocket の性能問題

もう一つの顕著な CPU 消費ポイントは cosocket の受信操作で、約 16% の CPU 時間を占めていました：

ngx_stream_lua_socket_tcp_receive
  -> ngx_stream_lua_socket_tcp_receive_retval_handler
  -> ngx_stream_lua_socket_push_input_data
  -> luaL_addlstring [/etc/nginx/luajit/lib/libluajit-5.1.so.2.1.0]

分析の結果、顧客が使用しているのは古いバージョンの LuaJIT であり、最新バージョンではこの問題が最適化されていることが分かりました。

精密な「治療」：三段階で再生を実現

OpenResty XRay に基づく深層分析結果をもとに、当社の技術チームはお客様に対して特化した最適化プランを策定しました。

1. 負荷分散の最適化

worker プロセス間の負荷不均衡の問題を設定調整により解決し、システム資源の利用効率を著しく改善しました。これにより、全体的な性能が 20-30% 向上しました。

2. コア性能ボトルネックの解消

特定された JSON 処理性能のボトルネックに対して、以下の多層的な最適化戦略を提供しました：

  • データ処理フローの再構築により、不要な計算負荷を削減
  • インテリジェントキャッシュメカニズムの設計により、重複操作のコストを大幅に削減
  • 設定管理の最適化により、システム応答効率を向上

これらの最適化により、コアボトルネックの CPU 消費が 60% 以上削減され、システムのスループットが顕著に向上しました。

3. 実行時環境の最適化

バージョン互換性分析に基づき、お客様に技術スタックのアップグレードパスを計画し、基盤コンポーネントの性能をさらに最適化しました。これにより、追加で 5-10% の性能向上が得られました。

このケーススタディは、OpenResty XRay が複雑な性能問題の診断において強力な能力を持ち、コードレベルの性能ボトルネックを正確に特定し、最適化の明確な方向性を提供できることを示しています。

要約：わずか数分で達成したこと

  • 迅速かつ正確にすべてのパフォーマンスボトルネックを特定
  • コードレベルまで深く掘り下げ、従来の監視では見つけられない問題を発見
  • コア CPU 使用率を 60% 以上削減し、システム全体のパフォーマンスを 20%～30 %向上
  • JSON 解析が CPU 消費の 60% に達していることを発見し、パフォーマンスボトルネックを直撃
  • worker 設定の深刻な不均衡を発見し、負荷分散が非常に不合理であることを確認
  • 古いコンポーネントが全体のパフォーマンスを低下させていることを特定し、迅速にアップグレードと調整を実施
  • 運用効率が大幅に向上し、顧客の人力とコストの投入を大幅に削減
  • 全工程でフレームグラフを使用し、パフォーマンス問題が一目瞭然、最適化の方向性が明確かつ定量化可能

今日のようなシステムアーキテクチャが複雑で、ビジネスが高い同時実行性を持つ時代において、パフォーマンス問題は表面的な現象ではなく、従来の監視では真の原因を見つけるのが難しいです。OpenResty XRay は業界をリードする動的トレースプラットフォームとして、技術チームが問題の核心に迅速に到達し、正確かつ実行可能な最適化プランを策定するのに役立ちます。

システムをより安定させ、より速く、より効率的に運用したいとお考えの方、または事前に深いパフォーマンス最適化を体験したい方は、ぜひ製品の試用をお申し込みください。OpenResty XRay をチームの最も信頼できるツールにしてください。

OpenResty XRay の試用をすぐに申請する

OpenResty XRay について

OpenResty XRay は動的トレース製品であり、実行中のアプリケーションを自動的に分析して、パフォーマンスの問題、動作の問題、セキュリティの脆弱性を解決し、実行可能な提案を提供いたします。基盤となる実装において、OpenResty XRay は弊社の Y 言語によって駆動され、Stap+、eBPF+、GDB、ODB など、様々な環境下で複数の異なるランタイムをサポートしております。

著者について

章亦春（Zhang Yichun）は、オープンソースの OpenResty® プロジェクトの創始者であり、OpenResty Inc. の CEO および創業者です。

章亦春（GitHub ID: agentzh）は中国江蘇省生まれで、現在は米国ベイエリアに在住しております。彼は中国における初期のオープンソース技術と文化の提唱者およびリーダーの一人であり、Cloudflare、Yahoo!、Alibaba など、国際的に有名なハイテク企業に勤務した経験があります。「エッジコンピューティング」、「動的トレーシング」、「機械プログラミング」 の先駆者であり、22 年以上のプログラミング経験と 16 年以上のオープンソース経験を持っております。世界中で 4000 万以上のドメイン名を持つユーザーを抱えるオープンソースプロジェクトのリーダーとして、彼は OpenResty® オープンソースプロジェクトをベースに、米国シリコンバレーの中心部にハイテク企業 OpenResty Inc. を設立いたしました。同社の主力製品である OpenResty XRay動的トレーシング技術を利用した非侵襲的な障害分析および排除ツール）と OpenResty XRay（マイクロサービスおよび分散トラフィックに最適化された多機能ゲートウェイソフトウェア）は、世界中の多くの上場企業および大企業から高い評価を得ております。OpenResty 以外にも、章亦春は Linux カーネル、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl など、複数のオープンソースプロジェクトに累計 100 万行以上のコードを寄与し、60 以上のオープンソースソフトウェアライブラリを執筆しております。

翻訳

英語版の原文と日本語訳版（本文）をご用意しております。読者の皆様による他の言語への翻訳版も歓迎いたします。全文翻訳で省略がなければ、採用を検討させていただきます。心より感謝申し上げます！