← すべてのプロジェクト
🚨
Tier 1 · フラッグシップ制作中

AI SRE — 自律型インシデント調査エージェント

コーヒーを飲み終える前に根本原因を突き止めるエージェント

中級⏱ 約 3 時間
お手本にした本番システムDatadog Bits AI SREResolve AICleric AI

✓ Resolve AI は Coinbase や DoorDash が利用する評価額 10 億ドルのユニコーン企業です。Datadog Bits AI SRE は数千の組織で一般提供(GA)されています。

作り方: オープンソースの HolmesGPT のパターン(Apache 2.0、CNCF Sandbox、Robusta + Microsoft 開発)。

これがフラッグシップのビルドです。Datadog Bits AI SRE や評価額 10 億ドルのユニコーン Resolve AI と同じやり方で、そしてオープンソースで CNCF が支援する HolmesGPT がコードで実装しているやり方で、本番のインシデントを調査する自律型の AI サイトリライアビリティエンジニアを作ります。アラートが発火しても、エージェントは要約するだけでは終わりません。エージェント型のツール実行ループを回し、次に呼ぶ読み取り専用ツールを自分で選び、ライブのメトリクス、ログ、Kubernetes の状態を照会して、根本原因の仮説を立てます。さらに証拠を集めて仮説を裏付けたり否定したりしながら、順位付けした根本原因に絞り込みます。最後に、証拠の流れをすべて添えたわかりやすい RCA を Slack に投稿し、人間が承認する修正案を提示します。

作るもの

  • ✓発火したアラートをコンテキストとして調査を開始するアラート Webhook(Alertmanager / Grafana)。
  • ✓エージェントが呼び出せる読み取り専用のツール層: PromQL によるメトリクス照会、Loki のログ検索、`kubectl describe/logs`、最近のデプロイの確認。
  • ✓Claude のツール実行ループ: 計画 → ツール呼び出し → 結果の観察 → 仮説の検討 → ステップ数の上限まで繰り返し。
  • ✓証拠の流れを添えた、順位付きの根本原因レポート。読みやすい形式で Slack に投稿します。
  • ✓human-in-the-loop のガードレール: 変更を伴うアクション(ロールバック、スケール、再起動)はすべて Slack の承認ボタンを通します。

本番のアーキテクチャ

Datadog Bits や Resolve AI を支えているのと同じ、エージェント型のツール実行ループです。単発のプロンプトではなく、計画 → 実行 → 観察 → 推論を繰り返すサイクルです。

AI SRE — 自律型インシデント調査エージェント — アーキテクチャ図
エージェントループ: アラートをきっかけに調査が始まり、読み取り専用のツールに問い合わせ、証拠をもとに推論して根本原因を報告します。修正は必ず人間が承認します。
  1. 1

    トリガー

    アラート(Alertmanager/Grafana)が発火して Webhook に届き、アラートのラベル、重大度、時間帯をもとに調査を開始します。

  2. 2

    計画

    LLM がアラートとそれまでに集めた証拠を見て、次に呼ぶツールを決めます。Datadog Bits の「ディープリサーチ・エージェント」とまったく同じです。

  3. 3

    観察

    読み取り専用ツールを 1 つ呼び出し(PromQL クエリ、Loki のログ検索、`kubectl describe`、最近のデプロイ)、生の結果をエージェントの作業コンテキストに追加します。

  4. 4

    推論

    根本原因の仮説を立てて磨き込み、それぞれを証拠と照らし合わせて評価します。確信が持てるか、ステップ数の上限に達するまで「計画」に戻ります。

  5. 5

    報告

    最も可能性の高い原因を先頭に、証拠の流れと具体的な修正案を添えた順位付きの RCA を書き、Slack に投稿します。

  6. 6

    承認

    人間がレビューします。変更を伴うアクションは明示的な承認があったときだけ実行します。信頼できる本番システムは、実際にこうしてリリースされています。

スタック

Claude (tool use)
エージェントループを動かし、ツールを選ぶ推論エンジン
Python + FastAPI
Webhook の受信とエージェントのオーケストレーション
Prometheus + PromQL
メトリクスのツール — レイテンシ、エラー率、飽和度
Loki (or Elasticsearch)
ログのツール — インシデント発生時間帯の前後を検索
Kubernetes API
クラスター状態のツール — Pod の状態、イベント、最近のロールアウト
Slack API
RCA の配信と、人間による承認ゲート
kind + Docker
デモ用に、実際に壊せるインシデントを用意するローカルクラスター
HolmesGPT (reference)
ループの手本にする、オープンソースの CNCF エージェント

ビルドのマイルストーン

01

実際のインシデントを用意する

Prometheus、Loki、Alertmanager を入れた kind 上に、壊せるデモアプリを立ち上げます。本物の CrashLoopBackOff や OOMKilled を起こし、エージェントが解くべき実際の問題を用意します。

02

読み取り専用ツールを作る

PromQL クエリ、Loki のログ検索、kubectl describe/logs、最近のデプロイの確認を、LLM が呼び出せる型付きの安全なツールとして実装します。

03

エージェントループを組む

計画 → ツール呼び出し → 観察 → 推論 → 繰り返し。ステップ数の上限と停止条件も設けます。ここがこのビルドの核心です。

04

RCA レポートを生成する

エージェントが集めた証拠の流れを、人が読める順位付きの根本原因分析にまとめ、Slack に投稿します。

05

human-in-the-loop を加える

修正(ロールバック/スケール)を Slack の承認ボタンの後ろに置きます。確認なしの自動修正はしません。

06

正直に評価する

3〜5 件の仕込んだインシデントで試します。根本原因を言い当てる場面と、まだ人間が必要な場面の両方を見せます。誇張より信頼性です。

学べること

→本番で使われるエージェント型のツール実行ループと、巨大な単発プロンプトに勝る理由
→本番環境を壊さずに LLM が呼び出せる、安全な読み取り専用ツールの設計
→ライブのテレメトリ(メトリクス、ログ、Kubernetes の状態)にエージェントを根ざす方法
→インフラを変更するアクションに対する human-in-the-loop のガードレール
→運用エージェントを正直に評価する方法(ITBench による現実チェック)

⚖️ 本番の現実(動画でも伝えること)

動画でも正直に伝えましょう。実際のシステムは変更を伴うアクションをすべて人間の承認の後ろに置いていますし、IBM の ITBench ベンチマークでは、最上位のモデルでさえ実際のインシデントをエンドツーエンドで解決できるのは約 14% にとどまります。私たちが作るのは、証拠に裏付けられた調査の支援です。素早く根本原因にたどり着くためのもので、確認なしの自動修復ではありません。その正直さこそが、シニアエンジニアの信頼を得る鍵です。

このビルドを公開と同時に受け取る

コード、動画、解説記事をメールでお届けします。ほかの本番品質のエージェント型 DevOps ビルドもすべて。

ニュースレターに登録

最新の記事やチュートリアルをメールでお届けします。

プライバシーを尊重します。いつでも配信を停止できます。