← Alle Projekte
🚨
Stufe 1 · FlaggschiffIn Arbeit

KI-SRE — autonomer Incident-Investigator

Der Agent, der die Root Cause findet, bevor dein Kaffee leer ist

Mittelstufe⏱ ca. 3 Std.
Vorbild sind echte ProduktionssystemeDatadog Bits AI SREResolve AICleric AI

✓ Resolve AI ist ein Unicorn mit 1 Mrd. $ Bewertung, das Coinbase und DoorDash nutzen; Datadog Bits AI SRE ist bei Tausenden Organisationen allgemein verfügbar (GA).

So baust du es: Das Open-Source-Muster von HolmesGPT (Apache 2.0, CNCF Sandbox, von Robusta + Microsoft).

Das ist der Flaggschiff-Build: ein autonomer KI-Site-Reliability-Engineer, der Produktions-Incidents so untersucht wie Datadog Bits AI SRE und das 1-Mrd.-$-Unicorn Resolve AI — und so, wie es das Open-Source-Projekt HolmesGPT mit CNCF-Rückendeckung im Code umsetzt. Wenn ein Alert feuert, fasst der Agent ihn nicht nur zusammen. Er fährt eine agentische Tool-Use-Schleife: Er entscheidet, welches Read-only-Tool er als Nächstes aufruft, fragt Live-Metriken, Logs und den Kubernetes-Zustand ab, bildet Hypothesen zur Root Cause, sammelt weitere Belege, um sie zu bestätigen oder auszuschließen, und landet bei einer gerankten Root Cause — dann postet er eine saubere RCA mit vollständiger Beweiskette in Slack und schlägt einen Fix vor, den ein Mensch freigibt.

Was du baust

  • ✓Einen Alert-Webhook (Alertmanager / Grafana), der mit dem feuernden Alert als Kontext eine Untersuchung startet.
  • ✓Eine Read-only-Tool-Schicht, die der Agent aufrufen kann: PromQL-Metrikabfragen, Loki-Logsuche, `kubectl describe/logs` und ein Blick auf die letzten Deployments.
  • ✓Eine Claude-Tool-Use-Schleife: planen → Tool aufrufen → Ergebnisse beobachten → über Hypothesen nachdenken → wiederholen, innerhalb eines Schritt-Budgets.
  • ✓Einen gerankten Root-Cause-Report mit Beweiskette, sauber und übersichtlich in Slack gepostet.
  • ✓Human-in-the-Loop-Guardrails: Jede verändernde Aktion (Rollback, Skalieren, Neustart) läuft nur über einen Freigabe-Button in Slack.

Die Produktionsarchitektur

Dieselbe agentische Tool-Use-Schleife, die Datadog Bits und Resolve AI antreibt — kein einzelner Prompt, sondern ein iterativer Zyklus aus Planen → Handeln → Beobachten → Schlussfolgern.

KI-SRE — autonomer Incident-Investigator — Architekturdiagramm
Die agentische Schleife: Ein Alert startet eine Untersuchung, die Read-only-Tools abfragt, über die Belege nachdenkt und eine Root Cause meldet — jeden Fix gibt ein Mensch frei.
  1. 1

    Auslöser

    Ein Alert feuert (Alertmanager/Grafana) und trifft einen Webhook, der mit den Labels, der Severity und dem Zeitraum des Alerts eine Untersuchung eröffnet.

  2. 2

    Planen

    Das LLM betrachtet den Alert plus die bisher gesammelten Belege und entscheidet, welches Tool es als Nächstes aufruft — genau wie der „Deep Research Agent“ von Datadog Bits.

  3. 3

    Beobachten

    Ein Read-only-Tool aufrufen (eine PromQL-Abfrage, eine Loki-Logsuche, `kubectl describe`, letzte Deployments). Die Rohergebnisse an den Arbeitskontext des Agenten anhängen.

  4. 4

    Schlussfolgern

    Root-Cause-Hypothesen bilden und verfeinern und jede gegen die Belege bewerten. Zurück zu „Planen“, bis der Agent sicher ist oder das Schritt-Budget aufgebraucht ist.

  5. 5

    Berichten

    Eine gerankte RCA schreiben — wahrscheinlichste Ursache zuerst — mit Beweiskette und einer konkreten Empfehlung zur Behebung. In Slack posten.

  6. 6

    Freigeben

    Ein Mensch prüft. Jede verändernde Aktion läuft nur nach ausdrücklicher Freigabe. So werden alle glaubwürdigen Produktionssysteme tatsächlich ausgeliefert.

Der Stack

Claude (tool use)
Die Reasoning-Engine, die die agentische Schleife antreibt und Tools auswählt
Python + FastAPI
Webhook-Empfänger und Orchestrator des Agenten
Prometheus + PromQL
Metrik-Tool — Latenz, Fehlerrate, Auslastung
Loki (or Elasticsearch)
Log-Tool — Suche rund um das Incident-Zeitfenster
Kubernetes API
Cluster-Zustand-Tool — Pod-Status, Events, letzte Rollouts
Slack API
Zustellung der RCA + menschliches Freigabe-Gate
kind + Docker
Ein lokaler Cluster, um für die Demo einen echten, provozierbaren Incident aufzusetzen
HolmesGPT (reference)
Der Open-Source-CNCF-Agent, dessen Schleife du nachbaust

Build-Meilensteine

01

Einen echten Incident aufsetzen

Starte eine Demo-App, die kaputtgehen darf, auf kind mit Prometheus, Loki und Alertmanager. Löse einen echten CrashLoopBackOff oder OOMKilled aus, damit der Agent etwas Reales zu lösen hat.

02

Die Read-only-Tools bauen

Implementiere PromQL-Abfrage, Loki-Logsuche, kubectl describe/logs und letzte Deployments als typisierte, sichere Tools, die das LLM aufrufen kann.

03

Die agentische Schleife verdrahten

Planen → Tool aufrufen → beobachten → schlussfolgern → wiederholen, mit Schritt-Budget und Abbruchbedingung. Das ist das Herzstück des Builds.

04

Den RCA-Report erzeugen

Mach aus der Beweiskette des Agenten eine gerankte, gut lesbare Root-Cause-Analyse und poste sie in Slack.

05

Human-in-the-Loop ergänzen

Leg die Behebung (Rollback/Skalieren) hinter einen Freigabe-Button in Slack — keine blinden Auto-Fixes.

06

Ehrlich evaluieren

Lass ihn gegen 3–5 vorbereitete Incidents laufen. Zeig, wo er die Root Cause trifft und wo er noch einen Menschen braucht — Glaubwürdigkeit statt Hype.

Was du lernst

→Die agentische Tool-Use-Schleife aus der Produktion — und warum sie einen einzelnen Mega-Prompt schlägt
→Sichere Read-only-Tools entwerfen, die ein LLM aufrufen kann, ohne die Produktion zu gefährden
→Einen Agenten in Live-Telemetrie verankern: Metriken, Logs und Kubernetes-Zustand
→Human-in-the-Loop-Guardrails für jede Aktion, die Infrastruktur verändert
→Einen Ops-Agenten ehrlich evaluieren (der Realitätscheck mit ITBench)

⚖️ Die Realität in Produktion (das gehört ins Video)

Sei im Video ehrlich: Die echten Systeme legen jede verändernde Aktion hinter eine menschliche Freigabe, und der ITBench-Benchmark von IBM zeigt, dass selbst Top-Modelle nur rund 14 % echter Incidents end-to-end lösen. Wir bauen eine unterstützte, belegbasierte Untersuchung — schnelle Root Cause, keine blinde Auto-Remediation. Genau diese Ehrlichkeit verschafft dir das Vertrauen erfahrener Engineers.

Hol dir diesen Build, sobald er erscheint

Code, Video und Artikel — direkt in dein Postfach. Dazu jeder weitere agentische DevOps-Build in Produktionsqualität.

Newsletter abonnieren

Die neuesten Artikel und Tutorials direkt in dein Postfach.

Wir respektieren deine Privatsphäre. Abmelden jederzeit möglich.