KI-SRE — autonomer Incident-Investigator
Der Agent, der die Root Cause findet, bevor dein Kaffee leer ist
✓ Resolve AI ist ein Unicorn mit 1 Mrd. $ Bewertung, das Coinbase und DoorDash nutzen; Datadog Bits AI SRE ist bei Tausenden Organisationen allgemein verfügbar (GA).
So baust du es: Das Open-Source-Muster von HolmesGPT (Apache 2.0, CNCF Sandbox, von Robusta + Microsoft).
Das ist der Flaggschiff-Build: ein autonomer KI-Site-Reliability-Engineer, der Produktions-Incidents so untersucht wie Datadog Bits AI SRE und das 1-Mrd.-$-Unicorn Resolve AI — und so, wie es das Open-Source-Projekt HolmesGPT mit CNCF-Rückendeckung im Code umsetzt. Wenn ein Alert feuert, fasst der Agent ihn nicht nur zusammen. Er fährt eine agentische Tool-Use-Schleife: Er entscheidet, welches Read-only-Tool er als Nächstes aufruft, fragt Live-Metriken, Logs und den Kubernetes-Zustand ab, bildet Hypothesen zur Root Cause, sammelt weitere Belege, um sie zu bestätigen oder auszuschließen, und landet bei einer gerankten Root Cause — dann postet er eine saubere RCA mit vollständiger Beweiskette in Slack und schlägt einen Fix vor, den ein Mensch freigibt.
Was du baust
- ✓Einen Alert-Webhook (Alertmanager / Grafana), der mit dem feuernden Alert als Kontext eine Untersuchung startet.
- ✓Eine Read-only-Tool-Schicht, die der Agent aufrufen kann: PromQL-Metrikabfragen, Loki-Logsuche, `kubectl describe/logs` und ein Blick auf die letzten Deployments.
- ✓Eine Claude-Tool-Use-Schleife: planen → Tool aufrufen → Ergebnisse beobachten → über Hypothesen nachdenken → wiederholen, innerhalb eines Schritt-Budgets.
- ✓Einen gerankten Root-Cause-Report mit Beweiskette, sauber und übersichtlich in Slack gepostet.
- ✓Human-in-the-Loop-Guardrails: Jede verändernde Aktion (Rollback, Skalieren, Neustart) läuft nur über einen Freigabe-Button in Slack.
Die Produktionsarchitektur
Dieselbe agentische Tool-Use-Schleife, die Datadog Bits und Resolve AI antreibt — kein einzelner Prompt, sondern ein iterativer Zyklus aus Planen → Handeln → Beobachten → Schlussfolgern.

- 1
Auslöser
Ein Alert feuert (Alertmanager/Grafana) und trifft einen Webhook, der mit den Labels, der Severity und dem Zeitraum des Alerts eine Untersuchung eröffnet.
- 2
Planen
Das LLM betrachtet den Alert plus die bisher gesammelten Belege und entscheidet, welches Tool es als Nächstes aufruft — genau wie der „Deep Research Agent“ von Datadog Bits.
- 3
Beobachten
Ein Read-only-Tool aufrufen (eine PromQL-Abfrage, eine Loki-Logsuche, `kubectl describe`, letzte Deployments). Die Rohergebnisse an den Arbeitskontext des Agenten anhängen.
- 4
Schlussfolgern
Root-Cause-Hypothesen bilden und verfeinern und jede gegen die Belege bewerten. Zurück zu „Planen“, bis der Agent sicher ist oder das Schritt-Budget aufgebraucht ist.
- 5
Berichten
Eine gerankte RCA schreiben — wahrscheinlichste Ursache zuerst — mit Beweiskette und einer konkreten Empfehlung zur Behebung. In Slack posten.
- 6
Freigeben
Ein Mensch prüft. Jede verändernde Aktion läuft nur nach ausdrücklicher Freigabe. So werden alle glaubwürdigen Produktionssysteme tatsächlich ausgeliefert.
Der Stack
Build-Meilensteine
Einen echten Incident aufsetzen
Starte eine Demo-App, die kaputtgehen darf, auf kind mit Prometheus, Loki und Alertmanager. Löse einen echten CrashLoopBackOff oder OOMKilled aus, damit der Agent etwas Reales zu lösen hat.
Die Read-only-Tools bauen
Implementiere PromQL-Abfrage, Loki-Logsuche, kubectl describe/logs und letzte Deployments als typisierte, sichere Tools, die das LLM aufrufen kann.
Die agentische Schleife verdrahten
Planen → Tool aufrufen → beobachten → schlussfolgern → wiederholen, mit Schritt-Budget und Abbruchbedingung. Das ist das Herzstück des Builds.
Den RCA-Report erzeugen
Mach aus der Beweiskette des Agenten eine gerankte, gut lesbare Root-Cause-Analyse und poste sie in Slack.
Human-in-the-Loop ergänzen
Leg die Behebung (Rollback/Skalieren) hinter einen Freigabe-Button in Slack — keine blinden Auto-Fixes.
Ehrlich evaluieren
Lass ihn gegen 3–5 vorbereitete Incidents laufen. Zeig, wo er die Root Cause trifft und wo er noch einen Menschen braucht — Glaubwürdigkeit statt Hype.
Was du lernst
⚖️ Die Realität in Produktion (das gehört ins Video)
Sei im Video ehrlich: Die echten Systeme legen jede verändernde Aktion hinter eine menschliche Freigabe, und der ITBench-Benchmark von IBM zeigt, dass selbst Top-Modelle nur rund 14 % echter Incidents end-to-end lösen. Wir bauen eine unterstützte, belegbasierte Untersuchung — schnelle Root Cause, keine blinde Auto-Remediation. Genau diese Ehrlichkeit verschafft dir das Vertrauen erfahrener Engineers.
Hol dir diesen Build, sobald er erscheint
Code, Video und Artikel — direkt in dein Postfach. Dazu jeder weitere agentische DevOps-Build in Produktionsqualität.
Newsletter abonnieren
Die neuesten Artikel und Tutorials direkt in dein Postfach.
Wir respektieren deine Privatsphäre. Abmelden jederzeit möglich.