KI-InfrastrukturAutomatisierungBetrieb

KI-Systeme, die sich selbst reparieren – und wissen, wann sie aufhören

· 3 min Lesen
KI-Systeme, die sich selbst reparieren – und wissen, wann sie aufhören

Wer ein einzelnes Tool betreibt, merkt selbst, wenn es steht. Wer über 40 betreibt, merkt es nicht — es sei denn, das System sagt Bescheid. Bei uns fällt regelmäßig etwas aus: ein Prozess, den das Betriebssystem nach einem Update abschießt, eine externe API, die kurz nicht antwortet, ein Deploy, der zur Hälfte durchläuft. Das ist normal. Die Frage ist nicht, wie man Ausfälle verhindert, sondern wie man dafür sorgt, dass die meisten sich selbst erledigen und nur der Rest einen Menschen erreicht.

ESKALATION · VOM AUSSETZER ZUM MENSCHEN 3× Fehler >3 / Stunde immer HEALTH-CHECK alle 5 Min · HTTP AUTO-NEUSTART protokolliert NOTBREMSE Auto-Restart aus MENSCH Direktnachricht meist geheilt → zurück in Betrieb
Vier Stufen. Nur die letzte erreicht einen Menschen.

Ein Prozess, der läuft, muss nicht funktionieren

Der einfachste Gesundheitscheck ist der falsche: zu prüfen, ob ein Prozess einen Port offen hält. Ein Server kann lauschen und trotzdem auf jede Anfrage mit einem Fehler oder gar nicht mehr antworten. Deshalb prüft unser Watchdog nicht den Port, sondern stellt alle fünf Minuten eine echte Anfrage an jedes System und wartet auf eine gültige Antwort in vertretbarer Zeit. Nur wer inhaltlich antwortet, gilt als gesund.

Fällt ein System durch, startet der Watchdog es neu — nicht sofort beim ersten Fehlversuch, sondern nach drei in Folge. Ein einzelner Aussetzer ist meist eine Momentaufnahme und hat sich beim nächsten Durchlauf von selbst erledigt. Erst wenn das Problem bleibt, wird eingegriffen. Der Neustart passiert ohne Menschen, protokolliert, und in den allermeisten Fällen ist die Sache damit erledigt, bevor überhaupt jemand hätte reagieren können.

Selbstheilung braucht eine Notbremse

Automatischer Neustart hat eine gefährliche Kehrseite: Ein System, das sofort nach dem Start wieder abstürzt, wird sonst endlos neu gestartet. Diese Schleife frisst Ressourcen und kann im schlimmsten Fall die ganze Maschine mitreißen. Deshalb zählt der Watchdog mit. Startet er dasselbe System innerhalb einer Stunde mehr als dreimal neu, zieht er eine andere Konsequenz: Er hört auf, es zu starten, schaltet die automatische Wiederbelebung ab und meldet sich direkt bei einem Menschen.

Die Logik dahinter ist eine Unterscheidung, die Maschinen selten treffen: Drei Neustarts pro Stunde heißen nicht „abgestürzt", sondern „kaputt". Ein abgestürztes System darf man neu starten. Ein kaputtes muss man ansehen. Der Watchdog erkennt den Unterschied am Muster und eskaliert erst dann — nicht bei jedem Zucken, sondern genau an der Stelle, an der die Automatik nicht mehr weiterkommt.

Faustregel im Betrieb

Drei Neustarts in einer Stunde heißen nicht „abgestürzt", sondern „kaputt". Abgestürztes darf die Maschine allein neu starten. Kaputtes muss ein Mensch ansehen.

Der blinde Fleck: Systeme, die laufen und trotzdem scheitern

Watchdog und Selbstheilung sehen nur das grobe Signal — lebt ein System oder nicht. Sie sehen nicht, ob ein laufendes System bei jeder zehnten Anfrage einen Fehler wirft. Genau das ist der teure blinde Fleck: Das Tool ist erreichbar, der Health-Check grün, und trotzdem bekommt der Nutzer im Hintergrund einen Fehler nach dem anderen.

Dafür meldet inzwischen jedes Tool unbehandelte Fehler zentral, sobald sie im laufenden Betrieb auftreten. Damit aus dieser Meldung kein Rauschen wird, sitzt eine Filterstufe dazwischen: Derselbe Fehler wird für eine Weile unterdrückt, statt hundertmal zu feuern; pro Tool gilt ein Stundenlimit; und was privat ist, landet nie im geteilten Kanal, sondern als Direktnachricht. So ploppt ein echter Fehler beim Benutzen sofort auf — nicht erst, wenn das System ganz steht.

Das Prinzip: fail-open, Mensch zuletzt

Zwei Regeln ziehen sich durch alles. Erstens: Die Überwachung darf nie der Grund sein, warum etwas steht. Fällt der Watchdog selbst aus, laufen die Systeme weiter — Absicherung, die den Betrieb blockiert, ist keine. Zweitens: Ein Mensch wird erst gerufen, wenn die Automatik nachweislich am Ende ist. Alles davor — der eine Aussetzer, der ein Neustart heilt — passiert lautlos.

Der Maßstab ist nicht die Zahl der Ausfälle, sondern wie viele davon je einen Menschen erreichen.

Das Ergebnis ist nicht ein System, das nie ausfällt. Es ist ein Betrieb, in dem die Ausfälle, die ich nachts sehe, tatsächlich welche sind, die einen Menschen brauchen. Der Rest hat sich längst selbst repariert.

← Alle NotizenSchreib mir →