Wann wir ein KI-System abschalten – unsere Kriterien
Ein KI-System abzuschalten fühlt sich für die meisten wie ein Eingeständnis an: Zeit ist reingeflossen, ein Entwickler hat es gebaut, jemand hat es präsentiert. Jetzt den Stecker zu ziehen, wirkt wie Scheitern. Bei uns ist es das Gegenteil. Von über 40 Systemen, die wir seit 2023 gebaut haben, laufen aktuell rund 30. Der Rest wurde bewusst abgeschaltet, und jedes Mal war das die richtige Entscheidung.
Die vier Fragen, die wir stellen
Wir prüfen jedes System einmal im Quartal anhand von vier Kriterien. Keine davon ist kompliziert, aber zusammen ergeben sie ein klares Bild.
Erstens: Wird es noch benutzt? Wir loggen jeden Aufruf. Wenn ein System, das für tägliche Nutzung gebaut wurde, in den letzten vier Wochen unter zehn Aufrufe hatte, ist das ein Warnsignal, kein Todesurteil.
Zweitens: Wer ist verantwortlich? Jedes System braucht einen Menschen, der auf Nachfrage in unter einer Minute sagen kann, was es tut und warum. Wenn diese Person das Unternehmen verlassen hat oder die Rolle gewechselt hat und niemand nachgerückt ist, ist das System verwaist — unabhängig davon, wie gut es funktioniert.
Drittens: Was kostet die Wartung im Verhältnis zum Nutzen? Ein System, das zweimal im Monat manuell nachjustiert werden muss, aber nur einer Person zehn Minuten Arbeit pro Woche erspart, rechnet sich nicht. Wir rechnen das nicht in Euro, sondern in Stunden: Wartungsaufwand gegen eingesparten Aufwand.
Viertens: Würden wir es heute nochmal so bauen? Diese Frage ist die unbequemste, weil sie ehrlich beantwortet werden muss. Ein System, das aus einer Notlösung von 2023 entstanden ist und seitdem nie überarbeitet wurde, überlebt diese Frage selten.
Ein Beispiel aus der Praxis
Anfang des Jahres hatten wir ein System, das automatisch Wettbewerbsanalysen aus öffentlichen Quellen zusammenstellte. Gebaut in einem Wochenende, anfangs enthusiastisch genutzt. Nach sechs Monaten zeigte das Logging: drei Aufrufe im letzten Monat, alle von derselben Person. Die Verantwortliche war inzwischen in ein anderes Team gewechselt. Die Wartung — die Datenquellen änderten ihre Struktur etwa alle sechs Wochen — kostete mehr Zeit, als das System je eingespart hatte.
Wir haben es abgeschaltet, nicht "pausiert". Der Unterschied ist wichtig: Pausieren bedeutet, es bleibt als offene Frage im Raum stehen. Abschalten bedeutet, die Entscheidung ist getroffen und dokumentiert, inklusive Grund und Datum.
Warum das eine Führungsentscheidung ist
Ein Entwickler kann selten objektiv beurteilen, ob sein eigenes System abgeschaltet werden sollte. Das ist keine Kritik, das ist menschlich. Deshalb liegt die Abschaltentscheidung bei uns nicht bei der Person, die das System gebaut hat, sondern wird im vierteljährlichen Review gemeinsam getroffen.
Das hat einen Nebeneffekt, den wir nicht erwartet hatten: Weil abschalten kein Makel mehr ist, sondern Routine, bauen Leute mutiger. Ein Prototyp, der scheitert, ist kein Rückschritt, sondern ein normaler Teil des Prozesses — solange er auch wieder abgeschaltet wird, wenn er sich nicht bewährt.
Ein KI-System, das niemand mehr benutzt, aber niemand abschaltet, ist teurer als ein System, das nie gebaut wurde. Es kostet Wartung, Aufmerksamkeit und im schlimmsten Fall Vertrauen, wenn es irgendwann fehlerhaft weiterläuft und niemand es merkt. Abschalten ist keine Notbremse. Es ist Teil des normalen Betriebs.
Verwandte Notizen
- Unsere ersten produktiven KI-Pipelines: Was geblieben ist
- 40+ KI-Systeme: Was 2 Jahre Aufbau in einer Agentur lehren
- KI-Prompts sind Dokumentation, keine Magie
Mehr zum Thema: KI-Automatisierung