--- title: "KI-Systeme im Betrieb: Der Pilot ist der leichte Teil" description: "Ein KI-Pilot beweist wenig, der Betrieb beginnt, wo andere mit dem Ergebnis arbeiten. Wie wir KI-Systeme in den Betrieb bringen, mit sechs Prüffragen." url: https://carl-wuerfel.de/notizen/ki-systeme-im-betrieb-was-wir-gelernt-haben author: Carl-Uwe Würfel --- 1. [Start](https://carl-wuerfel.de/) 2. [Beiträge](https://carl-wuerfel.de/notizen) 3. KI-Infrastruktur # KI-Systeme im Betrieb: Der Pilot ist der leichte Teil Ein KI-Pilot beweist wenig, der Betrieb beginnt, wo andere mit dem Ergebnis arbeiten. Wie wir KI-Systeme in den Betrieb bringen, mit sechs Prüffragen. [Carl-Uwe Würfel](https://carl-wuerfel.de/about/carl-uwe-wuerfel)Erstfassung 15\. März 2026 · Überarbeitet 5\. November 2026 · 5 Min. Lesezeit[English version](https://carl-wuerfel.de/en/notes/running-ai-systems-lessons) Bei KI-Systemen ist der Pilot der leichte Teil. Der Betrieb beginnt dort, wo andere mit dem Ergebnis weiterarbeiten oder es das Haus verlässt, und erst dort zeigt sich, ob ein System trägt. Die übliche Erfolgsmeldung lautet: Der Pilot läuft, das Team findet ihn hilfreich. Dann fragt niemand mehr, wer ihn in einem Jahr betreut, was passiert, wenn das Modell nach einem Update anders antwortet, und wann über seine Zukunft entschieden wird. So entsteht ein [Pilot Graveyard](https://carl-wuerfel.de/glossar/pilot-graveyard), ein Friedhof aus Vorhaben, die nie in einen betreuten Betrieb übergehen. Bei SUMAX stellen wir seit 2023 das ganze Unternehmen auf KI um, mit dem Team, und haben dabei eine Reihenfolge festgelegt: erst das Fundament für alle, dann die Werkzeuge für einzelne Aufgaben. ## Ein gelungener Durchlauf beweist wenig. Über eine neue Anwendung sagt ein guter Durchlauf wenig. Datenquellen ändern sich, ein Modell liefert nach einem Update andere Ergebnisse, und die fachliche Aufgabe entwickelt sich weiter. Wer über die Einführung entscheidet, entscheidet deshalb auch über Betreuung, Prüfung und Rückfallwege. Die Schwelle liegt dort, wo andere mit dem Ergebnis weiterarbeiten oder es das Haus verlässt. Ab da braucht eine Anwendung ein prüfbares Ergebnis, einen Rückfallweg für den Ausfall und einen festen Termin, an dem über Ausweiten, Überarbeiten oder Beenden entschieden wird. Entscheiden Sie über den Betrieb in dem Moment, in dem Sie über den Piloten entscheiden. Der Betrieb beginnt, wo andere mit dem Ergebnis weiterarbeiten oder es das Haus verlässt. _Abbildung: Versuch und Betrieb nebeneinander. Die Schwelle liegt dort, wo andere mit dem Ergebnis weiterarbeiten oder es das Haus verlässt. Im Versuch fragt niemand, wer ihn in einem Jahr betreut, und das Ergebnis sieht gut aus. Im Betrieb ist die Betreuung eingeplant, das Ergebnis prüfbar, ein Rückfallweg vorbereitet, die Begründung aufgeschrieben, und ein fester Termin entscheidet über Ausweiten, Überarbeiten oder Beenden._ ## Wir fangen mit Aufgaben an, deren Fehler das Team sofort sieht. Am meisten zeigt ein begrenzter Ablauf. Die Eingabe bleibt überschaubar, das Ergebnis lässt sich prüfen, und Rückmeldungen führen zu konkreten Änderungen. Nebenbei wird sichtbar, welche Daten und welche fachliche Kontrolle eine Aufgabe braucht. Große Vorhaben mit vielen Beteiligten verdecken das. Liefert ein umfassendes System schlechte Ergebnisse, lässt sich kaum sagen, ob die Daten, die Aufgabe oder die Bedienung schuld sind. Bei SUMAX lag Prozesswissen früher verstreut, und solches Wissen gehört an einen Ort, bevor ein Werkzeug darauf aufbaut. Deshalb fangen wir mit Aufgaben an, die ein Team gut kennt und deren Fehler es sofort erkennt. Wählen Sie für den ersten Schritt in den Betrieb einen Ablauf, dessen Fehler Ihr Team auf den ersten Blick sieht. ## Erst das Fundament, dann die Werkzeuge. Am Anfang unserer Umstellung stand das Fundament für alle: Nutzer, Rechte und Zugänge. Über die Rechte war die Sicherheit von Anfang an Teil davon. Erst danach kamen Werkzeuge für einzelne Aufgaben. Jeder KI-Aufruf läuft durch eine eigene Schicht zwischen den Anwendungen und den Modellen, die das Modell wechselbar hält und jeden Aufruf mit seinen Kosten bucht. Zum Stand der Überarbeitung (Oktober 2026) ist das eine fünfstellige Zahl an Aufrufen im Monat, und mehrere zugekaufte Werkzeuge haben wir bis dahin durch Eigenentwicklungen ersetzt. Die Grundlage habe ich verantwortet und mit dem Team aufgebaut. Das hilft mir vor allem beim Urteil, was ich von Teams und Anbietern verlangen kann und wo ein Versprechen unrealistisch ist. Für die Führung zählt aber etwas anderes als die Architektur: Wer auf einer gemeinsamen Grundlage baut, hängt an ihr. Fällt ein zentraler Dienst aus, trifft das mehrere Abläufe gleichzeitig. Bauen Sie zuerst Nutzer, Rechte und Zugänge für alle, und planen Sie den Ausfall der Grundlage mit, bevor viele Abläufe daran hängen. ## Wer ein KI-Ergebnis weitergibt, steht dafür gerade. Ob ein Ergebnis fachlich brauchbar ist, entscheidet das Team, das damit arbeitet. Wer ein KI-Ergebnis ungeprüft weiterreicht, wird zum Durchreicher, und der Fehler landet beim nächsten in der Kette. Damit aus einer Anwendung ein Arbeitsmittel wird, braucht es nachvollziehbare Freigaben, eine Dokumentation, die auch eine neue Kollegin versteht, und einen festen Weg für Rückmeldungen. Bei SUMAX entstehen die Werkzeuge mit den Menschen, die damit arbeiten. Die Rollenbeschreibungen haben wir neu geschrieben, und geschult wird an echten Aufgaben aus dem jeweiligen Bereich. Zum Stand der Überarbeitung nutzt die große Mehrheit der Mitarbeitenden die eigenen KI-Werkzeuge jeden Monat. Als COO mache ich dafür Zeit frei. KI spart Routinearbeit, aber Prüfen kostet Zeit, und wer sie nicht einplant, bekommt ungeprüfte Ergebnisse oder überlastete Teams. Planen Sie die Prüfzeit ein, bevor die Anwendung in den Alltag geht. ## An der Übergabe zeigt sich, ob ein Ergebnis taugt. Die nächste Person muss erkennen, was bereits geprüft ist, welche Quellen dahinterstehen und welche Entscheidung noch aussteht. Dafür sorgt eine klare Übergabe, mit oder ohne zusätzliche Anwendung. > Ein Beispiel: Eine Recherche ergibt eine Liste möglicher Maßnahmen. Für die Kollegin, die daraus einen Plan machen soll, taugt die Liste erst, wenn Quellen, Unsicherheiten und Prioritäten sichtbar sind. Fehlen diese Angaben, beginnt sie die Recherche von vorn, und der Zeitgewinn ist verloren. Geben Sie ein KI-Ergebnis nur mit sichtbaren Quellen, Unsicherheiten und offenen Entscheidungen weiter. ## Entscheidungen aufschreiben, bevor das nächste Modell kommt. Warum fiel die Wahl auf eine bestimmte Lösung? Welche Alternativen standen im Raum, und welche Einschränkung galt damals? Eine Liste der vorhandenen Funktionen liefert diese Begründung nicht. Ein brauchbares Entscheidungsprotokoll enthält die wiederkehrenden Anforderungen, die verworfenen Alternativen und die erwarteten Grenzen der Lösung. Erscheint ein neues Modell oder ein Standardprodukt, zeigt das Protokoll, welche Annahmen noch gelten und ob ein Wechsel lohnt. Eine frühere Entscheidung wird dann an den Bedingungen gemessen, unter denen sie fiel. Auch eine Anwendung, die im Alltag läuft, braucht diesen prüfenden Blick, und eine, die kaum noch genutzt wird, gehört abgeschaltet, auch wenn sie viel Arbeit gekostet hat. Schreiben Sie die Begründung auf, solange Sie sie noch kennen. ## Sechs Prüffragen vor dem Schritt in den Betrieb. Die erste Frage entscheidet, ob die übrigen fällig sind. 1. Arbeitet jemand außerhalb des Pilotteams mit dem Ergebnis weiter, oder verlässt es das Haus? 2. Lässt sich das Ergebnis prüfen, und weiß die prüfende Person, woran sie einen Fehler erkennt? 3. Gibt es einen Rückfallweg, wenn das Modell, die Datenquelle oder die gemeinsame Grundlage ausfällt? 4. Steht ein Termin, an dem über Ausweiten, Überarbeiten oder Beenden entschieden wird? 5. Ist aufgeschrieben, warum diese Lösung gewählt wurde und welche Alternativen verworfen wurden? 6. Sieht die nächste Person in der Kette, was geprüft ist und was noch offen ist? Ein Nein bei Frage 1 heißt: Es ist noch ein Versuch. Ein Nein bei einer der anderen heißt: Der Schritt in den Betrieb kommt zu früh. ## Ein Versuch darf unordentlich sein. Für kurze Versuche, die nach einer Woche wieder verschwinden, wäre der volle Aufwand übertrieben. Wer jedes Experiment mit Protokoll, Rückfallweg und Prüftermin versieht, erstickt die Neugier im Team. Die Regeln greifen ab dem Moment, in dem andere mit einem Ergebnis weiterarbeiten oder es das Haus verlässt. Ich entscheide über den Betrieb zusammen mit dem Piloten und nicht erst, wenn er sich bewährt hat. Nehmen Sie den Piloten, den Ihr Team gerade am meisten lobt, und gehen Sie die sechs Fragen für ihn durch. ## Weiterführende Einordnung * [KI-System abschalten: Weiterlaufen ist eine Entscheidung](https://carl-wuerfel.de/notizen/wann-wir-ein-ki-system-abschalten) * [KI-Infrastruktur aufbauen: Viele Tools sind kein System](https://carl-wuerfel.de/notizen/von-einzelloesungen-zur-ki-infrastruktur) * [Die Umstellung bei SUMAX](https://carl-wuerfel.de/systeme) ## Gliederung 1. Ein gelungener Durchlauf beweist wenig. 2. Wir fangen mit Aufgaben an, deren Fehler das Team sofort sieht. 3. Erst das Fundament, dann die Werkzeuge. 4. Wer ein KI-Ergebnis weitergibt, steht dafür gerade. 5. An der Übergabe zeigt sich, ob ein Ergebnis taugt. 6. Entscheidungen aufschreiben, bevor das nächste Modell kommt. 7. Sechs Prüffragen vor dem Schritt in den Betrieb. 8. Ein Versuch darf unordentlich sein. 9. Weiterführende Einordnung **Carl-Uwe Würfel** COO & Chief AI Officer, SUMAX [Fragen zum Beitrag](https://carl-wuerfel.de/kontakt) ## Weiterlesen. * [**KI-System abschalten: Weiterlaufen ist eine Entscheidung**](https://carl-wuerfel.de/notizen/wann-wir-ein-ki-system-abschalten) * [**KI-Betrieb: Fehler erkennen und kontrolliert reagieren**](https://carl-wuerfel.de/notizen/ki-systeme-die-sich-selbst-reparieren) * [**KI-Kosten: Wer sie nicht je Aufruf kennt, steuert blind**](https://carl-wuerfel.de/notizen/ki-api-kosten-im-betrieb-kontrollieren)