--- title: "KI-Orchestrierung: Definition und Beispiel – Carl-Uwe Würfel" description: "KI-Orchestrierung erklärt: wie Routing, Werkzeuge und Prüfschritte mehrere KI-Modelle zu einem steuerbaren Ablauf verbinden und woran man gute Umsetzung sieht." url: https://carl-wuerfel.de/glossar/ki-orchestrierung author: Carl-Uwe Würfel --- 1. [Start](https://carl-wuerfel.de/) 2. [Wissen](https://carl-wuerfel.de/wissen) 3. [Glossar](https://carl-wuerfel.de/glossar) 4. KI-Orchestrierung # KI-Orchestrierung KI-Orchestrierung ist die Steuerung, die mehrere KI-Modelle, Werkzeuge, Datenquellen und Prüfschritte zu einem nachvollziehbaren Ablauf verbindet und regelt, welcher Schritt was tun darf. ## Auf dieser Seite 1. So funktioniert KI-Orchestrierung im Kern 2. Die gängigen Muster: Kette, Weiche, Verteiler, Prüfer 3. Routing entscheidet über Kosten und Qualität 4. Die Zwischenschicht im Unternehmen 5. Jeder Schritt braucht eigene, enge Rechte 6. Woran man eine gute Umsetzung erkennt 7. Die Grenze des Begriffs 8. Häufige Fragen 9. Quellen KI-Orchestrierung regelt, welcher Schritt was tun darf. _Abbildung: Verzweigung am Beispiel eines Kundenservice, der täglich viele Mails erhält. Ein erster Schritt ordnet jede Mail ein. Adressänderungen gehen an einen einfachen Ablauf mit einem kleinen Modell. Reklamationen gehen an einen Ablauf mit einem leistungsfähigeren Modell, das Vertrag und Bestellverlauf über eine freigegebene Schnittstelle lesen darf. Ein Prüfschritt kontrolliert, ob der Antwortentwurf die vereinbarten Kulanzregeln einhält, und eine Mitarbeiterin gibt jede Reklamationsantwort frei, bevor sie verschickt wird._ **Beispiel** Ein Kundenservice erhält täglich viele Mails. Ein erster Schritt ordnet jede Mail ein: Adressänderungen gehen an einen einfachen Ablauf mit einem kleinen Modell, Reklamationen an einen Ablauf mit einem leistungsfähigeren Modell, das Vertrag und Bestellverlauf über eine freigegebene Schnittstelle lesen darf. Ein Prüfschritt kontrolliert, ob der Antwortentwurf die vereinbarten Kulanzregeln einhält, und eine Mitarbeiterin gibt jede Reklamationsantwort frei, bevor sie verschickt wird. Ein einzelner KI-Aufruf ist schnell gebaut: Text hinein, Antwort heraus. Im Betrieb besteht eine Aufgabe aber meist aus mehreren Schritten. Eine Anfrage wird eingeordnet, passende Dokumente werden gesucht, ein Modell schreibt einen Entwurf, ein weiterer Schritt prüft ihn, ein Werkzeug legt das Ergebnis in einem System ab. KI-Orchestrierung verbindet diese Schritte. Sie entscheidet, welches Modell eine Anfrage bekommt, welche Daten und Werkzeuge es nutzen darf, in welcher Reihenfolge die Schritte laufen und was bei einem Fehler passiert. Der Begriff stammt aus der IT, wo Orchestrierung seit Langem das Zusammenspiel von Diensten meint. Für KI wird er in zwei Bedeutungen verwendet. Im engeren Sinn meint er Abläufe aus mehreren Modellaufrufen, wie sie Anthropic im Dezember 2024 als Muster beschrieben hat. Im weiteren Sinn meint er die gemeinsame Zwischenschicht eines Unternehmens, über die alle Anwendungen auf Modelle zugreifen, oft Gateway genannt. Für Führungskräfte ist KI-Orchestrierung eine Architekturfrage mit langer Wirkung. Sie bestimmt, ob sich ein Modell wechseln lässt, ohne alle Anwendungen umzubauen, ob Kosten je Aufruf zuzuordnen sind und ob sich später feststellen lässt, welcher Schritt ein falsches Ergebnis erzeugt hat. Wer KI in mehreren Abteilungen einsetzt, hat diese Fragen ohnehin. Offen ist nur, ob eine Stelle sie beantwortet oder jedes Team für sich. ## So funktioniert KI-Orchestrierung im Kern. Eine orchestrierte Anfrage durchläuft typischerweise vier Stationen. Zuerst ordnet die Steuerung die Anfrage ein und wählt den Weg, das Routing. Eine einfache Rückfrage kann an ein kleines, günstiges Modell gehen, eine schwierige Analyse an ein leistungsfähigeres. Danach stellt sie den Kontext zusammen, etwa Auszüge aus eigenen Dokumenten über [RAG](https://carl-wuerfel.de/glossar/rag) oder Zugriffe auf Werkzeuge und Datenquellen über [MCP](https://carl-wuerfel.de/glossar/mcp). Dann folgt der Modellaufruf, bei Bedarf mehrfach hintereinander oder parallel. Zum Schluss prüfen Regeln oder ein weiterer Modellaufruf das Ergebnis, bevor es weitergeht oder ein Mensch es freigibt. Anthropic unterscheidet in seinem Leitfaden „Building effective agents“ zwei Grundformen. Bei Workflows legt Programmcode die Schritte fest, und die Modelle arbeiten innerhalb dieser Bahn. Bei Agenten bestimmt das Modell selbst, welche Schritte und Werkzeuge es in welcher Reihenfolge nutzt. Beides ist Orchestrierung; der Unterschied liegt darin, wer den Weg festlegt. Ein Protokoll hält fest, welcher Schritt mit welchem Modell, welchen Daten und welchem Ergebnis gelaufen ist. Ohne dieses Protokoll lässt sich ein Fehler in einer Kette aus fünf Schritten kaum zurückverfolgen. ## Die gängigen Muster: Kette, Weiche, Verteiler, Prüfer. Die meisten orchestrierten Abläufe setzen sich aus wenigen Mustern zusammen, die Anthropic im Dezember 2024 beschrieben hat. Bei der Kette (Prompt Chaining) verarbeitet jeder Schritt das Ergebnis des vorigen, etwa erst eine Gliederung, dann der Text, dann die Übersetzung. Zwischen den Schritten kann eine Prüfung stehen, die den Ablauf anhält. Beim Routing ordnet ein erster Schritt die Eingabe ein und leitet sie an einen spezialisierten Folgeschritt weiter. Ein Kundenanliegen geht so an den Ablauf für Reklamationen oder an den für Rechnungsfragen. Bei der Parallelisierung laufen mehrere Aufrufe gleichzeitig, entweder an verschiedenen Teilaufgaben oder an derselben Aufgabe, um Ergebnisse zu vergleichen. Beim Muster Orchestrator und Arbeiter zerlegt ein steuerndes Modell eine Aufgabe zur Laufzeit in Teilaufgaben, verteilt sie und führt die Ergebnisse zusammen. Beim Muster Bewerter und Optimierer erzeugt ein Modell einen Entwurf, ein zweites bewertet ihn, und der Entwurf wird überarbeitet, bis er die Kriterien erfüllt. Der Leitfaden rät, mit der einfachsten Lösung zu beginnen und Komplexität erst hinzuzufügen, wenn sie das Ergebnis nachweislich verbessert. Jeder zusätzliche Schritt kostet Zeit und Geld und ist eine weitere Stelle, an der etwas schiefgehen kann. ## Routing entscheidet über Kosten und Qualität. Modelle unterscheiden sich stark in Preis und Leistungsfähigkeit. Lingjiao Chen, Matei Zaharia und James Zou von der Stanford University halten 2023 in ihrer Arbeit FrugalGPT fest, dass sich die Gebühren verschiedener Sprachmodell-Schnittstellen um zwei Größenordnungen unterscheiden können. Sie schlagen eine Kaskade vor: Eine Anfrage geht zuerst an ein günstiges Modell und nur dann an ein teureres, wenn die erste Antwort nicht verlässlich genug wirkt. Anthropic empfiehlt Ähnliches: einfache und häufige Fragen an kleinere Modelle, schwierige an leistungsfähigere. Routing kann nach festen Regeln arbeiten, etwa nach Aufgabenart, Abteilung oder Datenklasse, oder ein Modell entscheidet anhand der Anfrage. Feste Regeln sind leichter nachzuvollziehen. Eine Regel kann auch lauten, dass Anfragen mit personenbezogenen Daten nur an Modelle gehen, für die ein passender Vertrag zur Auftragsverarbeitung besteht. Ein weiterer Nutzen ist die Ausfallsicherheit. Ist ein Anbieter nicht erreichbar, leitet die Steuerung auf ein Ersatzmodell um. Das funktioniert nur, wenn dieses Ersatzmodell für die Aufgabe geprüft ist. Sonst läuft der Ablauf weiter und liefert womöglich schlechtere Ergebnisse, ohne dass es jemand bemerkt. ## Die Zwischenschicht im Unternehmen. Im weiteren Sinn meint KI-Orchestrierung die gemeinsame Schicht zwischen den Anwendungen eines Unternehmens und den KI-Modellen. Anwendungen sprechen dann mit dieser Schicht statt direkt mit einem Anbieter. Sie übernimmt, was sonst jede Anwendung einzeln lösen müsste: Zugangsdaten zu den Anbietern verwalten, prüfen, wer welches Modell nutzen darf, jeden Aufruf mit seinen Kosten einer Anwendung oder Abteilung zuordnen, Aufrufe protokollieren und Grenzen für Budgets oder Datenarten durchsetzen. Der wichtigste Effekt ist die Austauschbarkeit. Erscheint ein besseres oder günstigeres Modell, wird es an einer Stelle angebunden und nach einer Prüfung für bestimmte Aufgaben freigeschaltet. Die Anwendungen bleiben unverändert. Offene Protokolle erleichtern diesen Aufbau. Das Model Context Protocol (MCP) standardisiert, wie Anwendungen Werkzeuge und Datenquellen anbinden. Das Protokoll Agent2Agent (A2A), das Google im April 2025 vorgestellt und im Juni 2025 an die Linux Foundation übergeben hat, regelt, wie Agenten verschiedener Hersteller einander finden und Aufgaben übergeben. Die A2A-Dokumentation beschreibt beide als Ergänzung: MCP verbindet einen Agenten mit seinen Werkzeugen, A2A verbindet Agenten untereinander. ## Jeder Schritt braucht eigene, enge Rechte. Eine Orchestrierung verbindet Modelle mit Systemen, in denen etwas passiert: Mails gehen hinaus, Datensätze ändern sich, Bestellungen werden ausgelöst. Damit wächst das Risiko, dass ein Modell eine Aktion anstößt, die niemand wollte. Das OWASP-Projekt zu Risiken von Sprachmodell-Anwendungen führt das als Excessive Agency (LLM06:2025) und nennt drei Ursachen: zu viele Funktionen, zu weite Berechtigungen und zu viel Eigenständigkeit. Die Gegenmaßnahmen sind vor allem Einrichtungsfragen. Jeder Schritt bekommt nur die Werkzeuge, die er für seine Aufgabe braucht. Zugriffe laufen mit den Rechten der Person, für die gearbeitet wird, statt über ein allgemeines Konto mit weiten Rechten. Folgenreiche Aktionen brauchen die Freigabe eines Menschen. Und die Zielsysteme prüfen jede Anfrage selbst, statt sich auf das Urteil des Modells zu verlassen. Hinzu kommt [Prompt Injection](https://carl-wuerfel.de/glossar/prompt-injection): Ein Dokument oder eine Mail, die ein Schritt liest, kann Anweisungen enthalten, die das Modell als Auftrag missversteht. In einer Kette kann ein einziger manipulierter Eingang so spätere Schritte beeinflussen. Lesende und handelnde Schritte zu trennen und Ergebnisse zwischen den Schritten zu prüfen, begrenzt den Schaden. ## Woran man eine gute Umsetzung erkennt. Eine gute KI-Orchestrierung lässt sich an wenigen Prüffragen erkennen. Lässt sich ein Modell wechseln, ohne die Anwendungen umzubauen? Wenn jede Anwendung den Anbieter direkt anspricht, lautet die Antwort meist nein. Lassen sich die Kosten je Aufruf einer Anwendung, Abteilung oder einem Ablauf zuordnen? Ist für jeden Schritt protokolliert, welches Modell mit welchen Daten welches Ergebnis geliefert hat? Gibt es für jedes Modell, das im Routing vorkommt, einen Nachweis, dass es die jeweilige Aufgabe gut genug löst? Das leisten [Evals](https://carl-wuerfel.de/glossar/evals), also wiederholbare Tests mit festen Prüffällen. Und sind folgenreiche Aktionen an eine menschliche Freigabe gebunden, mit festgelegter Zuständigkeit? Ein Warnsignal ist Komplexität ohne Messung. Ein Ablauf aus vielen Agenten wirkt eindrucksvoll, ist aber schwer zu prüfen und teuer im Betrieb. Liefert eine einfache Kette mit einem Prüfschritt dasselbe Ergebnis, ist sie die bessere Wahl. Ebenso ein Warnsignal: Orchestrierung als fertiges Produkt zu kaufen, bevor Rechte, Datenquellen und Abläufe beschrieben sind. Ein Werkzeug kann nur steuern, was vorher festgelegt wurde. ## Die Grenze des Begriffs KI-Orchestrierung steuert, wie Schritte zusammenspielen; sie macht die Ergebnisse der Modelle nicht richtig. Ob ein Modell eine Aufgabe gut genug löst, zeigen Evals, und die Verantwortung für ein weitergegebenes Ergebnis bleibt bei dem Menschen, der es freigibt. Abzugrenzen ist sie von [KI-Agenten](https://carl-wuerfel.de/glossar/ki-agenten), in denen ein Modell selbst steuert, von MCP als Protokoll zur Anbindung von Werkzeugen und von [Context Engineering](https://carl-wuerfel.de/glossar/context-engineering), der Auswahl dessen, was ein Modell bei einem Aufruf zu sehen bekommt. ## Häufige Fragen Was ist KI-Orchestrierung? KI-Orchestrierung ist die Steuerung, die mehrere KI-Modelle, Werkzeuge, Datenquellen und Prüfschritte zu einem Ablauf verbindet. Sie legt fest, welches Modell eine Anfrage bekommt, welche Daten es nutzen darf und was bei einem Fehler passiert. Je nach Zusammenhang ist ein einzelner mehrstufiger Ablauf gemeint oder die gemeinsame Zwischenschicht eines Unternehmens. Was ist der Unterschied zwischen KI-Orchestrierung und KI-Automatisierung? Automatisierung erledigt eine festgelegte Aufgabe ohne manuelles Zutun. Orchestrierung koordiniert mehrere Schritte, Modelle und Werkzeuge und regelt Reihenfolge, Rechte und Ausnahmen. Eine automatisierte Aufgabe kann ein Baustein einer Orchestrierung sein. Was ist der Unterschied zwischen KI-Orchestrierung und KI-Agenten? In einem KI-Agenten entscheidet ein Modell selbst über die nächsten Schritte und Werkzeuge. Orchestrierung ist der übergeordnete Begriff für das Zusammenspiel der Schritte, gleich ob Programmcode oder ein Modell den Weg bestimmt. Mehrere Agenten zu koordinieren ist eine Form der Orchestrierung. Was bedeutet Routing bei KI-Modellen? Routing heißt, eine Anfrage nach Regeln oder nach einer Einordnung an das passende Modell oder den passenden Folgeschritt zu leiten. So können einfache Anfragen an günstige Modelle gehen und schwierige an leistungsfähigere. Routing kann auch Datenschutzregeln durchsetzen oder bei einem Ausfall auf ein Ersatzmodell umleiten. Was ist ein LLM-Gateway? Ein [LLM-Gateway](https://carl-wuerfel.de/glossar/llm-gateway) ist eine Zwischenschicht, über die Anwendungen auf Sprachmodelle verschiedener Anbieter zugreifen. Es verwaltet Zugänge, ordnet Kosten zu, protokolliert Aufrufe und ermöglicht den Modellwechsel an einer Stelle. Es ist ein Baustein der Orchestrierung, aber nicht die ganze Orchestrierung. Braucht jedes Unternehmen eine KI-Orchestrierung? Nein. Wer KI für eine einzelne Aufgabe mit einem Modell nutzt, braucht keine eigene Steuerschicht. Sobald mehrere Anwendungen, Modelle oder Abteilungen beteiligt sind, entstehen Fragen nach Rechten, Kosten und Austauschbarkeit, die eine gemeinsame Schicht beantworten kann. Kann man KI-Orchestrierung kaufen? Plattformen, Gateways und Frameworks decken Teile davon ab. Welche Modelle für welche Aufgabe zugelassen sind, wer welche Daten sehen darf und wo ein Mensch freigibt, muss das Unternehmen trotzdem selbst festlegen. Das Werkzeug setzt diese Regeln um, es ersetzt sie nicht. ## Weiter * [**KI-Glossar**](https://carl-wuerfel.de/glossar) * [**Die gemeinsame KI-Infrastruktur**](https://carl-wuerfel.de/systeme) * [**KI-Automatisierung: Spielraum und Freigabe**](https://carl-wuerfel.de/ki-automatisierung) * [**KI-Agenten**](https://carl-wuerfel.de/glossar/ki-agenten) * [**MCP: Model Context Protocol**](https://carl-wuerfel.de/glossar/mcp) * [**RAG: Retrieval-Augmented Generation** Begriff](https://carl-wuerfel.de/glossar/rag) * [**Context Engineering** Begriff](https://carl-wuerfel.de/glossar/context-engineering) * [**Prompt Injection** Begriff](https://carl-wuerfel.de/glossar/prompt-injection) * [**Foundation Model (Basismodell)** Begriff](https://carl-wuerfel.de/glossar/foundation-model) * [**LLM-Gateway** Begriff](https://carl-wuerfel.de/glossar/llm-gateway) ## Quellen 1. [Anthropic: Building effective agents, 2024 (englisch)](https://www.anthropic.com/engineering/building-effective-agents) 2. [Lingjiao Chen, Matei Zaharia, James Zou: FrugalGPT. How to Use Large Language Models While Reducing Cost and Improving Performance, 2023](https://arxiv.org/abs/2305.05176) 3. [Model Context Protocol: Spezifikation, Fassung vom 28. Juli 2026 (englisch)](https://modelcontextprotocol.io/specification/2026-07-28) 4. [Linux Foundation: Linux Foundation Launches the Agent2Agent Protocol Project, Pressemitteilung, 2025 (englisch)](https://linuxfoundation.org/press/linux-foundation-launches-the-agent2agent-protocol-project-to-enable-secure-intelligent-communication-between-ai-agents) 5. [A2A Protocol: Dokumentation, A2A und MCP (englisch)](https://a2a-protocol.org/latest/) 6. [OWASP GenAI Security Project: LLM06:2025 Excessive Agency, 2025 (englisch)](https://genai.owasp.org/llmrisk/llm062025-excessive-agency/)