Chain of Thought (Gedankenkette)

Ein Sprachmodell erzeugt seine Antwort Token für Token. Ohne Zwischenschritte muss es bei einer Aufgabe mit mehreren Teilschritten das Ergebnis gleichsam in einem Zug liefern. Bei Chain of Thought, deutsch Gedankenkette, schreibt es zuerst die Teilschritte aus, etwa Menge, Rabattstufe und Zwischensumme, und leitet die Antwort daraus ab. Jeder ausgeschriebene Schritt steht danach im Kontext und dient den folgenden Token als Grundlage.

Den Begriff prägten Jason Wei und Kollegen von Google Research 2022 in der Arbeit „Chain-of-Thought Prompting Elicits Reasoning in Large Language Models“. Sie gaben dem Modell im Prompt einige Beispiele aus Aufgabe, ausgeschriebenem Lösungsweg und Antwort mit und erzielten deutliche Verbesserungen bei Rechen-, Logik- und Symbolaufgaben. Kurz darauf zeigten Takeshi Kojima und Kollegen, dass oft schon der Zusatz „Let’s think step by step“ genügt. Seit 2024 gibt es Reasoning-Modelle, die darauf trainiert sind, eine solche Kette selbst zu erzeugen, bevor sie antworten.

Für Führungskräfte ist der Begriff aus drei Gründen wichtig. Gedankenketten kosten Geld, weil die zusätzlichen Token als Ausgabe abgerechnet werden. Sie kosten Zeit, weil die Antwort später kommt. Und sie wirken wie eine Begründung, obwohl sie nicht zuverlässig zeigen, wie das Modell tatsächlich zu seinem Ergebnis kam. Wer Entscheidungen auf KI-Ergebnisse stützt, sollte die Kette als Hilfe bei der Fehlersuche nutzen und nicht als Nachweis.

So funktioniert Chain of Thought im Kern.

Ein Sprachmodell berechnet bei jedem Schritt, mit welcher Wahrscheinlichkeit welches Token als Nächstes folgt. Alles, was bereits geschrieben ist, fließt in diese Berechnung ein. Schreibt das Modell einen Zwischenschritt aus, kann es im nächsten Schritt darauf aufbauen. Eine schwierige Aufgabe wird so in mehrere leichtere zerlegt.

Es gibt zwei Grundformen. Bei der ursprünglichen Variante von Wei und Kollegen enthält der Prompt einige vollständige Beispiele, jeweils aus Eingabe, Gedankenkette und Antwort. Bei Zero-Shot-CoT nach Kojima und Kollegen fehlen die Beispiele; eine Aufforderung wie „Gehe Schritt für Schritt vor“ reicht, um eine Kette auszulösen.

In der Praxis trennt ein guter Prompt Kette und Ergebnis. Das Modell schreibt seine Überlegungen in einen Bereich und die Antwort in einen eigenen, etwa eine letzte Zeile oder ein festes Feld. So lässt sich die Antwort maschinell auslesen. Die Autoren der Originalarbeit halten dabei ausdrücklich fest: Die Kette ahmt menschliches Nachdenken nach, ob das Modell tatsächlich schlussfolgert, lassen sie offen. Und ein richtiger Lösungsweg ist nicht garantiert.

Wo die Technik hilft und wo nicht.

Chain of Thought hilft dort, wo sich eine Antwort aus mehreren Teilergebnissen zusammensetzt: Rechenaufgaben, Kalkulationen mit Staffeln oder Zuschlägen, Regelprüfungen mit mehreren Bedingungen, Logikfragen und mehrstufige Entscheidungen. Wei und Kollegen fanden die größten Gewinne bei den schwierigsten Aufgaben ihrer Testsammlungen.

Bei Aufgaben mit einer direkten Antwort bringt die Kette wenig. Wer einen Begriff nachschlägt, einen Satz übersetzt oder eine Mail einer Kategorie zuordnet, bekommt vor allem eine längere und teurere Ausgabe. Dort ist ein knapper, klarer Prompt die bessere Wahl.

Auch die Modellgröße zählt. In der Originalarbeit von 2022 brachte die Technik erst bei Modellen mit rund 100 Milliarden Parametern Vorteile. Kleinere Modelle schrieben flüssige, aber unlogische Ketten und schnitten damit schlechter ab als ohne. Ob eine Kette hilft, zeigt deshalb erst der Test an der eigenen Aufgabe.

Eine verbreitete Erweiterung ist Self-Consistency, vorgestellt von Xuezhi Wang und Kollegen 2022. Das Modell erzeugt mehrere Ketten zur selben Aufgabe, gewertet wird die häufigste Antwort. Das erhöht die Trefferquote bei Rechenaufgaben, vervielfacht aber auch die Kosten je Anfrage.

Reasoning-Modelle denken von sich aus.

Mit OpenAI o1 kam im September 2024 eine neue Art Modell auf den Markt: Reasoning-Modelle, die per Training gelernt haben, vor der Antwort eine Gedankenkette zu bilden. Die Kette entsteht hier ohne Aufforderung, und ihr Umfang lässt sich über Parameter steuern, bei OpenAI über den Aufwand (reasoning effort), bei Google über das Thinking Level, bei Anthropic über Effort-Stufen.

Was der Nutzer davon sieht, ist bei den großen Anbietern begrenzt (Stand November 2026). OpenAI gibt die Reasoning-Token über die Schnittstelle nicht heraus und bietet auf Wunsch eine Zusammenfassung an. Anthropic liefert höchstens eine Zusammenfassung, die ein anderes Modell erstellt, und nie die rohe Gedankenkette; bei neueren Modellen ist auch die Zusammenfassung standardmäßig ausgeblendet. Google zeigt bei Gemini ebenfalls nur Zusammenfassungen der Gedanken.

Daraus folgen zwei Regeln für Prompts. Erstens ist die Aufforderung „Denke Schritt für Schritt“ bei Reasoning-Modellen überflüssig. OpenAI empfiehlt, ein klares Ziel, Randbedingungen und das gewünschte Ausgabeformat vorzugeben, ohne jeden Zwischenschritt vorzuschreiben. Anthropic beschreibt die ausgeschriebene Gedankenkette im Prompt nur noch als Ausweg für den Fall, dass das Denken abgeschaltet ist. Zweitens bleibt die klassische Technik nützlich, wo ein Modell ohne Reasoning läuft, etwa aus Kostengründen bei großen Mengen.

Die Kette ist keine Erklärung.

Eine Gedankenkette liest sich wie eine Begründung, gibt aber nicht unbedingt die tatsächliche Rechenweise des Modells wieder. Miles Turpin und Kollegen untersuchten das 2023 mit GPT-3.5 und Claude 1.0. Sie veränderten Aufgaben unauffällig, etwa indem in Beispielen die richtige Antwort immer an erster Stelle stand. Die Modelle ließen sich davon zu falschen Antworten lenken, erwähnten den Einfluss in ihrer Kette aber nicht und lieferten stattdessen plausibel klingende Begründungen. Bei 13 Aufgaben aus der Sammlung BIG-Bench Hard sank die Genauigkeit dadurch um bis zu 36 Prozent.

Für Reasoning-Modelle kam eine Studie von Anthropic 2025 zu einem ähnlichen Befund. Die Forschenden gaben den Modellen versteckte Hinweise auf die Lösung und prüften, ob die Kette den genutzten Hinweis erwähnt. Im Durchschnitt über alle Hinweisarten tat Claude 3.7 Sonnet das in 25 Prozent der Fälle, DeepSeek R1 in 39 Prozent.

Für den Betrieb heißt das: Die Kette ist ein gutes Werkzeug, um Fehler zu finden. Ein Beleg dafür, dass ein Ergebnis aus den richtigen Gründen zustande kam, ist sie nicht. Wer Nachvollziehbarkeit braucht, etwa für Entscheidungen über Menschen, prüft das Ergebnis gegen Regeln und Quellen und stützt sich nicht auf die Selbstauskunft des Modells.

Was Chain of Thought kostet und wovon das abhängt.

Jeder Zwischenschritt besteht aus Ausgabe-Token. Ausgabe-Token kosten in den gängigen Preislisten deutlich mehr als Eingabe-Token. Eine Anfrage mit Gedankenkette wird deshalb um die Länge der Kette teurer. Eine feste Quote gibt es nicht; sie hängt von Aufgabe, Modell und Prompt ab.

Bei Reasoning-Modellen ist der Posten leicht zu übersehen. OpenAI, Anthropic und Google rechnen die Denk-Token als Ausgabe ab, auch wenn sie in der Antwort nicht erscheinen oder nur als Zusammenfassung. Die Denk-Token belegen außerdem Platz im Kontextfenster und verlängern die Wartezeit bis zur ersten Zeile der Antwort.

Steuern lässt sich der Aufwand über die Parameter der Anbieter: niedrigere Stufen für einfache und eilige Aufgaben, höhere für schwierige. Welche Stufe sich lohnt, zeigt nur der Vergleich an der eigenen Aufgabe: dieselben Testfälle mit und ohne Kette oder mit verschiedenen Stufen, gemessen an Qualität, Kosten und Antwortzeit. Wer jeden Aufruf mit seinen Kosten erfasst, sieht, wo die Gedankenkette ihr Geld wert ist und wo sie nur die Rechnung verlängert.

Woran man eine gute Umsetzung erkennt.

Eine gute Umsetzung setzt die Gedankenkette gezielt ein und nicht überall. Sie läuft bei Aufgaben mit mehreren Schritten, nicht bei einfachen Zuordnungen und Auskünften.

Kette und Ergebnis sind getrennt. Das Ergebnis steht in einem festen Format, das ein Programm auslesen kann, und wird gegen eine Regel, eine Preisliste oder eine Quelle geprüft, bevor es weitergeht. Bei Rechenaufgaben übernimmt das oft ein gewöhnliches Programm: Das Modell erkennt die Werte, die Rechnung selbst läuft im Code.

Die Wirkung ist gemessen. Eine feste Sammlung von Testfällen zeigt, ob die Kette die Trefferquote erhöht und um wie viel sie Kosten und Antwortzeit steigert. Nach jedem Modellwechsel läuft der Test erneut, denn beim Wechsel auf ein Reasoning-Modell kann eine ausgeschriebene Kette überflüssig werden.

Ketten oder ihre Zusammenfassungen werden für die Fehlersuche protokolliert. Kunden oder Betroffenen werden sie nicht als Begründung einer Entscheidung vorgelegt. Wer einen Dienstleister beauftragt, kann genau nach diesen Punkten fragen: Wo ist die Kette eingeschaltet, wie wird das Ergebnis geprüft, und was kostet sie je Aufruf?

Die Grenze des Begriffs

Chain of Thought verbessert mehrstufige Aufgaben, macht aber keinen Schritt automatisch richtig und belegt nicht, wie das Modell tatsächlich zu seiner Antwort kam. Abzugrenzen ist die Technik von Prompt Chaining, bei dem mehrere getrennte Aufrufe nacheinander laufen, und von Self-Consistency, das mehrere Ketten vergleicht. Explainable AI verfolgt ein anderes Ziel: Sie macht Entscheidungen eines Modells mit eigenen Verfahren nachvollziehbar, statt sich auf dessen Selbstauskunft zu stützen.