Halluzination
Eine Halluzination ist eine plausibel wirkende Ausgabe eines KI-Modells, die sachlich falsch ist oder von der vorgegebenen Quelle abweicht, etwa eine erfundene Studie oder ein falsches Detail.
Eine halluzinierte Antwort klingt genauso sicher wie eine richtige.
Entwurf
- Aussage im Fachartikelwird gestrichen
- Studie mit glaubwürdigem Titel, Institut und Erscheinungsjahrexistiert unter dem angegebenen Titel nicht
- Geprüfte Quelle, wo möglich
- EntwerfenDas Sprachmodell entwirft den Fachartikel. Es berechnet, welche Fortsetzung eines Textes wahrscheinlich ist, und schlägt dabei nichts nach.
- Lücke füllenFehlt ihm eine Information, füllt es die Lücke mit einer wahrscheinlich klingenden Formulierung: eine Studie mit glaubwürdigem Titel, Institut und Erscheinungsjahr.
- LesenDer Entwurf ist genauso flüssig formuliert und klingt genauso sicher wie ein richtiger. Am Text selbst lässt sich der Unterschied oft nicht erkennen.
- PrüfenVor der Freigabe sucht die zuständige Redakteurin die Studie. Unter dem angegebenen Titel existiert sie nicht. Die Aussage wird gestrichen und, wo möglich, durch eine geprüfte Quelle ersetzt.
Eine Marketingabteilung lässt einen Fachartikel von einem Sprachmodell entwerfen. Der Entwurf stützt eine Aussage auf eine Studie mit glaubwürdigem Titel, Institut und Erscheinungsjahr. Vor der Freigabe sucht die zuständige Redakteurin die Studie und stellt fest, dass das Modell eine Studie nennt, die unter dem angegebenen Titel nicht existiert. Die Aussage wird gestrichen und, wo möglich, durch eine geprüfte Quelle ersetzt.
Eine Halluzination wirkt plausibel und stimmt nicht: Das Modell nennt eine Studie, die unter dem angegebenen Titel nicht existiert, ein falsches Detail oder eine Schlussfolgerung, die der Ausgangstext nicht hergibt. Das Tückische ist die Form. Eine halluzinierte Antwort ist genauso flüssig formuliert und klingt genauso sicher wie eine richtige. Am Text selbst lässt sich der Unterschied oft nicht erkennen.
Die Ursache liegt in der Arbeitsweise von Sprachmodellen. Ein Modell berechnet, welche Fortsetzung eines Textes wahrscheinlich ist, und schlägt dabei nichts nach. Fehlt ihm eine Information, füllt es die Lücke mit einer wahrscheinlich klingenden Formulierung. Forschende von OpenAI haben im September 2025 zusätzlich beschrieben, dass übliche Trainings- und Bewertungsverfahren Raten stärker belohnen als das Eingeständnis von Unsicherheit.
Für Führungskräfte zählt vor allem eine Folgerung: Halluzinationen lassen sich nach heutigem Stand senken, aber nicht ausschließen. Die Verantwortung für eine falsche Aussage bleibt bei dem Unternehmen, das sie weitergibt. Deshalb gehört die Prüfung in den Arbeitsablauf und nicht allein in die Aufmerksamkeit einzelner Mitarbeitender.
Warum Sprachmodelle halluzinieren.
Ein Sprachmodell erzeugt seine Antwort Token für Token. Bei jedem Schritt wählt es eine Fortsetzung, die nach dem bisher Geschriebenen wahrscheinlich ist. Ob die entstehende Aussage stimmt, prüft dieser Mechanismus nicht.
Schwierig wird es an den Rändern des Wissens. Bei seltenen Fakten, die in den Trainingsdaten kaum vorkommen, bei Ereignissen nach dem Wissensstand des Modells und bei genauen Einzelheiten wie Aktenzeichen, Geburtsdaten, Seitenzahlen oder wörtlichen Zitaten gibt es keine verlässlich wahrscheinliche Antwort. Das Modell erzeugt trotzdem eine, und sie hat die richtige Form.
Forschende von OpenAI haben 2025 einen weiteren Grund beschrieben. Viele Bewertungsverfahren zählen nur richtige Antworten. Ein Modell, das bei Unsicherheit rät, liegt manchmal richtig und schneidet besser ab als eines, das „weiß ich nicht“ sagt. Ihr Beispiel: Wer den Geburtstag einer Person rät, trifft gelegentlich, wer zugibt, ihn nicht zu kennen, bekommt nie einen Punkt. Training und Tests belohnen damit das Raten.
Auch die Anwendung kann Halluzinationen fördern. Eine Anweisung, die eine Antwort in jedem Fall verlangt, eine vage Frage oder ein Kontext voller widersprüchlicher Dokumente erhöhen das Risiko.
Zwei Arten: falsch gegenüber der Welt, falsch gegenüber der Quelle.
Forschungsüberblicke unterscheiden meist zwei Arten von Halluzinationen. Bei der ersten ist eine Aussage sachlich falsch: ein erfundenes Urteil, eine falsche Jahreszahl, eine Studie, die es nicht gibt. Fachleute sprechen von mangelnder Faktentreue (factuality).
Bei der zweiten Art weicht die Antwort von einer Quelle ab, die das Modell vorgelegt bekommen hat. Eine Zusammenfassung enthält eine Zahl, die im Bericht anders steht. Eine Antwort aus der Wissensbasis zieht eine Schlussfolgerung, die der Ausgangstext nicht hergibt. Ein Protokoll schreibt einer Person eine Aussage zu, die jemand anderes gemacht hat. Hier spricht man von mangelnder Quellentreue (faithfulness).
Die Unterscheidung ist praktisch wichtig, weil beide Arten unterschiedlich geprüft werden. Die erste prüft man gegen eine unabhängige Primärquelle: das Urteil in der Datenbank, die Studie beim Verlag. Die zweite prüft man, indem man die Antwort neben den Ausgangstext legt.
Auch wer einem Modell eigene Dokumente mitgibt, etwa über RAG, ist deshalb nicht auf der sicheren Seite. Die erste Art wird seltener, weil das Modell mit vorgelegten Quellen arbeitet. Die zweite bleibt: Das Modell kann eine richtige Passage falsch wiedergeben, zwei Stellen vermengen oder mehr behaupten, als dasteht.
Wo Halluzinationen teuer werden.
Wie schwer eine Halluzination wiegt, hängt davon ab, wohin die Aussage geht. Ein falscher Satz in einem internen Entwurf, den ohnehin jemand überarbeitet, kostet wenig. Teuer wird es, wenn eine Aussage ungeprüft nach außen geht oder Entscheidungen trägt.
Zwei Fälle aus Nordamerika sind dafür bekannt geworden. Im Verfahren Mata gegen Avianca reichten Anwälte 2023 bei einem New Yorker Bundesgericht einen Schriftsatz mit Urteilen ein, die ChatGPT erfunden hatte; das Gericht verhängte Sanktionen gegen sie. Im Fall Moffatt gegen Air Canada hatte der Chatbot einer Fluggesellschaft einem Kunden eine falsche Auskunft zur Erstattung gegeben. Das Civil Resolution Tribunal, ein Gericht für kleinere Streitfälle in British Columbia, sah 2024 die Fluggesellschaft in der Verantwortung und wies deren Argument zurück, der Chatbot sei für seine Aussagen selbst verantwortlich.
Besonders heikel sind Quellenangaben und Zitate, Zahlen in Angeboten und Berichten, rechtliche Einschätzungen, medizinische und technische Sicherheitsangaben, Produktangaben gegenüber Kunden und alles, was in Verträge oder Behördenschreiben eingeht. In diesen Bereichen reicht es nicht, dass eine Antwort plausibel klingt.
Die Prüfung richtet sich deshalb nach der Tragweite: Je größer die Folgen einer falschen Aussage, desto strenger und fachkundiger muss geprüft werden.
Was das Risiko senkt.
Mehrere Maßnahmen senken die Häufigkeit von Halluzinationen deutlich, keine beseitigt sie ganz.
Am wirksamsten ist es, dem Modell die nötigen Informationen mitzugeben, statt es aus dem Gedächtnis antworten zu lassen: das Dokument, die Datenbankabfrage, die Suchergebnisse. Dazu passt die ausdrückliche Anweisung, nur aus diesen Quellen zu antworten und zu sagen, wenn dort nichts steht. Hilfreich ist auch, zu jeder Aussage die Fundstelle zu verlangen, bei Zitaten den wörtlichen Text aus der Quelle.
Ein enger Aufgabenzuschnitt hilft ebenfalls. Ein Modell, das aus einer Mail fünf feste Felder herausliest, hat weniger Spielraum als eines, das einen freien Bericht schreibt. Rechnungen gehören in ein Rechenwerkzeug, nicht in die Textausgabe. Einstellungen wie eine niedrige Temperatur machen Antworten gleichförmiger, aber nicht wahrer.
Manche Anwendungen lassen eine Antwort von einem zweiten Modell gegenprüfen. Das findet einen Teil der Fehler, vor allem bei der Abweichung von einer vorgelegten Quelle. Auch Quellenzugriff und ein weiterer Modellcheck können Fehler übersehen. Bei wichtigen Aussagen ist unabhängige Prüfung erforderlich, und zwar durch einen Menschen, der die Quelle selbst öffnet.
Prüfung gehört in den Ablauf.
Weil sich Halluzinationen am Text oft nicht erkennen lassen, hilft Aufmerksamkeit allein wenig. Zuverlässiger ist eine Prüfung, die als fester Schritt im Ablauf steht.
Eine einfache Grundregel: Wer ein KI-Ergebnis weitergibt, hat es geprüft und steht dafür ein. Daraus lassen sich Prüfstufen nach Tragweite ableiten. Für interne Entwürfe, die ohnehin überarbeitet werden, genügen Stichproben. Für Texte an Kunden und Veröffentlichungen werden Zahlen, Namen und Quellen gegen das Original geprüft. Für rechtliche, medizinische oder sicherheitsrelevante Aussagen prüft eine fachkundige Person, und ohne ihre Freigabe geht nichts hinaus.
Für Quellenangaben gilt eine schlichte Regel: Eine Quelle ist erst belegt, wenn jemand sie geöffnet und die Stelle gelesen hat. Eine erfundene Quelle wirkt bereits geprüft, weil sie die Form eines Belegs hat. Genau das macht sie gefährlich.
Gefundene Fehler sollten festgehalten werden: welche Art, bei welcher Aufgabe, mit welchem Modell. Aus diesen Fällen entsteht eine Testliste, an der sich spätere Änderungen an Anweisung, Quellen oder Modell messen lassen.
Woran man eine gute Umsetzung erkennt.
Eine gute KI-Anwendung verspricht nicht, frei von Halluzinationen zu sein. Sie macht Fehler selten, sichtbar und prüfbar. Wer von einem Anbieter hört, sein System halluziniere nicht, sollte nachfragen, wie das gemessen wurde.
Gemessen wird an einer festen Liste echter Aufgaben aus dem eigenen Betrieb, deren richtige Antworten bekannt sind. An dieser Liste wird die Fehlerquote vor der Einführung bestimmt und nach jeder Änderung erneut. Angaben zu Halluzinationsraten aus allgemeinen Vergleichstests der Hersteller lassen sich nicht auf die eigene Aufgabe übertragen; ein Modell, das dort gut abschneidet, kann bei einer bestimmten Fachfrage schwach sein.
Weitere Kennzeichen: Jede Antwort nennt ihre Quelle, und die Quelle lässt sich mit einem Klick öffnen. Das System darf sagen, dass es nichts gefunden hat, und tut das auch. Antworten mit Folgen für Kunden oder Verträge laufen über eine menschliche Freigabe. Fragen, Antworten und gemeldete Fehler werden protokolliert, damit wiederkehrende Schwächen auffallen.
Im Gespräch mit Dienstleistern lohnen drei Fragen: An welchen Aufgaben wurde die Fehlerquote gemessen? Was macht das System, wenn es keine passende Quelle findet? Und wer prüft Antworten, bevor sie nach außen gehen?
Die Grenze des Begriffs
Auch Quellenzugriff und ein weiterer Modellcheck können Fehler übersehen. Bei wichtigen Aussagen ist unabhängige Prüfung erforderlich. Nicht jeder KI-Fehler ist eine Halluzination: Ein veralteter Wissensstand, ein falsches Dokument in der Wissensbasis, ein Rechenfehler oder eine gezielte Manipulation durch eingeschleuste Anweisungen (Prompt Injection) haben andere Ursachen und brauchen andere Gegenmittel.
Häufige Fragen
Was ist eine KI-Halluzination?
Eine KI-Halluzination ist eine plausibel wirkende Ausgabe eines Sprachmodells, die sachlich falsch ist oder von der vorgegebenen Quelle abweicht. Typische Formen sind erfundene Quellen, falsche Details und Schlussfolgerungen, die der Ausgangstext nicht hergibt. Sie klingt genauso sicher wie eine richtige Antwort.
Warum halluziniert KI?
Weil ein Sprachmodell wahrscheinliche Fortsetzungen eines Textes berechnet und dabei nicht prüft, ob eine Aussage stimmt. Fehlt eine Information, füllt es die Lücke mit einer plausiblen Formulierung. Forschende von OpenAI beschreiben zudem, dass übliche Trainings- und Testverfahren Raten stärker belohnen als das Eingeständnis von Unsicherheit.
Lassen sich KI-Halluzinationen vermeiden?
Nach heutigem Stand lassen sie sich senken, aber nicht vollständig ausschließen. Mitgegebene Quellen, klare Anweisungen, ein enger Aufgabenzuschnitt und die Erlaubnis, Nichtwissen zu äußern, verringern die Häufigkeit deutlich. Für wichtige Aussagen bleibt eine Prüfung durch einen Menschen nötig.
Erfinden KI-Modelle auch Quellen?
Ja, erfundene Quellen gehören zu den bekanntesten Formen der Halluzination. Ein Modell nennt eine Studie, die unter dem angegebenen Titel nicht existiert, oft mit glaubwürdigem Autor, Institut und Jahr. Jede Quellenangabe aus einer KI-Antwort sollte geöffnet und gegen den Originaltext gelesen werden, bevor sie weitergegeben wird.
Verhindert RAG Halluzinationen?
Nein, RAG senkt das Risiko, verhindert Halluzinationen aber nicht zuverlässig. Das Modell arbeitet mit vorgelegten Quellen und erfindet seltener Fakten, kann eine richtige Passage aber falsch wiedergeben oder mehr behaupten, als dasteht. Der Quellenverweis macht die Prüfung möglich, ersetzt sie aber nicht.
Wie erkennt man eine Halluzination?
Am Text selbst meist nicht, weil halluzinierte Antworten genauso sicher klingen wie richtige. Erkennbar wird sie erst durch den Abgleich mit der Quelle oder einer unabhängigen Primärquelle. Warnzeichen sind sehr genaue Einzelheiten ohne Fundstelle, Quellen, die sich nicht öffnen lassen, und Antworten auf Fragen, die über die vorgelegten Dokumente hinausgehen.
Wer haftet für falsche Aussagen eines KI-Chatbots?
Das hängt vom Einzelfall und vom Recht des jeweiligen Landes ab; eine allgemeine Antwort ersetzt keine Rechtsberatung. Bekannte Entscheidungen zeigen aber die Richtung: Im Fall Moffatt gegen Air Canada sah das Civil Resolution Tribunal in British Columbia 2024 das Unternehmen für die falsche Auskunft seines Chatbots in der Verantwortung. Wer KI gegenüber Kunden einsetzt, sollte davon ausgehen, für deren Aussagen einstehen zu müssen.
Hilft ein besserer Prompt gegen Halluzinationen?
Ja, ein präziser Prompt senkt die Fehlerquote, weil er dem Modell weniger Spielraum zum Auffüllen von Lücken lässt. Hilfreich sind die Anweisung, nur aus mitgegebenen Quellen zu antworten, bei fehlender Information Nichtwissen zu äußern und zu jeder Aussage die Fundstelle zu nennen. Ein Prompt ersetzt die Prüfung aber nicht.