---
title: "Explainable AI (Erklärbarkeit): Definition und Beispiel – Carl-Uwe Würfel"
description: "Explainable AI (XAI) erklärt: wie KI-Entscheidungen nachvollziehbar werden, was SHAP und LIME leisten und welche Erklärung AI Act und DSGVO verlangen."
url: https://carl-wuerfel.de/glossar/explainable-ai
author: Carl-Uwe Würfel
---

1. [Start](https://carl-wuerfel.de/)
  2. [Wissen](https://carl-wuerfel.de/wissen)
  3. [Glossar](https://carl-wuerfel.de/glossar)
  4. Explainable AI (Erklärbarkeit)

# Explainable AI (Erklärbarkeit)

Explainable AI (XAI) umfasst Methoden, die nachvollziehbar machen, warum ein KI-Modell zu einem Ergebnis kommt: durch ein von sich aus lesbares Modell oder durch eine nachträgliche Erklärung.

## Auf dieser Seite

  1. Black-Box-KI: warum manche Modelle nicht lesbar sind
  2. Lesbares Modell oder nachträgliche Erklärung
  3. So arbeiten LIME, SHAP und kontrafaktische Erklärungen
  4. Sprachmodelle erklären sich nicht selbst
  5. Was AI Act und DSGVO verlangen
  6. Woran man eine gute Umsetzung erkennt
  7. Die Grenze des Begriffs
  8. Häufige Fragen
  9. Quellen

Wer KI mitentscheiden lässt, muss sagen können, wie ein Ergebnis zustande kam.

_Abbildung: Ablauf am Beispiel eines Energieversorgers. Bevor er einem Kunden einen Ratenplan anbietet, schätzt ein Modell das Risiko eines Zahlungsausfalls. SHAP berechnet die drei Angaben mit dem größten Einfluss auf diese Einschätzung. Die Sachbearbeiterin sieht die Einschätzung zusammen mit diesen drei Angaben und entscheidet selbst. Fragt ein Kunde nach, erhält er eine Erläuterung in Alltagssprache: welche Angaben die Einschätzung bestimmt haben und welche Änderung zu einem anderen Ergebnis geführt hätte. Die Erklärung zeigt, worauf das Modell reagiert, aber nicht, ob das Ergebnis richtig oder fair ist._

**Beispiel**

Ein Energieversorger nutzt ein Modell, das vor dem Angebot eines Ratenplans das Risiko eines Zahlungsausfalls einschätzt. Die Sachbearbeiterin sieht zu jeder Einschätzung die drei Angaben mit dem größten Einfluss, berechnet mit SHAP, und entscheidet selbst. Fragt ein Kunde nach, erhält er eine Erläuterung in Alltagssprache, welche Angaben die Einschätzung bestimmt haben und welche Änderung zu einem anderen Ergebnis geführt hätte.

Viele leistungsfähige KI-Modelle sind für Menschen nicht lesbar. Ein neuronales Netz berechnet sein Ergebnis aus Millionen oder Milliarden gelernter Gewichte, und welche Eingabe dabei wie stark gewirkt hat, steht nirgends geschrieben. Man spricht von einer Black Box. Explainable AI, kurz XAI, bezeichnet die Methoden, die diese Lücke schließen sollen. Sie zeigen, welche Merkmale ein Ergebnis bestimmt haben, wie sich das Ergebnis bei anderen Eingaben ändern würde oder nach welchen Regeln ein Modell insgesamt entscheidet.

Zwei Wege führen dorthin. Entweder wählt man ein Modell, dessen Logik sich direkt ablesen lässt, etwa einen Entscheidungsbaum oder eine Punktetabelle. Oder man erklärt ein komplexes Modell nachträglich mit Verfahren wie LIME oder SHAP. Eine Erklärung kann sich auf eine einzelne Entscheidung beziehen (lokal) oder auf das Verhalten des ganzen Modells (global). Für große Sprachmodelle stehen beide Wege nur eingeschränkt zur Verfügung.

Für Führungskräfte ist Erklärbarkeit eine Frage von Haftung und Kontrolle. Wer KI über Kredite, Bewerbungen, Tarife oder Leistungen mitentscheiden lässt, muss Betroffenen, Aufsichtsbehörden und dem eigenen Team sagen können, wie ein Ergebnis zustande kam. Die DSGVO verlangt bei automatisierten Entscheidungen aussagekräftige Informationen über die involvierte Logik. Die KI-Verordnung der EU schreibt für Hochrisiko-Systeme Transparenz und menschliche Aufsicht vor und gibt Betroffenen ein Recht auf Erläuterung.

## Black-Box-KI: warum manche Modelle nicht lesbar sind.

Eine lineare Regression oder ein kleiner Entscheidungsbaum passt auf eine Seite. Jedes Merkmal hat ein Gewicht oder eine Verzweigung, und wer die Regeln liest, versteht das Modell. Neuronale Netze, große Verbünde aus Hunderten von Entscheidungsbäumen und Sprachmodelle funktionieren anders. Ihr Wissen steckt verteilt in sehr vielen Parametern, die nur gemeinsam einen Sinn ergeben.

Black Box heißt deshalb nicht, dass das Modell geheim ist. Selbst wer alle Gewichte kennt, kann daraus nicht ablesen, warum ein bestimmter Antrag abgelehnt wurde. Hinzu kommt eine zweite Form der Undurchsichtigkeit: Viele Modelle werden als Dienst eingekauft, und der Hersteller legt Trainingsdaten und Aufbau nicht offen. Für das einsetzende Unternehmen ist das Modell dann doppelt verschlossen.

Die Folgen zeigen sich im Betrieb. Fehler lassen sich schwer eingrenzen, verzerrte Muster aus den Trainingsdaten bleiben unentdeckt, und eine Fachabteilung kann ein Ergebnis weder begründen noch ihm gezielt widersprechen. Hier setzt Erklärbarkeit an. Sie macht sichtbar, worauf ein Modell reagiert, damit Menschen prüfen können, ob das fachlich und rechtlich in Ordnung ist.

## Lesbares Modell oder nachträgliche Erklärung.

Der erste Weg heißt Interpretierbarkeit. Das Modell ist so gebaut, dass seine Logik selbst die Erklärung ist: ein Entscheidungsbaum mit wenigen Ebenen, eine Regelliste, ein Punktesystem oder eine lineare Regression mit überschaubar vielen Merkmalen. Der zweite Weg ist die nachträgliche Erklärung, im Fachjargon post hoc. Das komplexe Modell bleibt, wie es ist, und ein zusätzliches Verfahren beschreibt sein Verhalten.

Die Informatikerin Cynthia Rudin hat 2019 in der Fachzeitschrift Nature Machine Intelligence dafür plädiert, bei folgenreichen Entscheidungen lesbare Modelle einzusetzen, statt Black Boxes nachträglich zu erklären. Ihr Hauptargument: Eine nachträgliche Erklärung ist eine Näherung an das Modell. Wäre sie in jedem Fall exakt, wäre sie das Modell selbst. Bei strukturierten Daten mit aussagekräftigen Merkmalen, etwa Kundendaten, Bonitätsangaben oder Messwerten von Maschinen, erreichen lesbare Modelle nach ihrer Analyse oft eine vergleichbare Genauigkeit.

Bei Bildern, gesprochener Sprache und freiem Text sind komplexe Modelle dagegen meist deutlich überlegen, dort bleibt nur die nachträgliche Erklärung. Die Wahl ist eine Abwägung. Je größer die Folgen einer einzelnen Entscheidung für einen Menschen, desto mehr spricht für ein Modell, das sich selbst erklärt, auch wenn es etwas weniger leistet.

## So arbeiten LIME, SHAP und kontrafaktische Erklärungen.

LIME (Local Interpretable Model-agnostic Explanations) stammt von Marco Tulio Ribeiro, Sameer Singh und Carlos Guestrin (2016). Das Verfahren verändert die Eingabe eines einzelnen Falls viele Male geringfügig, beobachtet, wie sich die Vorhersage ändert, und passt für die Umgebung dieses Falls ein einfaches, lesbares Ersatzmodell an. Heraus kommt eine Liste der Merkmale, die diese eine Entscheidung am stärksten beeinflusst haben.

SHAP (SHapley Additive exPlanations) von Scott Lundberg und Su-In Lee (2017) greift auf die Shapley-Werte aus der kooperativen Spieltheorie zurück. Jedes Merkmal erhält einen Beitrag, und die Beiträge addieren sich zur Differenz zwischen der Vorhersage im Einzelfall und dem Durchschnitt des Modells. Aus vielen solchen Einzelerklärungen lässt sich ein Gesamtbild des Modells zusammensetzen. Die exakte Berechnung wird mit wachsender Zahl der Merkmale schnell sehr aufwendig, deshalb arbeiten die Werkzeuge mit Näherungen.

Kontrafaktische Erklärungen beantworten eine andere Frage: Was hätte anders sein müssen, damit das Ergebnis anders ausfällt? Für Betroffene ist diese Form oft am verständlichsten. Alle drei Verfahren liefern Näherungen. LIME und SHAP können für denselben Fall unterschiedliche Merkmale hervorheben, und stark zusammenhängende Merkmale verzerren beide. Wichtige Erklärungen gehören deshalb an Fällen geprüft, deren Ursache bekannt ist.

## Sprachmodelle erklären sich nicht selbst.

Bei großen Sprachmodellen stoßen die klassischen Verfahren an Grenzen. Ein Sprachmodell hat Milliarden Parameter, seine Eingabe ist freier Text, und die Antwort entsteht Wort für Wort. Gewichte für einzelne Wörter eines Prompts sagen wenig darüber, warum eine Antwort inhaltlich so ausfällt.

Naheliegend wäre, das Modell nach seiner Begründung zu fragen. Doch die Begründung eines Sprachmodells ist selbst erzeugter Text und keine Aufzeichnung seiner Berechnung. Miles Turpin und Kollegen haben 2023 gezeigt, dass Schritt-für-Schritt-Begründungen von Sprachmodellen den tatsächlichen Einfluss auf eine Antwort verschweigen können. In ihren Versuchen veränderten gezielt eingebaute Verzerrungen im Prompt die Antworten der Modelle, etwa eine Reihenfolge der Antwortoptionen, bei der die richtige Lösung stets an erster Stelle stand. Die Begründungen erwähnten diesen Einfluss systematisch nicht.

Bei Sprachmodellen verlagert sich Erklärbarkeit deshalb auf das Umfeld: Antworten mit nachprüfbaren Quellen, etwa über [RAG](https://carl-wuerfel.de/glossar/rag); protokollierte Eingaben, Anweisungen und Modellversionen; Tests mit festen Fragenlisten; und eine Prüfung durch einen Menschen, bevor ein Ergebnis Folgen hat. Die Forschung zur inneren Funktionsweise solcher Modelle kommt voran, ist aber Stand November 2026 kein Werkzeug, mit dem ein Unternehmen Betroffenen eine einzelne Antwort erklären könnte.

## Was AI Act und DSGVO verlangen.

Art. 22 DSGVO gibt Menschen das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Ausnahmen gelten etwa für Verträge oder mit ausdrücklicher Einwilligung; dann haben Betroffene Anspruch darauf, dass ein Mensch eingreift, und können die Entscheidung anfechten. Nach Art. 15 können sie außerdem aussagekräftige Informationen über die involvierte Logik verlangen. Der Europäische Gerichtshof hat das am 27. Februar 2025 präzisiert (Rechtssache C-203/22): Zu erläutern sind die Verfahren und Grundsätze, die konkret angewandt wurden. Die bloße Übermittlung einer komplexen mathematischen Formel genügt nicht. Ausreichen könne die Angabe, in welchem Maß eine Abweichung bei den Daten zu einem anderen Ergebnis geführt hätte.

Die KI-Verordnung (Verordnung (EU) 2024/1689) verlangt in Art. 13, dass Hochrisiko-Systeme so transparent sind, dass Betreiber ihre Ausgaben angemessen interpretieren können. Nach Art. 14 müssen die Aufsichtspersonen die Ausgabe richtig deuten können, auch mithilfe von Interpretationsinstrumenten. Art. 86 gibt Betroffenen ein Recht auf eine klare und aussagekräftige Erläuterung der Rolle des KI-Systems und der wichtigsten Elemente der Entscheidung. Es knüpft an Hochrisiko-Systeme nach Anhang III an, deren Regeln nach der Änderung durch die Verordnung (EU) 2026/1744 ab dem 2. Dezember 2027 gelten (Stand November 2026). Ein bestimmtes Verfahren wie SHAP schreibt keines der Gesetze vor.

## Woran man eine gute Umsetzung erkennt.

Eine gute Umsetzung beginnt mit der Frage, wer die Erklärung braucht. Entwickler suchen Fehler und brauchen Merkmalsgewichte über viele Fälle. Eine Fachabteilung will prüfen, ob ein Ergebnis plausibel ist. Betroffene brauchen eine Begründung in Alltagssprache, die sich auf ihren Fall bezieht und zeigt, welche Angaben das Ergebnis bestimmt haben. Die Aufsicht braucht Dokumentation.

Weitere Kennzeichen: Die Wahl des Modells ist begründet, und für folgenreiche Entscheidungen wurde ein lesbares Modell zumindest geprüft. Erklärungen werden an Fällen getestet, deren Ursache bekannt ist, und bei wichtigen Entscheidungen mit mehr als einem Verfahren abgeglichen. Eingaben, Ergebnisse und Modellversion werden protokolliert, damit sich ein Einzelfall später nachvollziehen lässt. Nach jedem Nachtraining oder Modellwechsel wird die Erklärung neu erstellt, weil sie für das alte Modell galt.

Explainable AI hat keinen Listenpreis, sie ist keine Software zum Kaufen. Die Kosten entstehen als Rechenzeit für nachträgliche Verfahren und als Arbeitszeit für Prüfung, Dokumentation und verständliche Texte. Ein von Anfang an lesbares Modell kann deshalb günstiger sein als eine Black Box, die später aufwendig erklärt werden muss.

## Die Grenze des Begriffs

Explainable AI zeigt, worauf ein Modell reagiert, aber nicht, ob das Ergebnis richtig oder fair ist; dafür braucht es fachliche Prüfung und Tests auf [KI-Bias](https://carl-wuerfel.de/glossar/ki-bias). Nachträgliche Erklärungen sind Näherungen und können ein Modell plausibler wirken lassen, als es ist. Abzugrenzen ist der Begriff von Interpretierbarkeit (das Modell selbst ist lesbar), von Transparenz im Sinne von Offenlegung und Kennzeichnung und von Protokollierung, die festhält, was lief, aber nicht, warum.

## Häufige Fragen

Was ist Explainable AI, einfach erklärt?

Explainable AI sind Methoden, die zeigen, warum eine KI zu einem bestimmten Ergebnis gekommen ist. Entweder ist das Modell von sich aus lesbar, oder ein zusätzliches Verfahren zeigt, welche Angaben das Ergebnis am stärksten beeinflusst haben. So können Menschen prüfen, ob das Ergebnis fachlich und rechtlich in Ordnung ist.

Was ist Black-Box-KI?

Black-Box-KI ist ein Modell, dessen Ergebnis sich nicht direkt nachvollziehen lässt, weil sein Wissen verteilt in sehr vielen Parametern steckt. Typische Beispiele sind neuronale Netze und große Sprachmodelle. Undurchsichtig ist ein Modell auch, wenn der Hersteller Daten und Aufbau nicht offenlegt.

Was ist der Unterschied zwischen Explainable AI und Interpretable AI?

Interpretierbar ist ein Modell, dessen Logik selbst lesbar ist, etwa ein kleiner Entscheidungsbaum. Explainable AI ist der weitere Begriff und umfasst zusätzlich nachträgliche Erklärungen für Black-Box-Modelle. Jedes interpretierbare Modell ist erklärbar, aber nicht jedes erklärbare Modell ist interpretierbar.

Was sind SHAP und LIME?

SHAP und LIME sind die bekanntesten Verfahren, um einzelne Vorhersagen eines komplexen Modells nachträglich zu erklären. LIME bildet das Modell in der Umgebung eines Falls mit einem einfachen Ersatzmodell nach, SHAP verteilt die Vorhersage mithilfe von Shapley-Werten aus der Spieltheorie auf die Merkmale. Beide liefern Näherungen und können für denselben Fall unterschiedliche Ergebnisse zeigen.

Ist Explainable AI gesetzlich vorgeschrieben?

Ein bestimmtes Verfahren schreibt kein Gesetz vor, eine nachvollziehbare Erklärung aber schon. Bei automatisierten Einzelentscheidungen verlangt die DSGVO aussagekräftige Informationen über die involvierte Logik, der Europäische Gerichtshof hat das 2025 konkretisiert. Der [AI Act](https://carl-wuerfel.de/ai-act) fordert für Hochrisiko-Systeme Transparenz, menschliche Aufsicht und ein Recht auf Erläuterung im Einzelfall.

Kann man erklären, warum ChatGPT oder ein anderes Sprachmodell etwas antwortet?

Nur sehr eingeschränkt. Die Begründung, die ein Sprachmodell selbst liefert, ist erzeugter Text und muss nicht wiedergeben, was die Antwort tatsächlich bestimmt hat. Nachvollziehbar wird der Einsatz über Quellenangaben, protokollierte Eingaben und eine menschliche Prüfung vor der Verwendung.

## Weiter

  * [**KI-Glossar**](https://carl-wuerfel.de/glossar)
  * [**KI-Governance: Rechte, Zugänge, Protokolle**](https://carl-wuerfel.de/ki-governance)
  * [**AI Act: den Einsatz einordnen**](https://carl-wuerfel.de/ai-act)
  * [**Neuronales Netz**](https://carl-wuerfel.de/glossar/neuronales-netz)
  * [**KI-Bias**](https://carl-wuerfel.de/glossar/ki-bias)
  * [**LLM: Large Language Model** Begriff](https://carl-wuerfel.de/glossar/llm)
  * [**Halluzination** Begriff](https://carl-wuerfel.de/glossar/hallucination)
  * [**Machine Learning (maschinelles Lernen)** Begriff](https://carl-wuerfel.de/glossar/machine-learning)
  * [**Deep Learning** Begriff](https://carl-wuerfel.de/glossar/deep-learning)
  * [**Chain of Thought (Gedankenkette)** Begriff](https://carl-wuerfel.de/glossar/chain-of-thought)

## Quellen

  1. [EU: Verordnung (EU) 2024/1689 (KI-Verordnung, AI Act), Art. 13, 14 und 86, 2024](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689)
  2. [EU: Verordnung (EU) 2026/1744 zur Änderung der KI-Verordnung (Digital-Omnibus zu KI), 2026](https://eur-lex.europa.eu/eli/reg/2026/1744/oj/deu)
  3. [EU: Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Art. 15 und 22, 2016](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32016R0679)
  4. [Gerichtshof der Europäischen Union: Urteil vom 27. Februar 2025, Rechtssache C-203/22 (Dun & Bradstreet Austria)](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:62022CJ0203)
  5. [Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin: „Why Should I Trust You?“ Explaining the Predictions of Any Classifier (LIME), 2016](https://arxiv.org/abs/1602.04938)
  6. [Scott M. Lundberg, Su-In Lee: A Unified Approach to Interpreting Model Predictions (SHAP), 2017](https://arxiv.org/abs/1705.07874)
  7. [Cynthia Rudin: Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead, Nature Machine Intelligence, 2019](https://doi.org/10.1038/s42256-019-0048-x)
  8. [Miles Turpin u. a.: Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting, 2023](https://arxiv.org/abs/2305.04388)