--- title: "KI-Bias: Definition und Beispiel – Carl-Uwe Würfel" description: "KI-Bias erklärt: wie systematische Verzerrungen in KI-Systemen entstehen, wie man sie misst und was AI Act, AGG und DSGVO von Unternehmen verlangen." url: https://carl-wuerfel.de/glossar/ki-bias author: Carl-Uwe Würfel --- 1. [Start](https://carl-wuerfel.de/) 2. [Wissen](https://carl-wuerfel.de/wissen) 3. [Glossar](https://carl-wuerfel.de/glossar) 4. KI-Bias # KI-Bias KI-Bias bezeichnet systematische Verzerrungen in den Ergebnissen eines KI-Systems, die bestimmte Gruppen oder Merkmale wiederholt bevorzugen oder benachteiligen. ## Auf dieser Seite 1. Wie KI-Bias entsteht 2. Bias in Sprachmodellen 3. Messen: Fairness hat mehrere Definitionen 4. Was Recht und Aufsicht verlangen 5. Typische Missverständnisse 6. Woran man einen guten Umgang erkennt 7. Die Grenze des Begriffs 8. Häufige Fragen 9. Quellen Ein KI-Bias zeigt sich erst, wenn man viele Ergebnisse nach Gruppen vergleicht. _Abbildung: Ablauf am Beispiel eines Unternehmens, das Bewerbungen für Ausbildungsplätze von einem KI-Werkzeug vorsortieren lässt. Bei der ersten Auswertung nach einigen Monaten zeigt sich, dass Bewerbungen mit Lücken im Lebenslauf deutlich seltener in die engere Wahl kommen, was überdurchschnittlich oft Bewerberinnen nach einer Elternzeit trifft. Korrektur: Das Merkmal kommt aus der Bewertung, und Menschen prüfen die abgelehnten Fälle des Zeitraums nach. Ein Rückweg zur Auswertung zeigt die festen Abstände für weitere Stichproben._ **Beispiel** Ein Unternehmen lässt Bewerbungen für Ausbildungsplätze von einem KI-Werkzeug vorsortieren. Bei der ersten Auswertung nach einigen Monaten zeigt sich, dass Bewerbungen mit Lücken im Lebenslauf deutlich seltener in die engere Wahl kommen, was überdurchschnittlich oft Bewerberinnen nach einer Elternzeit trifft. Das Unternehmen nimmt das Merkmal aus der Bewertung, lässt die abgelehnten Fälle des Zeitraums von Menschen nachprüfen und legt feste Abstände für weitere Stichproben fest. Ein KI-Bias ist ein Muster über viele Fälle. Es zeigt sich erst, wenn man viele Ergebnisse nach Gruppen vergleicht. Ein Modell, das Bewerbungen von Frauen schlechter bewertet, Kredite in bestimmten Stadtteilen häufiger ablehnt oder in Texten Berufe stets einem Geschlecht zuordnet, ist verzerrt, auch wenn jede einzelne Entscheidung plausibel wirkt. Das US-amerikanische National Institute of Standards and Technology (NIST) unterscheidet in seinem AI Risk Management Framework von 2023 drei Arten: systemische Verzerrungen in Daten, Organisationen und Gesellschaft, rechnerische und statistische Verzerrungen etwa durch nicht repräsentative Stichproben und menschlich-kognitive Verzerrungen bei Entwicklung und Nutzung. Der Begriff stammt aus der Statistik, wo Bias einen systematischen Schätzfehler meint. Wichtig ist die Unterscheidung zwischen Bias als technischer Schieflage und Diskriminierung als rechtlich unzulässiger Benachteiligung von Menschen. Nicht jede Verzerrung ist verboten. Jede Verzerrung, die Menschen wegen eines geschützten Merkmals benachteiligt, kann es aber sein. Laut NIST können verzerrte Ergebnisse entstehen, ohne dass irgendjemand diskriminieren will. Für Führungskräfte berührt KI-Bias Haftung und Ruf. Das Allgemeine Gleichbehandlungsgesetz (AGG) fragt nicht, ob ein Mensch oder eine Software benachteiligt hat. Der [AI Act](https://carl-wuerfel.de/ai-act) verlangt für Hochrisiko-Systeme, etwa in der Personalauswahl, eine Untersuchung möglicher Verzerrungen. Wer KI für Entscheidungen über Menschen einkauft, sollte deshalb wissen, wie der Anbieter Verzerrungen prüft, und eigene Stichproben einplanen. ## Wie KI-Bias entsteht. Die häufigste Quelle sind die Daten. Ein Modell lernt Muster aus Beispielen. Spiegeln die Beispiele frühere Ungleichbehandlung, lernt das Modell sie mit. Fachleute unterscheiden mehrere Formen. Bei einer Stichprobenverzerrung (Selection Bias) sind Gruppen in den Daten unter- oder überrepräsentiert. Bei einer Kennzeichnungsverzerrung (Label Bias) waren schon die menschlichen Bewertungen schief, mit denen das Modell trainiert wurde, etwa frühere Einstellungsentscheidungen. Hinzu kommen Stellvertretermerkmale (Proxy-Variablen): Postleitzahl, Lücken im Lebenslauf oder bestimmte Freizeitangaben können ein geschütztes Merkmal wie Herkunft, Geschlecht oder Alter indirekt abbilden. Die zweite Quelle ist das Modell selbst. Ein Trainingsziel, das die Genauigkeit über alle Fälle maximiert, kann eine kleine Gruppe vernachlässigen, weil Fehler dort im Durchschnitt kaum ins Gewicht fallen. Die dritte Quelle ist der Einsatz. Ein Modell, das für einen Zweck oder eine Region entwickelt wurde, kann anderswo verzerrt arbeiten. Und Menschen übernehmen Vorschläge oft ungeprüft, ein Effekt, den NIST den menschlich-kognitiven Verzerrungen zuordnet. Bekannt wurde das Problem durch ein Bewerbungswerkzeug von Amazon. Laut einem Bericht der Nachrichtenagentur Reuters von 2018 bewertete es Lebensläufe schlechter, die das Wort „women's“ enthielten, weil es aus Bewerbungen der vorangegangenen zehn Jahre gelernt hatte, die überwiegend von Männern stammten. Amazon gab das Projekt auf. ## Bias in Sprachmodellen. Große Sprachmodelle lernen aus riesigen Textmengen und übernehmen deren Stereotype. Das zeigt sich weniger in Ja-Nein-Entscheidungen als in Formulierungen: welches Geschlecht die Führungskraft im Beispieltext hat, welche Namen in Erfolgsgeschichten vorkommen, welcher Ton für welche Kundengruppe gewählt wird. Anbieter schwächen solche Muster im Training ab, beseitigen sie aber nicht vollständig. Im Unternehmen wird das relevant, sobald Sprachmodelle Stellenanzeigen entwerfen, Bewerbungen zusammenfassen, Kundenanfragen vorsortieren oder Beurteilungen formulieren. Eine Zusammenfassung, die bei manchen Bewerbern Schwächen betont und bei anderen Stärken, verzerrt die spätere Entscheidung, auch wenn am Ende ein Mensch entscheidet. Prüfen lässt sich das mit vertauschten Merkmalen. Dieselbe Anfrage wird mehrfach gestellt, und nur Name, Geschlecht oder Herkunft ändern sich. Weichen die Ergebnisse systematisch ab, liegt ein Bias vor. Weil Sprachmodelle auf dieselbe Eingabe unterschiedlich antworten können, braucht ein solcher Test genug Wiederholungen, damit ein Unterschied nicht bloß Zufall ist. Ein sorgfältiger [System Prompt](https://carl-wuerfel.de/glossar/system-prompt) kann Verzerrungen mildern, ersetzt die Prüfung aber nicht. Texte über Menschen, die ein Modell erzeugt, gehören vor der Weitergabe in die Hand einer Person, die sie inhaltlich liest. ## Messen: Fairness hat mehrere Definitionen. KI-Bias wird gemessen, indem man Ergebnisse je Gruppe vergleicht. Dafür gibt es mehrere Maße, die Verschiedenes prüfen. Demographic Parity verlangt, dass jede Gruppe gleich häufig ein positives Ergebnis erhält, etwa eine Einladung zum Gespräch. Equalized Odds verlangt gleiche Treffer- und Fehlerquoten über die Gruppen. Kalibrierung verlangt, dass ein bestimmter Risikowert in jeder Gruppe dieselbe Wahrscheinlichkeit bedeutet. Diese Maße lassen sich nicht alle zugleich erfüllen. Jon Kleinberg, Sendhil Mullainathan und Manish Raghavan haben 2016 gezeigt, dass drei naheliegende Fairness-Bedingungen für Risikobewertungen außer in eng begrenzten Sonderfällen nicht gleichzeitig erreichbar sind, etwa wenn die Ausgangsquoten der Gruppen gleich sind oder das Modell perfekt vorhersagt. Welche Definition gelten soll, ist deshalb eine fachliche und ethische Entscheidung, die dokumentiert gehört. Für die Berechnung gibt es frei verfügbare Werkzeuge wie Fairlearn oder AI Fairness 360. Sie ersetzen die Vorarbeit nicht: Welche Gruppen werden verglichen, woher stammen die Gruppenmerkmale, und wie viele Fälle je Gruppe braucht es, damit ein Unterschied belastbar ist? Bei kleinen Fallzahlen, wie sie in mittelgroßen Unternehmen üblich sind, kann ein Unterschied auch zufällig entstehen, und eine fehlende Abweichung beweist wenig. ## Was Recht und Aufsicht verlangen. Stand November 2026 greifen mehrere Regelwerke. Artikel 10 des AI Act verlangt von Anbietern von Hochrisiko-Systemen, Trainings-, Validierungs- und Testdaten auf Verzerrungen zu untersuchen, die Gesundheit, Sicherheit oder Grundrechte beeinträchtigen oder zu verbotener Diskriminierung führen können, und Maßnahmen zu ihrer Erkennung, Verhinderung und Abschwächung zu treffen. Hochrisiko sind unter anderem Systeme für Personalauswahl und Kreditwürdigkeit. Diese Pflichten gelten nach der Änderungsverordnung (EU) 2026/1744 ab dem 2. Dezember 2027. Dieselbe Änderung hat Artikel 4a eingefügt. Er erlaubt unter strengen Bedingungen, besondere Kategorien personenbezogener Daten zu verarbeiten, soweit das zur Erkennung und Korrektur von Verzerrungen unbedingt erforderlich ist, und begründet für Systeme außerhalb der Hochrisiko-Anbieterpflichten ausdrücklich keine Prüfpflicht. Das AGG verbietet Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität. Es erfasst auch mittelbare Benachteiligungen durch scheinbar neutrale Kriterien. In ihrer Gegenäußerung zu einer geplanten AGG-Änderung hat die Bundesregierung im Juli 2026 festgehalten, dass das Gesetz technologieneutral ist und eine Benachteiligung auch dann unzulässig ist, wenn sie mittels eines KI-Systems erfolgt. Daneben gibt Artikel 22 DSGVO Betroffenen das Recht, keiner ausschließlich automatisierten Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung unterworfen zu werden, von gesetzlichen Ausnahmen abgesehen. ## Typische Missverständnisse. Das häufigste Missverständnis lautet, wer Geschlecht, Alter oder Herkunft aus den Daten entferne, beseitige den Bias. Das gelingt selten, denn Stellvertretermerkmale tragen dieselbe Information weiter. Und ohne die geschützten Merkmale lässt sich eine Verzerrung schlechter messen. Deshalb erlaubt der AI Act die Verarbeitung solcher Daten für genau diesen Zweck unter Auflagen. Zweites Missverständnis: Eine Maschine sei neutraler als ein Mensch. Ein Modell übernimmt die Muster seiner Daten und wendet sie gleichförmig auf jeden Fall an. Ein voreingenommener Sachbearbeiter benachteiligt einzelne Fälle, ein verzerrtes Modell womöglich alle Fälle eines Typs. Drittes Missverständnis: Ein einmal geprüftes Modell bleibe fair. Daten und Einsatzbedingungen ändern sich, und Rückkopplung kann Verzerrungen verstärken. Wer abgelehnt wird, taucht in späteren Erfolgsdaten nie auf, und das Modell bestätigt sich selbst. Artikel 10 des AI Act nennt diesen Fall ausdrücklich, wenn Ausgaben die Eingaben künftiger Vorgänge beeinflussen. Viertes Missverständnis: Eine gute Kennzahl beweise Gerechtigkeit. Da sich Fairness-Definitionen widersprechen, zeigt eine Kennzahl nur, dass eine bestimmte Definition erfüllt ist. Ob es die passende ist, bleibt eine Entscheidung, die jemand begründen muss. ## Woran man einen guten Umgang erkennt. Ein guter Umgang beginnt beim Einkauf. Wer ein KI-System für Entscheidungen über Menschen anschafft, sollte vom Anbieter erfahren, mit welchen Daten es trainiert wurde, welche Gruppen verglichen wurden, welche Fairness-Definition gilt und was die Prüfung ergeben hat. Kann ein Anbieter dazu nichts vorlegen, ist das ein Warnzeichen. Im eigenen Betrieb helfen wenige feste Regeln. Vor dem Start wird festgelegt, welche Gruppen verglichen werden und ab welcher Abweichung jemand genauer hinsieht. Stichproben werden regelmäßig ausgewertet, auch lange nach der Einführung. Entscheidungen mit erheblicher Wirkung auf Menschen trifft eine Person, die den Vorschlag tatsächlich prüfen kann und darf, statt ihn nur zu bestätigen. Betroffene erhalten einen Weg, eine Entscheidung überprüfen zu lassen. Dokumentation verbindet das: welche Daten, welche Prüfung, welche Ergebnisse, welche Korrekturen. Bei Hochrisiko-Systemen ist sie Pflicht, und auch sonst hilft sie, wenn eine Entscheidung später angefochten wird. Der Aufwand hängt weniger von der Messung ab als von der Vorarbeit: saubere Vergleichsdaten aufbereiten und festlegen, was als fair gelten soll. Ein internes Textwerkzeug braucht deutlich weniger davon als ein System, das über Bewerbungen oder Kredite mitentscheidet. ## Die Grenze des Begriffs KI-Bias beschreibt systematische Verzerrungen über viele Fälle. Ein Modell, das für alle Gruppen gleich ungenau ist, ist schlecht, aber nicht verzerrt, und eine [Halluzination](https://carl-wuerfel.de/glossar/hallucination) ist ein einzelner erfundener Inhalt. Diskriminierung ist der rechtliche Begriff für eine unzulässige Benachteiligung von Menschen; nicht jeder Bias führt dazu, etwa wenn ein Modell Produktfotos einer Kategorie schlechter erkennt. Mangelnde [Datenqualität](https://carl-wuerfel.de/glossar/datenqualitaet) ist eine häufige Ursache, deckt den Begriff aber nicht ab. ## Häufige Fragen Was ist KI-Bias? KI-Bias ist eine systematische Verzerrung in den Ergebnissen eines KI-Systems, die bestimmte Gruppen oder Merkmale wiederholt bevorzugt oder benachteiligt. Sie zeigt sich erst im Vergleich vieler Fälle, nicht an einer einzelnen Antwort. Wie entsteht Bias in KI-Systemen? Meist über die Trainingsdaten, wenn Gruppen fehlen, frühere Bewertungen schief waren oder neutrale Merkmale wie die Postleitzahl geschützte Merkmale abbilden. Hinzu kommen das Trainingsziel des Modells und der Einsatz in einem Umfeld, für das es nicht gebaut wurde. Was ist der Unterschied zwischen KI-Bias und Halluzination? Eine Halluzination ist eine erfundene Aussage im Einzelfall, KI-Bias ein wiederkehrendes Muster zulasten bestimmter Gruppen. Halluzinationen findet man durch Faktenprüfung, Bias nur durch den Vergleich vieler Ergebnisse je Gruppe. Wie prüft man ein KI-System auf Bias? Man vergleicht die Ergebnisse je Gruppe anhand vorher festgelegter Fairness-Maße und wiederholt das im laufenden Betrieb. Bei Sprachmodellen hilft der Test mit vertauschten Merkmalen, bei dem nur Name, Geschlecht oder Herkunft wechseln. Entscheidend sind genug Fälle je Gruppe und eine dokumentierte Begründung, welche Definition von Fairness gilt. Lässt sich KI-Bias vollständig beseitigen? Nein, er lässt sich messen und verringern, aber nicht vollständig beseitigen. Jede Datenbasis bildet nur einen Ausschnitt der Wirklichkeit ab, und verschiedene Fairness-Definitionen lassen sich nachweislich nicht alle zugleich erfüllen. Was sagt der AI Act zu Bias? Artikel 10 verpflichtet Anbieter von Hochrisiko-Systemen, ihre Daten auf Verzerrungen zu untersuchen und Gegenmaßnahmen zu treffen; diese Pflichten gelten Stand November 2026 ab dem 2. Dezember 2027. Artikel 4a, eingefügt durch die Änderung vom Juli 2026, erlaubt unter strengen Auflagen, besondere Kategorien personenbezogener Daten zur Erkennung und Korrektur von Verzerrungen zu verarbeiten. Gilt das AGG auch für Entscheidungen durch KI? Ja, nach Auffassung der Bundesregierung ist das AGG technologieneutral, eine Benachteiligung wegen eines geschützten Merkmals ist also auch mittels KI unzulässig. Eine eigene Regel zu algorithmischer Diskriminierung enthält das Gesetz Stand November 2026 nicht. Die Bewertung eines konkreten Systems gehört zu Fachleuten für Arbeits- und Antidiskriminierungsrecht. ## Weiter * [**KI-Glossar**](https://carl-wuerfel.de/glossar) * [**KI-Governance: Rechte, Zugänge, Protokolle**](https://carl-wuerfel.de/ki-governance) * [**AI Act: den Einsatz einordnen**](https://carl-wuerfel.de/ai-act) * [**Datenqualität**](https://carl-wuerfel.de/glossar/datenqualitaet) * [**Halluzination**](https://carl-wuerfel.de/glossar/hallucination) * [**System Prompt** Begriff](https://carl-wuerfel.de/glossar/system-prompt) * [**Data Governance** Begriff](https://carl-wuerfel.de/glossar/data-governance) ## Quellen 1. [EU: Verordnung (EU) 2024/1689 (KI-Verordnung, AI Act), Art. 10, 2024](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689) 2. [EU: Verordnung (EU) 2026/1744 zur Änderung der KI-Verordnung (Digital-Omnibus zu KI), Art. 4a, 2026](https://eur-lex.europa.eu/eli/reg/2026/1744/oj/deu) 3. [Bundesministerium der Justiz: Allgemeines Gleichbehandlungsgesetz (AGG)](https://www.gesetze-im-internet.de/agg/) 4. [Deutscher Bundestag: Drucksache 21/6669, Stellungnahme des Bundesrates und Gegenäußerung der Bundesregierung zur AGG-Änderung, 2026](https://dserver.bundestag.de/btd/21/066/2106669.pdf) 5. [EU: Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Art. 22, 2016](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32016R0679) 6. [NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf) 7. [Kleinberg, Mullainathan, Raghavan: Inherent Trade-Offs in the Fair Determination of Risk Scores, 2016](https://arxiv.org/abs/1609.05807)