KI-Sicherheit (Red Teaming)
KI-Sicherheit schützt vor zwei Risiken: dass ein KI-System selbst Schaden anrichtet (Safety) und dass Angreifer es ausnutzen (Security). Red Teaming prüft beides mit gezielten Angriffen.
Safety fragt, ob das System selbst Schaden anrichtet; Security, ob es angegriffen wird.
KI-Sicherheit ist der Sammelbegriff für alles, was ein KI-System davor bewahrt, Schaden anzurichten oder als Einfallstor zu dienen. Das Englische trennt dafür zwei Wörter. Safety meint das Verhalten des Systems selbst, etwa gefährliche oder diskriminierende Ausgaben, auch wenn niemand nachhilft. Security meint Angriffe: eingeschleuste Anweisungen, vergiftete Trainingsdaten, Datenabfluss oder den Missbrauch von Werkzeugen, die das System bedienen darf. Safety fragt, ob das System selbst Schaden anrichtet; Security, ob es angegriffen wird.
Klassische IT-Sicherheit allein reicht nicht. Firewall und Virenscanner prüfen Netzverkehr und Dateien, nicht die Bedeutung eines Satzes. Bei Sprachmodellen kann ein Satz in einer E-Mail oder einem PDF als Befehl wirken. Die passende Prüfmethode heißt Red Teaming: Ein Team greift das eigene System gezielt an und sucht Schwachstellen, bevor Angreifer sie finden.
Für Führungskräfte beginnt die Einschätzung bei den Zugriffen. Ein Chatbot, der nur antwortet, ist weniger gefährlich als ein KI-Agent, der Bestellungen anlegt. Worauf ein System zugreifen darf, entscheidet das Unternehmen, das es betreibt, auch wenn das Modell von einem großen Anbieter stammt.
Kapitel 1 von 7
Safety und Security sind zwei verschiedene Risiken.
Das Rahmenwerk für KI-Risikomanagement des US-Normungsinstituts NIST (AI RMF 1.0, Januar 2023) führt beide als getrennte Merkmale vertrauenswürdiger KI. Safe ist ein System, das unter festgelegten Bedingungen nicht in einen Zustand führt, in dem Leben, Gesundheit, Eigentum oder Umwelt gefährdet sind. Secure ist ein System, das Vertraulichkeit, Integrität und Verfügbarkeit gegen unbefugten Zugriff schützt.
Im Alltag hilft eine Prüffrage: Wer verursacht den Schaden? Gibt ein Assistent für Monteure eine falsche Anweisung zum Abschalten einer Anlage, ist das ein Safety-Problem. Bringt ein Angreifer denselben Assistenten mit einer präparierten Eingabe dazu, Kundendaten preiszugeben, ist es ein Security-Problem. Ein Jailbreak liegt auf beiden Seiten, weil er als Angriff eine verbotene Ausgabe erzwingen soll.
Die Trennung klärt Zuständigkeiten: Safety gehört zur fachlichen Qualitätssicherung, Security zur IT-Sicherheit.
Kapitel 2 von 7
Angriffe zielen auf Sprache, Daten und Zugriffsrechte.
Die OWASP Top 10 for LLM Applications in der Ausgabe 2025 ordnen die Schwachstellen von Anwendungen mit Sprachmodellen. An erster Stelle steht Prompt Injection: Text gelangt in die Eingabe und wird als Anweisung befolgt, direkt über das Chatfenster oder indirekt über ein Dokument oder eine Webseite, die das System liest. Weitere Einträge betreffen etwa vergiftete Trainingsdaten und zu weit gefasste Befugnisse.
Die NIST-Taxonomie AI 100-2 (März 2025) unterscheidet unter anderem Vergiftung, Umgehung, Angriffe auf die Privatsphäre und Missbrauch. MITRE ATLAS sammelt Techniken von Angreifern auf KI-Systeme in einer öffentlichen Wissensbasis, ergänzt um Fallstudien zu echten Vorfällen.
Ein Teil des Risikos entsteht im eigenen Haus. Bei Schatten-KI landen Unternehmensdaten in Diensten, die niemand geprüft hat. Das BSI rät anzunehmen, dass alle Informationen abgegriffen werden können, auf die ein generatives KI-Modell Zugriff hat.
Kapitel 3 von 7
Red Teaming greift das eigene System an, bevor es andere tun.
NIST beschreibt AI Red Teaming im Profil für generative KI (NIST AI 600-1, Juli 2024) als strukturierte Testübung, die ein KI-System nach Fehlern und Schwachstellen absucht, etwa nach falschen, schädlichen oder diskriminierenden Ausgaben, meist in einer kontrollierten Umgebung und gemeinsam mit den Entwicklern.
Ein Red Team versucht zum Beispiel, das System per Prompt Injection umzulenken, vertrauliche Dokumente herauszulocken, Sicherheitsregeln zu umgehen oder es für Phishing-Texte einzuspannen.
Das BSI empfiehlt, generative KI-Modelle und darauf aufbauende Anwendungen vor der Einführung ausgiebig zu testen und je nach Kritikalität ein Red Teaming durchzuführen, das konkrete Angriffe oder Missbrauch simuliert. Ein Red Teaming ist eine Momentaufnahme: Wechseln Modell, Anweisungen oder Datenquellen, ist sein Ergebnis veraltet.
Kapitel 4 von 7
Bei KI-Agenten zählen Rechte mehr als Filter.
Prompt Injection lässt sich nach heutigem Stand nicht vollständig verhindern. Davon gehen OWASP und BSI übereinstimmend aus. Wirksam ist deshalb vor allem, den möglichen Schaden zu begrenzen.
Das Risiko wächst mit den Befugnissen. OWASP nennt es Excessive Agency, wenn ein System mehr Funktionen, Rechte oder Selbstständigkeit hat, als seine Aufgabe verlangt. Eine Erweiterung, die E-Mails zusammenfasst, braucht nur Lesezugriff, kein Löschen und keinen Versand.
Daraus folgen wenige Grundsätze. Jedes System bekommt nur die Rechte, die seine Aufgabe erfordert. Folgenreiche Schritte wie Zahlung, Versand oder Löschung gibt ein Mensch frei. Ausgaben werden geprüft, bevor ein anderes System sie weiterverarbeitet, und ein Protokoll hält fest, was das System gelesen und getan hat. Guardrails ergänzen diese Maßnahmen, ersetzen sie aber nicht.
Kapitel 5 von 7
Der AI Act verlangt Robustheit und Angriffstests.
Artikel 15 der KI-Verordnung (EU) 2024/1689 verlangt für Hochrisiko-KI-Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit. Nach Absatz 5 müssen sie Versuchen unbefugter Dritter widerstehen, Verwendung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern. Genannt sind Maßnahmen gegen manipulierte Trainingsdaten (data poisoning), manipulierte vortrainierte Komponenten (model poisoning), Eingaben, die das Modell zu Fehlern verleiten sollen, und Angriffe auf vertrauliche Daten. Nach dem Digital-Omnibus zu KI, Verordnung (EU) 2026/1744, gilt das ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für solche nach Anhang I.
Artikel 55 verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko seit dem 2. August 2025 zu Modellbewertungen einschließlich dokumentierter Angriffstests und zu angemessener Cybersicherheit.
Wer keine Hochrisiko-Systeme einsetzt und keine solchen Modelle anbietet, ist nicht unmittelbar betroffen. Die Einordnung im Einzelfall gehört zu Fachleuten für IT-Recht.
Kapitel 6 von 7
Woran man eine gute Umsetzung erkennt.
Am Anfang steht ein Verzeichnis aller KI-Systeme im Haus, mit den Daten, die sie lesen, und den Werkzeugen, die sie bedienen dürfen. Für jedes System klärt eine Bedrohungsanalyse, wer es auf welchem Weg angreifen könnte.
Vor dem Start läuft ein Test mit Angriffen aus den OWASP-Kategorien und Techniken aus MITRE ATLAS, bei kritischen Anwendungen ein Red Teaming mit Fachleuten. Die Befunde stehen in einem Bericht mit Schweregrad, Gegenmaßnahme und Nachtest. Nach jeder Änderung an Modell, System Prompt oder Datenquellen läuft ein fester Satz von Angriffsfällen erneut, so wie Evals die fachliche Qualität erneut messen.
Im Betrieb zeigen Protokolle, was ein System gelesen und getan hat. Für Vorfälle ist geklärt, wer abschaltet und wer informiert wird. Mitarbeitende wissen, welche Dienste freigegeben sind; das BSI empfiehlt, sie bei beruflichem Einsatz intensiv zu schulen. Gute Dienstleister planen den Nachtest von Anfang an ein.
Kapitel 7 von 7
Die Grenze des Begriffs
KI-Sicherheit macht ein System weder fehlerfrei noch rechtskonform. Fachliche Fehler ohne Angreifer misst man mit Evals. Regeln und Zuständigkeiten legt die KI-Governance fest, Fairness und Werte behandelt die KI-Ethik. Guardrails und Red Teaming sind Bausteine der KI-Sicherheit, nicht der ganze Begriff.
Häufige Fragen
Was ist KI-Sicherheit?
KI-Sicherheit ist der Schutz vor Schäden durch KI-Systeme und vor Angriffen auf sie. Sie umfasst Safety, also gefährliches Verhalten des Systems selbst, und Security, also Angriffe wie Prompt Injection oder Datenabfluss.
Was ist der Unterschied zwischen AI Safety und AI Security?
AI Safety betrifft Schäden, die ein System selbst anrichtet, AI Security betrifft Angriffe auf das System. NIST führt beide als getrennte Merkmale vertrauenswürdiger KI.
Was ist Red Teaming bei KI?
Red Teaming ist ein strukturierter Angriffstest, bei dem ein Team ein KI-System gezielt nach Schwachstellen und schädlichen Ausgaben absucht. Das BSI empfiehlt es je nach Kritikalität vor der Einführung.
Wie oft sollte man ein Red Teaming durchführen?
Mindestens vor dem Start und nach jeder wesentlichen Änderung an Modell, Anweisungen oder Datenquellen. Das BSI rät, Tests periodisch und anlassbezogen zu wiederholen, etwa wenn neue Angriffsmethoden bekannt werden.
Welche Risiken birgt KI für die IT-Sicherheit?
KI schafft neue Angriffsflächen und neue Werkzeuge für Angreifer. Eigene Systeme lassen sich über eingeschleuste Texte, vergiftete Daten oder zu weite Rechte ausnutzen, und NIST prüft auch, ob sich ein System für Phishing-Texte oder Schadcode missbrauchen lässt.
Wie schützt man KI-Systeme vor Angriffen?
Vor allem, indem man den möglichen Schaden begrenzt, denn Prompt Injection lässt sich nach heutigem Stand nicht vollständig verhindern. Dazu gehören enge Rechte, menschliche Freigaben für folgenreiche Schritte, geprüfte Datenquellen, Protokolle und regelmäßige Angriffstests.
Was verlangt der AI Act zur Sicherheit von KI?
Der AI Act verlangt Genauigkeit, Robustheit und Cybersicherheit für Hochrisiko-KI-Systeme (Artikel 15) und Angriffstests für KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko (Artikel 55). Die Hochrisiko-Regeln gelten frühestens ab Dezember 2027.
Was ist der Unterschied zwischen KI-Sicherheit und Cybersicherheit?
KI-Sicherheit ergänzt die Cybersicherheit um Risiken, die erst durch Modelle entstehen. Bei Sprachmodellen kann ein gewöhnlicher Text als Anweisung wirken, und manipulierte Trainingsdaten können ein Modell verfälschen.
Quellen
- OWASP: Top 10 for LLM Applications, Ausgabe 2025 (englisch)
- NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Januar 2023 (englisch)
- NIST: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, Juli 2024 (englisch)
- NIST: Adversarial Machine Learning. A Taxonomy and Terminology of Attacks and Mitigations, NIST AI 100-2 E2025, März 2025 (englisch)
- MITRE: ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), Wissensbasis, Stand November 2026 (englisch)
- BSI: Generative KI-Modelle. Chancen und Risiken für Industrie und Behörden, 21. Januar 2025
- EU: Verordnung (EU) 2024/1689 (KI-Verordnung, AI Act), Art. 15, 55 und 113, 2024
- EU: Verordnung (EU) 2026/1744 zur Änderung der KI-Verordnung (Digital-Omnibus zu KI), 2026