---
title: "KI-Sicherheit (Red Teaming): Definition und Beispiel"
description: "KI-Sicherheit erklärt: Safety und Security, Angriffe wie Prompt Injection und vergiftete Daten, Red Teaming als Angriffstest und was der AI Act verlangt."
url: https://carl-wuerfel.de/glossar/ki-sicherheit
author: Carl-Uwe Würfel
---

1. [Start](https://carl-wuerfel.de/)
  2. [Wissen](https://carl-wuerfel.de/wissen)
  3. [Glossar](https://carl-wuerfel.de/glossar)
  4. KI-Sicherheit (Red Teaming)

# KI-Sicherheit (Red Teaming)

KI-Sicherheit schützt vor zwei Risiken: dass ein KI-System selbst Schaden anrichtet (Safety) und dass Angreifer es ausnutzen (Security). Red Teaming prüft beides mit gezielten Angriffen.

## Auf dieser Seite

  1. Safety und Security sind zwei verschiedene Risiken
  2. Angriffe zielen auf Sprache, Daten und Zugriffsrechte
  3. Red Teaming greift das eigene System an, bevor es andere tun
  4. Bei KI-Agenten zählen Rechte mehr als Filter
  5. Der AI Act verlangt Robustheit und Angriffstests
  6. Woran man eine gute Umsetzung erkennt
  7. Die Grenze des Begriffs
  8. Häufige Fragen
  9. Quellen

Safety fragt, ob das System selbst Schaden anrichtet; Security, ob es angegriffen wird.

_Abbildung: Baum am Beispiel eines KI-Assistenten für Monteure, sortiert nach der Prüffrage, wer den Schaden verursacht. Links Safety: Der Assistent gibt von sich aus eine falsche Anweisung zum Abschalten einer Anlage. In der Mitte Security: Ein Angreifer bringt ihn mit einer präparierten Eingabe dazu, Kundendaten preiszugeben. Rechts der Jailbreak, der auf beiden Seiten liegt. Darunter: Red Teaming prüft beides mit gezielten Angriffen._

KI-Sicherheit ist der Sammelbegriff für alles, was ein KI-System davor bewahrt, Schaden anzurichten oder als Einfallstor zu dienen. Das Englische trennt dafür zwei Wörter. Safety meint das Verhalten des Systems selbst, etwa gefährliche oder diskriminierende Ausgaben, auch wenn niemand nachhilft. Security meint Angriffe: eingeschleuste Anweisungen, vergiftete Trainingsdaten, Datenabfluss oder den Missbrauch von Werkzeugen, die das System bedienen darf. Safety fragt, ob das System selbst Schaden anrichtet; Security, ob es angegriffen wird.

Klassische IT-Sicherheit allein reicht nicht. Firewall und Virenscanner prüfen Netzverkehr und Dateien, nicht die Bedeutung eines Satzes. Bei Sprachmodellen kann ein Satz in einer E-Mail oder einem PDF als Befehl wirken. Die passende Prüfmethode heißt Red Teaming: Ein Team greift das eigene System gezielt an und sucht Schwachstellen, bevor Angreifer sie finden.

Für Führungskräfte beginnt die Einschätzung bei den Zugriffen. Ein [Chatbot](https://carl-wuerfel.de/glossar/chatbot), der nur antwortet, ist weniger gefährlich als ein KI-Agent, der Bestellungen anlegt. Worauf ein System zugreifen darf, entscheidet das Unternehmen, das es betreibt, auch wenn das Modell von einem großen Anbieter stammt.

Beispiel

Ein Maschinenbauer führt einen internen Assistenten ein, der Serviceberichte durchsucht und Ersatzteilbestellungen als Entwurf anlegt. Vor dem Start versteckt ein Red Team in einem Testbericht die Anweisung, eine Bestellung an einen fremden Lieferanten zu richten, und der Assistent folgt ihr. Das Unternehmen lässt daraufhin jede Bestellung von einer Person freigeben und wiederholt den Angriffstest nach jedem Modellwechsel.

Kapitel 1 von 7

## Safety und Security sind zwei verschiedene Risiken.

Das Rahmenwerk für KI-Risikomanagement des US-Normungsinstituts NIST (AI RMF 1.0, Januar 2023) führt beide als getrennte Merkmale vertrauenswürdiger KI. Safe ist ein System, das unter festgelegten Bedingungen nicht in einen Zustand führt, in dem Leben, Gesundheit, Eigentum oder Umwelt gefährdet sind. Secure ist ein System, das Vertraulichkeit, Integrität und Verfügbarkeit gegen unbefugten Zugriff schützt.

Im Alltag hilft eine Prüffrage: Wer verursacht den Schaden? Gibt ein Assistent für Monteure eine falsche Anweisung zum Abschalten einer Anlage, ist das ein Safety-Problem. Bringt ein Angreifer denselben Assistenten mit einer präparierten Eingabe dazu, Kundendaten preiszugeben, ist es ein Security-Problem. Ein Jailbreak liegt auf beiden Seiten, weil er als Angriff eine verbotene Ausgabe erzwingen soll.

Die Trennung klärt Zuständigkeiten: Safety gehört zur fachlichen Qualitätssicherung, Security zur IT-Sicherheit.

Kapitel 2 von 7

## Angriffe zielen auf Sprache, Daten und Zugriffsrechte.

Die OWASP Top 10 for [LLM](https://carl-wuerfel.de/glossar/llm) Applications in der Ausgabe 2025 ordnen die Schwachstellen von Anwendungen mit Sprachmodellen. An erster Stelle steht Prompt Injection: Text gelangt in die Eingabe und wird als Anweisung befolgt, direkt über das Chatfenster oder indirekt über ein Dokument oder eine Webseite, die das System liest. Weitere Einträge betreffen etwa vergiftete Trainingsdaten und zu weit gefasste Befugnisse.

Die NIST-Taxonomie AI 100-2 (März 2025) unterscheidet unter anderem Vergiftung, Umgehung, Angriffe auf die Privatsphäre und Missbrauch. MITRE ATLAS sammelt Techniken von Angreifern auf KI-Systeme in einer öffentlichen Wissensbasis, ergänzt um Fallstudien zu echten Vorfällen.

Ein Teil des Risikos entsteht im eigenen Haus. Bei [Schatten-KI](https://carl-wuerfel.de/glossar/schatten-ki) landen Unternehmensdaten in Diensten, die niemand geprüft hat. Das BSI rät anzunehmen, dass alle Informationen abgegriffen werden können, auf die ein generatives KI-Modell Zugriff hat.

Kapitel 3 von 7

## Red Teaming greift das eigene System an, bevor es andere tun.

NIST beschreibt AI Red Teaming im Profil für generative KI (NIST AI 600-1, Juli 2024) als strukturierte Testübung, die ein KI-System nach Fehlern und Schwachstellen absucht, etwa nach falschen, schädlichen oder diskriminierenden Ausgaben, meist in einer kontrollierten Umgebung und gemeinsam mit den Entwicklern.

Ein Red Team versucht zum Beispiel, das System per Prompt Injection umzulenken, vertrauliche Dokumente herauszulocken, Sicherheitsregeln zu umgehen oder es für Phishing-Texte einzuspannen.

Das BSI empfiehlt, generative KI-Modelle und darauf aufbauende Anwendungen vor der Einführung ausgiebig zu testen und je nach Kritikalität ein Red Teaming durchzuführen, das konkrete Angriffe oder Missbrauch simuliert. Ein Red Teaming ist eine Momentaufnahme: Wechseln Modell, Anweisungen oder Datenquellen, ist sein Ergebnis veraltet.

Kapitel 4 von 7

## Bei KI-Agenten zählen Rechte mehr als Filter.

Prompt Injection lässt sich nach heutigem Stand nicht vollständig verhindern. Davon gehen OWASP und BSI übereinstimmend aus. Wirksam ist deshalb vor allem, den möglichen Schaden zu begrenzen.

Das Risiko wächst mit den Befugnissen. OWASP nennt es Excessive Agency, wenn ein System mehr Funktionen, Rechte oder Selbstständigkeit hat, als seine Aufgabe verlangt. Eine Erweiterung, die E-Mails zusammenfasst, braucht nur Lesezugriff, kein Löschen und keinen Versand.

Daraus folgen wenige Grundsätze. Jedes System bekommt nur die Rechte, die seine Aufgabe erfordert. Folgenreiche Schritte wie Zahlung, Versand oder Löschung gibt ein Mensch frei. Ausgaben werden geprüft, bevor ein anderes System sie weiterverarbeitet, und ein Protokoll hält fest, was das System gelesen und getan hat. [Guardrails](https://carl-wuerfel.de/glossar/guardrails) ergänzen diese Maßnahmen, ersetzen sie aber nicht.

Kapitel 5 von 7

## Der AI Act verlangt Robustheit und Angriffstests.

Artikel 15 der KI-Verordnung (EU) 2024/1689 verlangt für Hochrisiko-KI-Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit. Nach Absatz 5 müssen sie Versuchen unbefugter Dritter widerstehen, Verwendung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern. Genannt sind Maßnahmen gegen manipulierte Trainingsdaten (data poisoning), manipulierte vortrainierte Komponenten (model poisoning), Eingaben, die das Modell zu Fehlern verleiten sollen, und Angriffe auf vertrauliche Daten. Nach dem Digital-Omnibus zu KI, Verordnung (EU) 2026/1744, gilt das ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für solche nach Anhang I.

Artikel 55 verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko seit dem 2. August 2025 zu Modellbewertungen einschließlich dokumentierter Angriffstests und zu angemessener Cybersicherheit.

Wer keine Hochrisiko-Systeme einsetzt und keine solchen Modelle anbietet, ist nicht unmittelbar betroffen. Die Einordnung im Einzelfall gehört zu Fachleuten für IT-Recht.

Kapitel 6 von 7

## Woran man eine gute Umsetzung erkennt.

Am Anfang steht ein Verzeichnis aller KI-Systeme im Haus, mit den Daten, die sie lesen, und den Werkzeugen, die sie bedienen dürfen. Für jedes System klärt eine Bedrohungsanalyse, wer es auf welchem Weg angreifen könnte.

Vor dem Start läuft ein Test mit Angriffen aus den OWASP-Kategorien und Techniken aus MITRE ATLAS, bei kritischen Anwendungen ein Red Teaming mit Fachleuten. Die Befunde stehen in einem Bericht mit Schweregrad, Gegenmaßnahme und Nachtest. Nach jeder Änderung an Modell, [System Prompt](https://carl-wuerfel.de/glossar/system-prompt) oder Datenquellen läuft ein fester Satz von Angriffsfällen erneut, so wie [Evals](https://carl-wuerfel.de/glossar/evals) die fachliche Qualität erneut messen.

Im Betrieb zeigen Protokolle, was ein System gelesen und getan hat. Für Vorfälle ist geklärt, wer abschaltet und wer informiert wird. Mitarbeitende wissen, welche Dienste freigegeben sind; das BSI empfiehlt, sie bei beruflichem Einsatz intensiv zu schulen. Gute Dienstleister planen den Nachtest von Anfang an ein.

Kapitel 7 von 7

## Die Grenze des Begriffs

KI-Sicherheit macht ein System weder fehlerfrei noch rechtskonform. Fachliche Fehler ohne Angreifer misst man mit Evals. Regeln und Zuständigkeiten legt die [KI-Governance](https://carl-wuerfel.de/ki-governance) fest, Fairness und Werte behandelt die [KI-Ethik](https://carl-wuerfel.de/glossar/ki-ethik). Guardrails und Red Teaming sind Bausteine der KI-Sicherheit, nicht der ganze Begriff.

## Häufige Fragen

Was ist KI-Sicherheit?

KI-Sicherheit ist der Schutz vor Schäden durch KI-Systeme und vor Angriffen auf sie. Sie umfasst Safety, also gefährliches Verhalten des Systems selbst, und Security, also Angriffe wie [Prompt Injection](https://carl-wuerfel.de/glossar/prompt-injection) oder Datenabfluss.

Was ist der Unterschied zwischen AI Safety und AI Security?

AI Safety betrifft Schäden, die ein System selbst anrichtet, AI Security betrifft Angriffe auf das System. NIST führt beide als getrennte Merkmale vertrauenswürdiger KI.

Was ist Red Teaming bei KI?

Red Teaming ist ein strukturierter Angriffstest, bei dem ein Team ein KI-System gezielt nach Schwachstellen und schädlichen Ausgaben absucht. Das BSI empfiehlt es je nach Kritikalität vor der Einführung.

Wie oft sollte man ein Red Teaming durchführen?

Mindestens vor dem Start und nach jeder wesentlichen Änderung an Modell, Anweisungen oder Datenquellen. Das BSI rät, Tests periodisch und anlassbezogen zu wiederholen, etwa wenn neue Angriffsmethoden bekannt werden.

Welche Risiken birgt KI für die IT-Sicherheit?

KI schafft neue Angriffsflächen und neue Werkzeuge für Angreifer. Eigene Systeme lassen sich über eingeschleuste Texte, vergiftete Daten oder zu weite Rechte ausnutzen, und NIST prüft auch, ob sich ein System für Phishing-Texte oder Schadcode missbrauchen lässt.

Wie schützt man KI-Systeme vor Angriffen?

Vor allem, indem man den möglichen Schaden begrenzt, denn Prompt Injection lässt sich nach heutigem Stand nicht vollständig verhindern. Dazu gehören enge Rechte, menschliche Freigaben für folgenreiche Schritte, geprüfte Datenquellen, Protokolle und regelmäßige Angriffstests.

Was verlangt der AI Act zur Sicherheit von KI?

Der [AI Act](https://carl-wuerfel.de/ai-act) verlangt Genauigkeit, Robustheit und Cybersicherheit für Hochrisiko-KI-Systeme (Artikel 15) und Angriffstests für KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko (Artikel 55). Die Hochrisiko-Regeln gelten frühestens ab Dezember 2027.

Was ist der Unterschied zwischen KI-Sicherheit und Cybersicherheit?

KI-Sicherheit ergänzt die Cybersicherheit um Risiken, die erst durch Modelle entstehen. Bei Sprachmodellen kann ein gewöhnlicher Text als Anweisung wirken, und manipulierte Trainingsdaten können ein Modell verfälschen.

## Weiter

  * [**KI-Glossar**](https://carl-wuerfel.de/glossar)
  * [**KI-Governance: Regeln, die das System durchsetzt**](https://carl-wuerfel.de/ki-governance)
  * [**Prompt Injection**](https://carl-wuerfel.de/glossar/prompt-injection)
  * [**Guardrails (KI-Leitplanken)**](https://carl-wuerfel.de/glossar/guardrails)
  * [**Evals (KI-Evaluation)**](https://carl-wuerfel.de/glossar/evals)
  * [ Begriff**Schatten-KI**](https://carl-wuerfel.de/glossar/schatten-ki)
  * [ Begriff**KI-Ethik (Responsible AI)**](https://carl-wuerfel.de/glossar/ki-ethik)

## Quellen

  1. [OWASP: Top 10 for LLM Applications, Ausgabe 2025 (englisch)](https://genai.owasp.org/llm-top-10/)
  2. [NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Januar 2023 (englisch)](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf)
  3. [NIST: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, Juli 2024 (englisch)](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf)
  4. [NIST: Adversarial Machine Learning. A Taxonomy and Terminology of Attacks and Mitigations, NIST AI 100-2 E2025, März 2025 (englisch)](https://csrc.nist.gov/pubs/ai/100/2/e2025/final)
  5. [MITRE: ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), Wissensbasis, Stand November 2026 (englisch)](https://atlas.mitre.org/)
  6. [BSI: Generative KI-Modelle. Chancen und Risiken für Industrie und Behörden, 21. Januar 2025](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.html)
  7. [EU: Verordnung (EU) 2024/1689 (KI-Verordnung, AI Act), Art. 15, 55 und 113, 2024](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689)
  8. [EU: Verordnung (EU) 2026/1744 zur Änderung der KI-Verordnung (Digital-Omnibus zu KI), 2026](https://eur-lex.europa.eu/eli/reg/2026/1744/oj/deu)
