Evals (KI-Evaluation)

Herkömmliche Software liefert auf dieselbe Eingabe dieselbe Ausgabe, und ein Test prüft genau das. Sprachmodelle antworten auf dieselbe Frage oft unterschiedlich, und eine Antwort kann flüssig klingen und trotzdem falsch sein. Evals, kurz für Evaluations, übertragen das Testen auf diese Lage. Ein Satz von Prüffällen mit erwarteten Ergebnissen läuft gegen das System, und festgelegte Maßstäbe bewerten die Antworten: per Programmregel, durch Menschen oder durch ein zweites Modell. OpenAI beschreibt Evals als strukturierte Tests, die trotz des nicht deterministischen Verhaltens von KI-Systemen Genauigkeit und Verlässlichkeit sichern sollen.

Evals sind keine Benchmarks. Ein Benchmark vergleicht Modelle auf einer öffentlichen, standardisierten Aufgabensammlung. Eine Eval im Unternehmen prüft die eigene Aufgabe mit eigenen Fällen: Fachbegriffe, Formate, Sonderfälle und Qualitätsansprüche des Betriebs. Ein Modell kann in Benchmarks vorne liegen und an der eigenen Aufgabe trotzdem scheitern.

Für Führungskräfte sind Evals das Mittel, KI-Qualität zu belegen statt zu behaupten. Sie beantworten Fragen wie: Ist das neue Modell für diese Aufgabe mindestens so gut wie das alte? Hat die geänderte Anweisung etwas verschlechtert? Ohne Evals beruht jede dieser Entscheidungen auf dem Eindruck einzelner Tester.

So funktionieren Evals im Kern.

Eine Eval besteht aus drei Teilen. Der Testsatz enthält Eingaben aus der echten Aufgabe, jeweils mit dem erwarteten Ergebnis oder mit Kriterien, die eine gute Antwort erfüllen muss. Oft heißt er Golden Set. Der Bewertungsmaßstab legt fest, was als bestanden gilt. Die Auswertung fasst die Einzelurteile zu Kennzahlen zusammen, etwa dem Anteil richtiger Antworten oder der Zahl der Antworten mit erfundenen Angaben.

Anthropic nennt in seiner Dokumentation drei Grundsätze für den Entwurf. Die Eval soll die echte Verteilung der Aufgaben abbilden und Grenzfälle einschließen. Sie soll möglichst automatisch bewertbar sein. Und viele Prüffälle mit etwas schwächerem Signal sind besser als wenige, aufwendig von Hand bewertete. Als Grenzfälle nennt die Dokumentation unter anderem fehlende oder irrelevante Eingaben, sehr lange Eingaben und mehrdeutige Fälle, bei denen selbst Menschen kein einheitliches Urteil finden.

Erfolgskriterien müssen konkret und messbar sein. „Gute Antworten“ ist kein Kriterium. „Die Antwort nennt die richtige Vertragsart und zitiert die passende Klausel“ ist eines. Die meisten Aufgaben brauchen mehrere Kriterien zugleich, etwa sachliche Richtigkeit, Ton, Umgang mit personenbezogenen Daten, Antwortzeit und Kosten.

Wer prüft: Regel, Mensch oder Modell.

Für die Bewertung gibt es drei Wege, die Anthropic in seiner Dokumentation gegenüberstellt. Programmregeln sind am schnellsten und verlässlichsten: Stimmt die Antwort exakt mit der erwarteten überein, enthält sie ein bestimmtes Stichwort, hat sie das richtige Format? Für Aufgaben mit eindeutiger Lösung, etwa die Einordnung in feste Kategorien, reichen sie oft aus. Für Urteile, die Abwägung verlangen, sind sie zu starr.

Menschliche Prüfer sind am flexibelsten und liefern die höchste Qualität, sind aber langsam und teuer. Sie brauchen klare Bewertungsbögen, sonst beurteilen zwei Fachleute dieselbe Antwort unterschiedlich.

Der dritte Weg ist ein Sprachmodell als Prüfer, englisch LLM-as-a-Judge. Es bewertet Antworten anhand eines Bewertungsbogens, schnell und in großer Zahl. Die Dokumentation rät zu klaren Bewertungsbögen, zu einem eindeutigen Urteil wie „richtig“ oder „falsch“ oder einer Note von 1 bis 5 und dazu, das Prüfermodell vor dem Urteil begründen zu lassen. Vor allem soll seine Verlässlichkeit geprüft werden, bevor es im großen Stil eingesetzt wird. In der Praxis werden die Wege kombiniert: Regeln für das Eindeutige, ein Prüfermodell für die Masse, Menschen für Stichproben und strittige Fälle.

LLM-as-a-Judge hat bekannte Schwächen.

Ein Modell als Prüfer ist nicht neutral. Lianmin Zheng und Koautoren haben 2023 untersucht, wie gut Sprachmodelle die Antworten anderer Modelle bewerten, mit den 80 mehrstufigen Fragen des Testsatzes MT-Bench und mit Abstimmungen von Nutzern der Plattform Chatbot Arena. Starke Modelle stimmten in über 80 Prozent der Fälle mit menschlichen Präferenzen überein, etwa so oft wie Menschen untereinander. Die Studie beschreibt aber auch systematische Verzerrungen: Die zuerst gezeigte Antwort wird bevorzugt, ausführlichere Antworten werden besser bewertet, auch wenn sie nicht besser sind, und ein Modell bewertet eigene Antworten günstiger. Hinzu kommt begrenztes Urteilsvermögen bei Rechen- und Logikaufgaben.

Daraus folgen Regeln für den Einsatz. Beim Vergleich zweier Antworten wird die Reihenfolge vertauscht, und das Urteil zählt nur, wenn es in beiden Durchläufen gleich ausfällt. Das Prüfermodell sollte möglichst nicht dasselbe sein wie das geprüfte. Und seine Urteile werden regelmäßig mit menschlichen Urteilen zu einer Stichprobe abgeglichen. OpenAI empfiehlt in seiner Dokumentation ebenfalls, die Übereinstimmung eines Prüfermodells mit menschlichen Bewertungen zu messen, bevor man ihm vertraut.

Bei jeder Änderung läuft der Testsatz erneut.

Evals sind kein einmaliger Test vor dem Start. Sprachmodelle ändern sich, auch wenn ihr Name gleich bleibt. Lingjiao Chen, Matei Zaharia und James Zou haben 2023 die Fassungen von GPT-4 aus März und Juni 2023 an denselben Aufgaben verglichen. Ihr Befund: Das Verhalten desselben Dienstes kann sich in kurzer Zeit erheblich ändern. Bei der Erkennung von Primzahlen sank die Genauigkeit von GPT-4 in ihren Tests von 84 auf 51 Prozent. Ihre Folgerung: Sprachmodelle müssen fortlaufend überwacht werden.

Dazu kommen eigene Änderungen: eine überarbeitete Anweisung, neue Dokumente in der Wissensbasis, ein günstigeres Modell. Jede davon kann Fälle verschlechtern, die vorher funktionierten. Ein Regressionstest fängt das ab. Der gesamte Testsatz läuft gegen die alte und die neue Fassung, und umgestellt wird erst, wenn die neue in den wichtigen Kriterien mindestens gleichauf liegt.

OpenAI nennt das Continuous Evaluation: Evals laufen bei jeder Änderung, Fälle aus dem Betrieb, an denen das System gescheitert ist, kommen in den Testsatz, und der Testsatz wächst mit der Zeit. Das NIST AI Risk Management Framework formuliert den Grundsatz allgemeiner: KI-Systeme sollen vor dem Einsatz und regelmäßig im Betrieb getestet werden.

Was Evals kosten und wovon das abhängt.

Der größte Posten bei Evals ist Arbeitszeit, nicht Rechenleistung. Am aufwendigsten ist der erste Testsatz: Fachleute wählen echte Fälle aus, legen die richtigen Ergebnisse fest und formulieren Kriterien so, dass zwei Prüfer zum selben Urteil kommen. Diese Arbeit lässt sich nicht an die IT abgeben, weil nur der Fachbereich weiß, was eine richtige Antwort ist.

Die laufenden Kosten hängen von drei Größen ab: der Zahl der Prüffälle, der Häufigkeit der Durchläufe und dem Anteil menschlicher Bewertung. Programmregeln kosten fast nichts. Ein Prüfermodell verursacht je bewerteter Antwort einen weiteren Modellaufruf. Menschliche Stichproben kosten Arbeitszeit, bleiben aber nötig, um das Prüfermodell zu kontrollieren.

Für die technische Umsetzung gibt es Frameworks und Dienste. OpenAI hat 2023 mit OpenAI Evals ein quelloffenes Framework samt einer Sammlung von Testaufgaben veröffentlicht. Die gehostete Evals-Plattform in seinem Entwicklerportal stellt OpenAI dagegen ein: Sie ist nach Angaben von OpenAI seit dem 31. Oktober 2026 schreibgeschützt und soll am 30. November 2026 abgeschaltet werden (Stand November 2026). Testsätze und Kriterien gehören deshalb in eine Form, die das Unternehmen selbst besitzt und mit jedem Werkzeug weiterverwenden kann.

Woran man gute Evals erkennt.

Gute Evals haben wenige, klare Merkmale. Die Prüffälle stammen aus der echten Arbeit und schließen schwierige und seltene Fälle ein. Für jedes Kriterium ist schriftlich festgelegt, was als bestanden gilt. Die Ergebnisse sind je Version dokumentiert, sodass sich nachvollziehen lässt, welche Fassung wann mit welchem Ergebnis geprüft wurde.

Bei Agenten, die mehrere Schritte selbst ausführen, reicht der Blick auf das Endergebnis nicht. Geprüft wird auch der Weg: welche Werkzeuge der Agent aufgerufen hat, mit welchen Angaben, und ob er an der richtigen Stelle angehalten hat. Ein richtiges Ergebnis auf einem riskanten Weg ist ein Befund.

Warnsignale sind ein einziger Gesamtwert ohne Aufschlüsselung nach Kriterien, ein Testsatz, der seit der Einführung nicht gewachsen ist, und ein Prüfermodell, dessen Urteile nie mit Menschen abgeglichen wurden. Ein weiteres Warnsignal: Derselbe Testsatz dient zum Verfeinern der Anweisung und zur Freigabe. Wer die Anweisung so lange anpasst, bis genau diese Fälle bestehen, misst am Ende die Anpassung und nicht die Qualität. Ein Teil der Fälle wird deshalb zurückgehalten und nur für die Freigabe genutzt.

Die Grenze des Begriffs

Evals messen nur, was im Testsatz steht; für fehlende Aufgaben und Fälle sagt ein gutes Ergebnis nichts. Sie belegen keine Fehlerfreiheit und ersetzen weder die Prüfung des einzelnen Ergebnisses noch Sicherheitstests gegen gezielte Angriffe. Abzugrenzen sind sie von Benchmarks, den öffentlichen Vergleichstests für Modelle, von Prompt Engineering, dessen Wirkung sie messen, und von der Auswertung mit KI, etwa einer Stimmungsanalyse, bei der KI das Werkzeug ist und nicht der Prüfgegenstand.