KI-Benchmark
Ein KI-Benchmark ist ein standardisierter Testsatz mit festen Aufgaben und einheitlicher Bewertung, mit dem sich KI-Modelle bei einer bestimmten Fähigkeit vergleichen lassen.
Ein Benchmark-Wert ist eine Vorauswahl und kein Eignungsnachweis.
Ein Benchmark funktioniert wie eine Normprüfung. Alle Modelle bekommen dieselben Aufgaben, die Antworten werden nach derselben Regel bewertet, und am Ende steht ein Wert, meist der Anteil richtig gelöster Aufgaben. Weil die Bedingungen gleich sind, lassen sich Modelle verschiedener Anbieter und Versionen nebeneinanderstellen. Ranglisten, englisch Leaderboards, sammeln diese Werte für viele Modelle.
Die meisten Benchmarks prüfen eine eng umrissene Fähigkeit. MMLU fragt Wissen aus 57 Aufgabengebieten ab, GPQA schwere Fragen aus Biologie, Physik und Chemie, SWE-bench das Beheben echter Fehler in Software. Humanity’s Last Exam entstand, weil führende Modelle ältere Tests fast vollständig lösen. Chatbot Arena misst etwas anderes: welche von zwei Antworten Menschen lieber mögen.
Für Führungskräfte ist ein Benchmark-Wert eine Vorauswahl und kein Eignungsnachweis. Er zeigt, wie ein Modell bei einem fremden Aufgabensatz abschneidet. Wie gut es Angebote, Serviceanfragen oder Verträge des eigenen Hauses bearbeitet, zeigt erst ein Test mit eigenen Fällen, ein sogenanntes Eval.
Kapitel 1 von 6
So ist ein Benchmark aufgebaut.
Ein Benchmark besteht aus einem festen Satz von Aufgaben, der hinterlegten richtigen Lösung und einer Regel, nach der Antworten bewertet werden. Bei Multiple-Choice-Fragen wie in MMLU oder GPQA zählt die gewählte Antwort. Bei SWE-bench muss das Modell den Programmcode eines echten Projekts so ändern, dass ein beschriebenes Problem behoben ist; ob das gelingt, prüfen automatische Tests.
Präferenz-Vergleiche arbeiten ohne Musterlösung. Bei Chatbot Arena stellen Nutzer eine eigene Frage, bekommen Antworten von zwei anonymen Modellen und stimmen ab, welche ihnen besser gefällt. Aus vielen solchen Paarvergleichen berechnet die Plattform eine Rangliste; der Aufsatz von 2024 stützte sich auf über 240.000 Stimmen. Die Plattform läuft heute unter dem Namen Arena.
Wie ein Wert zustande kam, verändert ihn. Ob ein Modell einen oder mehrere Versuche hatte, welche Einstellung lief und welche Fassung des Tests verwendet wurde, gehört deshalb zu jeder seriösen Angabe.
Kapitel 2 von 6
Bekannte Benchmarks messen sehr unterschiedliche Dinge.
MMLU (Measuring Massive Multitask Language Understanding) stammt von 2020 und umfasst 57 Aufgabengebiete von Elementarmathematik über US-Geschichte bis Recht, gestellt als Multiple-Choice-Fragen.
GPQA von 2023 besteht aus 448 Multiple-Choice-Fragen, die Fachleute aus Biologie, Physik und Chemie geschrieben haben. Fachleute mit laufender oder abgeschlossener Promotion im jeweiligen Gebiet erreichten 65 Prozent. Versierte Laien kamen trotz durchschnittlich über 30 Minuten freier Websuche nur auf 34 Prozent; daher der Zusatz „Google-proof“.
SWE-bench, ebenfalls von 2023, umfasst 2.294 Aufgaben aus echten Fehlermeldungen und Code-Änderungen in 12 verbreiteten Python-Projekten auf GitHub.
Humanity’s Last Exam enthält 2.500 Fragen aus Dutzenden Fächern, entwickelt von Fachleuten weltweit. Jede hat eine eindeutige, prüfbare Lösung, die sich nicht schnell im Internet nachschlagen lässt. Die Arbeit erschien im Januar 2026 in Nature.
Kapitel 3 von 6
Hohe Werte können täuschen.
Ein Benchmark verliert seine Aussagekraft, sobald die besten Modelle fast alle Aufgaben lösen. Diese Sättigung ist bei MMLU eingetreten: Laut den Autoren von Humanity’s Last Exam erreichen Sprachmodelle dort mehr als 90 Prozent.
Die zweite Gefahr heißt Datenkontamination. Gelangen Testaufgaben oder ihre Lösungen in die Trainingsdaten, misst der Wert teilweise Erinnerung statt Können. Ein Team um Hugh Zhang schrieb 2024 einen neuen Mathematiktest im Stil des verbreiteten Tests GSM8k. Auf den neuen Aufgaben sank die Genauigkeit um bis zu 8 Prozent, und mehrere Modellfamilien zeigten Anzeichen systematischer Überanpassung; bei den führenden Modellen fanden die Forschenden kaum solche Anzeichen.
Drittens entscheiden Hersteller, was sie zeigen. Die Studie „The Leaderboard Illusion“ von 2025 beschreibt, dass einige Anbieter bei Chatbot Arena mehrere Varianten vor der Veröffentlichung privat testen und Ergebnisse zurückziehen konnten. Wer nur den besten Wert veröffentlicht, verzerrt die Rangliste.
Kapitel 4 von 6
Ein guter Ranglistenplatz sagt wenig über den eigenen Einsatz.
MMLU und GPQA stellen ihre Fragen auf Englisch und prüfen Fachwissen auf Hochschulniveau. Ob ein Modell deutsche Kundenanfragen mit den Fachbegriffen der eigenen Branche richtig beantwortet, misst keiner der beiden. Ein Gesamtwert über viele Aufgaben kann außerdem Schwächen in genau dem Aufgabentyp verdecken, auf den es ankommt.
Präferenz-Ranglisten haben eine eigene Grenze. Sie zeigen, welche Antwort Menschen lieber lesen, aber nicht, ob sie fachlich stimmt. Eine flüssige, selbstsichere Antwort kann gewinnen und trotzdem falsch sein.
Kosten je Anfrage, Antwortzeit, Datenschutz und die Verlässlichkeit des Anbieters tauchen in keinem dieser Werte auf. Für ein Unternehmen entscheiden sie oft mit.
Kapitel 5 von 6
Die Entscheidung fällt mit einem Test aus dem eigenen Betrieb.
Öffentliche Werte eignen sich, um aus vielen Modellen zwei oder drei Kandidaten auszuwählen. Entscheiden sollte ein eigener Test, ein Eval. Dafür sammelt ein Unternehmen echte, anonymisierte Vorgänge, etwa Kundenanfragen oder Vertragsprüfungen, und hinterlegt zu jedem die richtige Antwort. Kriterien und Gewichtung stehen vor dem Testlauf fest. Alle Kandidaten laufen gegen denselben Testsatz, gemessen werden neben der Qualität auch Kosten und Antwortzeit. Bei jedem Modellwechsel läuft der Testsatz erneut.
Auch das Recht kennt Modellbewertungen. Nach Artikel 55 Absatz 1 Buchstabe a der KI-Verordnung (EU) 2024/1689 müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko eine Modellbewertung mit standardisierten Protokollen und Instrumenten nach dem Stand der Technik durchführen. Anhang XI verlangt von ihnen, ihre Bewertungsstrategien samt Ergebnissen zu beschreiben. Diese Pflicht trifft die Modellanbieter. Den Test mit den eigenen Fällen ersetzt sie für ein Unternehmen, das ein solches Modell einsetzt, nicht.
Kapitel 6 von 6
Die Grenze des Begriffs
Ein Benchmark misst ein Modell zu einem Zeitpunkt auf einem fremden Aufgabensatz; er belegt weder die Eignung für eine bestimmte Aufgabe noch die Sicherheit oder Rechtskonformität eines Systems. Evals sind die eigenen Tests eines Unternehmens mit Fällen aus dem Betrieb. Hardware-Benchmarks messen Rechengeschwindigkeit statt Modellfähigkeiten. Werbung mit Benchmark-Werten ohne Test, Version und Datum rückt in die Nähe von AI Washing.
Häufige Fragen
Was ist ein KI-Benchmark?
Ein KI-Benchmark ist ein standardisierter Test, mit dem sich KI-Modelle bei einer bestimmten Fähigkeit vergleichen lassen. Alle Modelle lösen dieselben Aufgaben, und die Antworten werden nach derselben Regel bewertet. Das Ergebnis ist meist der Anteil richtig gelöster Aufgaben.
Welche KI-Benchmarks gibt es?
Bekannte Benchmarks für Sprachmodelle sind MMLU für breites Fachwissen, GPQA für schwere naturwissenschaftliche Fragen, SWE-bench für das Beheben von Softwarefehlern und Humanity’s Last Exam für Fragen auf Expertenniveau. Chatbot Arena vergleicht Modelle über die Urteile von Nutzern.
Wie vergleicht man KI-Modelle für das eigene Unternehmen?
Am verlässlichsten mit einem eigenen Test aus echten Vorgängen des Betriebs. Öffentliche Benchmarks helfen bei der Vorauswahl von zwei oder drei Kandidaten, die dann gegen denselben Testsatz laufen. Bewertet werden Qualität, Kosten und Antwortzeit nach vorher festgelegten Kriterien.
Sind KI-Benchmarks aussagekräftig?
Für die Fähigkeit, die sie messen, ja, für den Einsatz im eigenen Unternehmen aber nur begrenzt. Sättigung, Datenkontamination und die Auswahl veröffentlichter Werte können Ergebnisse verzerren. Jeder Wert ist eine Momentaufnahme einer bestimmten Modellversion.
Was ist der Unterschied zwischen einem Benchmark und einem Eval?
Ein Benchmark ist ein öffentlicher, standardisierter Test, ein Eval der eigene Test eines Unternehmens mit Fällen aus dem Betrieb. Der Benchmark macht Modelle allgemein vergleichbar. Das Eval zeigt, ob ein Modell die konkrete Aufgabe gut genug erledigt.
Was bedeutet Datenkontamination bei KI-Benchmarks?
Datenkontamination heißt, dass Testaufgaben oder ihre Lösungen in die Trainingsdaten eines Modells gelangt sind. Der Wert misst dann teilweise Erinnerung statt Fähigkeit. Neu geschriebene, vergleichbare Aufgaben machen das sichtbar, weil die Ergebnisse dort sinken.
Wo findet man aktuelle KI-Ranglisten?
Aktuelle Werte veröffentlichen die Modellanbieter bei neuen Modellen, die Betreiber einzelner Benchmarks auf ihren Websites und Plattformen wie Arena, früher Chatbot Arena. Zu jedem Wert gehören Datum, Modellversion und Testeinstellungen. Ohne diese Angaben lässt er sich nicht einordnen.
Quellen
- Dan Hendrycks u. a.: Measuring Massive Multitask Language Understanding (MMLU), ICLR 2021 (englisch)
- David Rein u. a.: GPQA: A Graduate-Level Google-Proof Q&A Benchmark, November 2023 (englisch)
- Carlos E. Jimenez u. a.: SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, ICLR 2024 (englisch)
- Center for AI Safety, Scale AI u. a.: A benchmark of expert-level academic questions to assess AI capabilities (Humanity’s Last Exam), Nature 649, 28. Januar 2026 (englisch)
- Wei-Lin Chiang u. a.: Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference, ICML 2024 (englisch)
- Hugh Zhang u. a.: A Careful Examination of Large Language Model Performance on Grade School Arithmetic, 2024 (englisch)
- Shivalika Singh u. a.: The Leaderboard Illusion, April 2025 (englisch)
- Europäische Union: Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 55 und Anhang XI, 2024