Benchmarks

SWE-bench (+Verified/Pro)

Testet, ob ein KI-Agent echte GitHub-Probleme löst, indem er einen Patch schreibt, der die versteckten Tests des Repos besteht.

Ursprünglich Princeton & Stanford; die Verified-Variante wurde mit OpenAI kuratiert, die Pro-Variante betreibt Scale AI.

⚠️ Unabhängige Audits fanden Lösungen, die im Issue-Thread schon verraten waren, und zu schwache Tests – und für SWE-bench Pro kursieren mehrere widersprüchliche „offizielle“ Werte, je nachdem welches Scaffold und welcher Datensplit benutzt wurde.

Terminal-Bench

Prüft, ob ein Agent echte Mehrschritt-Aufgaben im Terminal löst, bei denen jede Befehlsausgabe die nächste Entscheidung verändert.

Stanford x Laude (Anthropic-nah), Teil des offenen „Harbor“-Frameworks.

Aider Polyglot

Testet, ob ein Modell Anweisungen befolgt und Code ohne Hilfe korrekt bearbeitet – über Programmierübungen in mehreren Sprachen hinweg.

Wird von Paul Gauthier betrieben, dem Aider-Ersteller – nicht von einem Labor oder Konsortium.

⚠️ Das Leaderboard wird nicht bei jedem neuen Modell aktualisiert – es kann monatelang veraltete Modelle oben zeigen, einfach weil neuere noch nicht getestet wurden.

LiveCodeBench

Testet Code-Generierung, Selbstkorrektur, Vorhersage von Test-Output und Code-Ausführung – mit laufend neuen Wettbewerbsaufgaben, damit alte Aufgaben nicht ins Training durchsickern können.

Forscher von UC Berkeley, MIT und Cornell (Leitung: Naman Jain).

LMArena Code Arena / WebDev Arena

Misst menschliche Präferenz statt Korrektheit: Echte Nutzer stimmen blind ab, welche von zwei Modell-Ausgaben (Code oder Web-App) ihnen besser gefällt.

Arena.ai (das LMArena- bzw. LMSYS-Projekt).

⚠️ Eine große Analyse von Anbieter-Einreichungen zeigte: Wer gezielt nur die beste Variante einreicht, kann den eigenen Score spürbar aufblähen.

HumanEval

Testet funktionale Korrektheit auf handgeschriebenen Python-Aufgaben, indem der generierte Code tatsächlich gegen Unit-Tests ausgeführt wird.

Erstellt von OpenAI-Forschern (Chen, Tworek, Jun u. a.).

⚠️ Gesättigt: Fast alle Spitzenmodelle liegen ganz oben dicht beieinander, der Benchmark unterscheidet sie kaum noch. Dient nur noch als Mindest-Check, nicht zum Ranking von Spitzenmodellen.

Artificial Analysis Coding Agent Index

Ein zusammengesetzter Score für End-to-End-Leistung von Coding-Agenten – kombiniert mehrere Basis-Benchmarks plus Kosten-, Token- und Zeit-Effizienz zu einem Index.

Betrieben von Artificial Analysis, einem unabhängigen Benchmarking-Anbieter.

⚠️ Bewertet Modell und Agent-Harness zusammen als Paar – dasselbe Modell kann je nach Scaffold sehr unterschiedlich abschneiden.

ARC-AGI-2

Testet abstraktes, flexibles Schlussfolgern anhand visueller Grid-Transformations-Rätsel, plus wie effizient (zu welchen Kosten) ein Modell sie löst. Kein Coding-Benchmark im engeren Sinn.

Betrieben von ARC Prize Inc., einer Non-Profit-Organisation (hält Testdaten privat bzw. halb-privat, um Kontamination zu verhindern).

MMLU / MMLU-Pro

Testet Allgemeinwissen und logisches Schlussfolgern mit Multiple-Choice-Fragen aus vielen akademischen Fachbereichen. Kein Coding-Benchmark.

Ursprünglich von Hendrycks und Kollegen (UC-Berkeley-nahe Forscher).

⚠️ Gesättigt: Spitzenmodelle liegen zu eng beieinander, um sie zu unterscheiden. MMLU-Pro wurde gebaut, um das zu beheben, gilt aber bereits als beginnend zu sättigen.

METR „Time Horizon“

Misst, wie lange eine Aufgabe (in menschlicher Experten-Arbeitszeit) ein Agent selbstständig durchhält, bei einer festen Zuverlässigkeits-Schwelle – als Trendlinie über die Zeit, nicht als einzelner Score.

Betrieben von METR, einer unabhängigen Non-Profit-Organisation für KI-Evaluierung.

⚠️ METR selbst warnt, dass Messungen für sehr lange Aufgaben mit der aktuellen Aufgaben-Sammlung unzuverlässig werden – als Trendlinie lesen, nicht als exakte Grenze.

Frontier-Bench

Testet KI-Agenten an einem breiten, bewusst schwierigen und laufend erweiterten Aufgaben-Set aus der realen Agenten-Arbeit (u. a. Programmieraufgaben), ausgeführt in einer Sandbox-Umgebung – ständiger Nachschub an neuen Aufgaben soll verhindern, dass der Benchmark durchs Training kontaminiert oder gesättigt wird.

Nachfolgeprojekt von Terminal-Bench, betrieben vom selben Team rund um das offene „Harbor“-Framework (Laude Institute, Stanford-nah).

⚠️ Sehr junger, sich laufend weiterentwickelnder Datensatz – weil ständig neue Aufgaben ergänzt werden, sind Ergebnisse von unterschiedlichen Zeitpunkten nicht direkt vergleichbar. Das Leaderboard bewertet außerdem Modell und Agent-Harness (z. B. Claude Code, Codex, mini-SWE-agent) gemeinsam als Paar – dasselbe Modell kann je nach Scaffold sehr unterschiedlich abschneiden.

GDPval-AA

Testet KI-Modelle an realitätsnahen Wissensarbeits-Aufgaben aus zahlreichen Berufen und Branchen (etwa juristische Schriftsätze, technische Zeichnungen oder Finanzunterlagen) – aufbauend auf OpenAIs GDPval-Datensatz. Modelle erhalten in einem agentischen Loop Shell- und Web-Zugriff; ein LLM-Richter vergleicht zwei anonymisierte Modell-Ausgaben im direkten Duell, woraus eine an menschlicher Expertenleistung verankerte Elo-Wertung entsteht.

Betrieben von Artificial Analysis, aufbauend auf dem von OpenAI gemeinsam mit Branchenexperten entwickelten GDPval-Aufgabenset.

⚠️ Die Bewertungsmethode weicht von OpenAIs eigener GDPval-Studie ab: Dort urteilten menschliche Branchenexperten, hier vergleicht ein LLM anonymisierte Paare – die Ergebnisse sind daher nicht direkt mit OpenAIs eigenen GDPval-Zahlen vergleichbar. Zudem handelt es sich um Ein-Schuss-Aufgaben ohne mehrere Überarbeitungsrunden, was reale Wissensarbeit laut OpenAI selbst nur unvollständig abbildet.

GPQA / GPQA Diamond

Multiple-Choice-Fragen auf Doktorandenniveau in Biologie, Chemie und Physik, geschrieben und geprüft von Fachexperten – so schwer, dass selbst kompetente Nicht-Experten mit uneingeschränktem Internetzugang meist an ihnen scheitern (daher „Google-proof“). „GPQA Diamond“ ist eine kleinere, noch strenger gefilterte Teilmenge, bei der beide Fachgutachter unabhängig die richtige Antwort fanden und die Mehrheit der Nicht-Experten falsch lag – diese härtere Variante wird in Leaderboards meist zitiert, oft ohne das ausdrücklich zu kennzeichnen.

Erstellt von einem Forschungsteam um David Rein und Samuel Bowman, größtenteils an der New York University.

⚠️ Anbieter nennen oft nur „GPQA“, ohne zu spezifizieren, ob das volle Set oder die kleinere, schwerere Diamond-Teilmenge gemeint ist – die Werte sind dann nicht vergleichbar. Weil der Datensatz samt Lösungen öffentlich zugänglich ist, betten die Autoren einen Canary-String ein, um Kontamination durchs Modelltraining zumindest zu erkennen – ausschließen lässt sie sich damit nicht.

BrowseComp

Testet, ob ein KI-Agent schwer auffindbare, aber eindeutig überprüfbare Fakten im offenen Web aufspürt: kurze Fragen mit genau einer korrekten, kurzen Antwort, die absichtlich so konstruiert sind, dass eine einfache Suche nicht reicht – verifiziert dadurch, dass die zum Erstellungszeitpunkt stärksten verfügbaren Modelle die Fragen nicht lösen konnten.

Veröffentlicht von OpenAI, Datensatz offen im simple-evals-Repository.

⚠️ OpenAI weist selbst darauf hin, dass der Fokus auf kurzen, eindeutigen Antworten unklar lässt, wie gut das Ergebnis auf echte, offene Rechercheanfragen übertragbar ist – lange, mehrdeutige oder freitextliche Aufgaben deckt der Benchmark nicht ab. Selbst menschliche Tester, die die Fragen zur Verifikation bearbeiteten, konnten dabei nur einen kleinen Teil der Aufgaben lösen.