SWE-bench & Co.: Agenten-Benchmarks richtig lesen

SWE-bench, SWE-bench Verified, Terminal-Bench: Was diese Agenten-Benchmarks konkret testen, wie ihre Zahlen entstehen – und wo ihre Grenzen liegen.

Was SWE-bench misst

SWE-bench ist ein Test für KI-Coding-Agenten, der auf echten, bereits gelösten GitHub-Problemen basiert. Für jede Aufgabe bekommt der Agent eine reale Fehlerbeschreibung aus einem Open-Source-Projekt plus den zugehörigen Code – und soll eine passende Lösung schreiben. Ob die Lösung stimmt, prüfen automatische Tests aus dem Projekt selbst, kein Mensch bewertet von Hand.

Warum SWE-bench Verified entstand

Die ursprünglichen SWE-bench-Aufgaben hatten Schwächen: Manche Fehlerbeschreibungen waren zu ungenau, um die Lösung eindeutig zu erraten, manche Tests zu streng oder unfair. OpenAI hat deshalb gemeinsam mit den SWE-bench-Macher:innen 500 besonders geprüfte Aufgaben ausgewählt, jede von echten Entwickler:innen von Hand kontrolliert – SWE-bench Verified gilt heute als die verlässlichere Variante.

Terminal-Bench: die Kommandozeile als Testfeld

Terminal-Bench prüft etwas Ähnliches, aber breiter angelegt: Kann ein Agent eigenständig Aufgaben direkt im Terminal lösen – Code kompilieren, einen Server aufsetzen, ein Modell trainieren? Auch hier zählt nur, ob die Aufgabe am Ende tatsächlich funktioniert.

Was diese Zahlen NICHT zeigen

Ein hoher Prozentwert gilt für genau diese Aufgabentypen – nicht automatisch für dein eigenes Projekt. Wie man Benchmark-Zahlen generell einordnet, vertieft das Kapitel "Benchmarks lesen, ohne reinzufallen".

BEISPIEL

Leaderboard-Eintrag lesen: "Modell X – 75,6 % auf SWE-bench Verified". Das heißt konkret: Von 500 handgeprüften, echten GitHub-Bugfix-Aufgaben aus zwölf bekannten Python-Projekten hat das Modell rund 378 durch die automatischen Tests des jeweiligen Projekts bestanden – nicht 75,6 % aller denkbaren Programmieraufgaben.

🛠️ ÜBUNG — MACH DAS BEI DIR

Analysiere einen aktuellen SWE-bench-Verified- oder Terminal-Bench-Leaderboard-Eintrag kritisch statt ihn nur als Rangliste zu lesen.

Öffne https://www.swebench.com/ oder https://www.tbench.ai/ und such dir ein Modell mit hoher Platzierung aus.
Finde heraus, aus wie vielen und welcher Art Aufgaben der jeweilige Benchmark besteht.
Überlege konkret: Welche Eigenschaften deines eigenen Projekts (Sprache, Größe, Alter des Codes) kommen im Benchmark nicht vor?
Formuliere einen Satz, was der Prozentwert wirklich aussagt – und was nicht.

✅ SELBST-CHECK

☐ Kannst du erklären, woher die Aufgaben in SWE-bench stammen und wie sie automatisch bewertet werden?
☐ Weißt du, warum SWE-bench Verified als verlässlicher gilt als der ursprüngliche Datensatz?
☐ Hast du einen konkreten Unterschied zwischen Benchmark-Aufgaben und deinem eigenen Projekt benannt?

KURZ-QUIZ

Was unterscheidet SWE-bench Verified vom ursprünglichen SWE-bench-Datensatz?