SWE-bench y compañía: cómo leer bien los benchmarks de agentes

SWE-bench, SWE-bench Verified, Terminal-Bench: qué prueban en concreto estos benchmarks de agentes, cómo se obtienen sus cifras y dónde están sus límites.

Qué mide SWE-bench

SWE-bench es una prueba para agentes de código con IA basada en problemas reales de GitHub ya resueltos. Para cada tarea, el agente recibe una descripción de error real de un proyecto de código abierto junto con el código correspondiente, y debe escribir una solución adecuada. Si la solución es correcta lo comprueban tests automáticos del propio proyecto; nadie la evalúa a mano.

Por qué surgió SWE-bench Verified

Las tareas originales de SWE-bench tenían puntos débiles: algunas descripciones de error eran demasiado imprecisas para adivinar la solución con claridad, y algunos tests eran demasiado estrictos o injustos. Por eso, OpenAI, junto con los creadores de SWE-bench, seleccionó 500 tareas especialmente revisadas, cada una comprobada a mano por desarrolladores reales: SWE-bench Verified se considera hoy la variante más fiable.

Terminal-Bench: la línea de comandos como campo de pruebas

Terminal-Bench comprueba algo parecido, pero más amplio: ¿puede un agente resolver tareas de forma autónoma directamente en la terminal, como compilar código, configurar un servidor o entrenar un modelo? Aquí también solo cuenta si la tarea funciona de verdad al final.

Lo que estas cifras NO muestran

Un porcentaje alto es válido exactamente para ese tipo de tareas, no automáticamente para tu propio proyecto. Cómo interpretar en general las cifras de un benchmark se profundiza en el capítulo "Cómo leer benchmarks sin caer en la trampa".

EJEMPLO

Cómo leer una entrada del leaderboard: "Modelo X – 75,6 % en SWE-bench Verified". Esto significa en concreto: de 500 tareas reales de corrección de errores de GitHub, revisadas a mano, de doce proyectos de Python conocidos, el modelo superó los tests automáticos del proyecto correspondiente en unas 378, no el 75,6 % de todas las tareas de programación imaginables.

🛠️ EJERCICIO — PRUÉBALO TÚ

Analiza de forma crítica una entrada actual del leaderboard de SWE-bench Verified o Terminal-Bench, en lugar de leerla solo como una clasificación.

Abre https://www.swebench.com/ o https://www.tbench.ai/ y elige un modelo con una posición alta.
Averigua cuántas tareas tiene el benchmark correspondiente y de qué tipo son.
Piensa en concreto: ¿qué características de tu propio proyecto (lenguaje, tamaño, antigüedad del código) no aparecen en el benchmark?
Formula una frase sobre lo que realmente indica el porcentaje, y lo que no indica.

✅ AUTOEVALUACIÓN

☐ ¿Puedes explicar de dónde vienen las tareas de SWE-bench y cómo se evalúan de forma automática?
☐ ¿Sabes por qué SWE-bench Verified se considera más fiable que el conjunto de datos original?
☐ ¿Has señalado una diferencia concreta entre las tareas del benchmark y tu propio proyecto?

QUIZ RÁPIDO

¿Qué diferencia a SWE-bench Verified del conjunto de datos original de SWE-bench?