Benchmarks

SWE-bench (+Verified/Pro)

Prueba si un agente de IA resuelve problemas reales de GitHub escribiendo un parche que pasa la suite de tests ocultos del repositorio.

Originalmente de Princeton y Stanford; la variante Verified se curó con OpenAI, y la variante Pro la gestiona Scale AI.

⚠️ Auditorías independientes encontraron soluciones que ya se filtraban en el propio hilo del issue, y tests demasiado débiles; y para SWE-bench Pro circulan varios valores "oficiales" contradictorios, según qué scaffold y qué división de datos se use.

Terminal-Bench

Comprueba si un agente resuelve tareas reales de varios pasos en la terminal, donde cada salida de comando cambia la siguiente decisión.

Stanford x Laude (cercano a Anthropic), parte del framework abierto "Harbor".

Aider Polyglot

Prueba si un modelo sigue instrucciones y edita código correctamente sin ayuda, a través de ejercicios de programación en varios lenguajes.

Lo gestiona Paul Gauthier, el creador de Aider, no un laboratorio ni un consorcio.

⚠️ El leaderboard no se actualiza con cada modelo nuevo: puede mostrar modelos desactualizados en lo más alto durante meses, simplemente porque los más recientes todavía no se han probado.

LiveCodeBench

Prueba la generación de código, la autocorrección, la predicción del resultado de tests y la ejecución de código, con problemas de programación competitiva que se renuevan continuamente para que los antiguos no se filtren al entrenamiento.

Investigadores de UC Berkeley, MIT y Cornell (dirigido por Naman Jain).

LMArena Code Arena / WebDev Arena

Mide la preferencia humana, no la corrección: usuarios reales votan a ciegas cuál de dos respuestas de modelos (código o web-app) les gusta más.

Arena.ai (el proyecto LMArena / LMSYS).

⚠️ Un gran análisis de los envíos de los proveedores mostró que, si solo se envía deliberadamente la mejor variante, se puede inflar notablemente la puntuación propia.

HumanEval

Prueba la corrección funcional en problemas de Python escritos a mano, ejecutando de verdad el código generado contra tests unitarios.

Creado por investigadores de OpenAI (Chen, Tworek, Jun y otros).

⚠️ Saturado: casi todos los modelos punteros quedan muy juntos en lo más alto, el benchmark apenas los distingue ya. Solo sirve como comprobación mínima, no para clasificar modelos de vanguardia.

Artificial Analysis Coding Agent Index

Una puntuación compuesta para el rendimiento de extremo a extremo de agentes de programación: combina varios benchmarks base más la eficiencia de coste, tokens y tiempo en un solo índice.

Lo gestiona Artificial Analysis, un proveedor independiente de benchmarking.

⚠️ Evalúa el modelo y el harness del agente juntos, como un par: el mismo modelo puede rendir de forma muy distinta según el scaffold.

ARC-AGI-2

Prueba el razonamiento abstracto y flexible mediante rompecabezas visuales de transformación de cuadrículas, además de con cuánta eficiencia (a qué coste) los resuelve un modelo. No es un benchmark de programación en sentido estricto.

Lo gestiona ARC Prize Inc., una organización sin ánimo de lucro (mantiene los datos de test privados o semiprivados para evitar la contaminación).

MMLU / MMLU-Pro

Prueba conocimientos generales y razonamiento lógico con preguntas de opción múltiple de muchas disciplinas académicas. No es un benchmark de programación.

Creado originalmente por Hendrycks y colegas (investigadores cercanos a UC Berkeley).

⚠️ Saturado: los modelos punteros quedan demasiado juntos como para distinguirlos. MMLU-Pro se creó para solucionar esto, pero ya se considera que también empieza a saturarse.

METR "Time Horizon"

Mide cuánto tiempo (en horas de trabajo de un experto humano) puede sostener un agente una tarea de forma autónoma, con un umbral de fiabilidad fijo; como una línea de tendencia a lo largo del tiempo, no como una puntuación única.

Lo gestiona METR, una organización sin ánimo de lucro independiente dedicada a la evaluación de IA.

⚠️ El propio METR advierte de que las mediciones para tareas muy largas se vuelven poco fiables con la colección de tareas actual: hay que leerlo como una línea de tendencia, no como un límite exacto.

Frontier-Bench

Prueba a agentes de IA con un conjunto de tareas amplio, deliberadamente difícil y en constante expansión, tomado del trabajo agéntico real (incluidas tareas de programación), ejecutado en un entorno sandbox; un flujo constante de tareas nuevas busca evitar que el benchmark se contamine por el entrenamiento o se sature.

Proyecto sucesor de Terminal-Bench, gestionado por el mismo equipo del framework abierto "Harbor" (Laude Institute, cercano a Stanford).

⚠️ Es un conjunto de datos muy joven y en evolución constante; como se añaden tareas nuevas todo el tiempo, los resultados de distintos momentos no son directamente comparables. Además, el leaderboard evalúa juntos el modelo y el harness del agente (p. ej., Claude Code, Codex, mini-SWE-agent) como un par: el mismo modelo puede rendir de forma muy distinta según el scaffold.

GDPval-AA

Prueba modelos de IA en tareas de trabajo intelectual realistas de numerosas profesiones y sectores (como escritos jurídicos, planos técnicos o documentos financieros), a partir del conjunto de datos GDPval de OpenAI. Los modelos reciben acceso a shell y a la web dentro de un bucle agéntico; un juez LLM compara dos resultados anonimizados de modelos cara a cara, lo que genera una puntuación Elo anclada al rendimiento de expertos humanos.

Lo gestiona Artificial Analysis, a partir del conjunto de tareas GDPval que OpenAI desarrolló junto con expertos del sector.

⚠️ El método de evaluación difiere del propio estudio GDPval de OpenAI: allí juzgaban expertos humanos del sector, aquí un LLM compara pares anonimizados; por eso los resultados no son directamente comparables con las cifras propias de GDPval de OpenAI. Además, son tareas de una sola pasada, sin rondas de revisión, algo que, según la propia OpenAI, solo refleja de forma parcial el trabajo intelectual real.

GPQA / GPQA Diamond

Preguntas de opción múltiple de nivel de doctorado en biología, química y física, escritas y validadas por expertos en la materia; tan difíciles que hasta los no expertos competentes con acceso ilimitado a internet suelen fallarlas (de ahí lo de "a prueba de Google"). "GPQA Diamond" es un subconjunto más pequeño y filtrado con más rigor, en el que los dos revisores expertos coincidieron de forma independiente en la respuesta correcta y la mayoría de los no expertos se equivocó; esta variante más dura es la que suelen citar los leaderboards, a menudo sin indicarlo explícitamente.

Creado por un equipo de investigación liderado por David Rein y Samuel Bowman, en su mayoría de la Universidad de Nueva York.

⚠️ Los proveedores a menudo dicen solo "GPQA" sin especificar si se refieren al conjunto completo o al subconjunto Diamond, más pequeño y difícil; entonces las cifras no son comparables. Como el conjunto de datos, con las soluciones incluidas, es de acceso público, los autores incrustan una cadena canary para al menos detectar la contaminación por el entrenamiento de modelos, aunque con eso no se puede descartar del todo.

BrowseComp

Prueba si un agente de IA localiza hechos difíciles de encontrar pero claramente verificables en la web abierta: preguntas cortas con una única respuesta correcta y breve, construidas deliberadamente para que una búsqueda sencilla no baste; verificado porque los modelos más potentes disponibles en el momento de su creación no lograban resolverlas.

Publicado por OpenAI, con el conjunto de datos disponible en abierto en el repositorio simple-evals.

⚠️ La propia OpenAI señala que el enfoque en respuestas cortas e inequívocas deja poco claro qué tan bien se traslada el resultado a consultas de investigación reales y abiertas; el benchmark no cubre tareas largas, ambiguas o de texto libre. Incluso los evaluadores humanos que resolvieron las preguntas durante la verificación solo lograron resolver una pequeña parte de ellas.