Benchmarks

SWE-bench (+Verified/Pro)

Teste si un agent IA résout de vrais problèmes GitHub en écrivant un patch qui passe la suite de tests cachés du dépôt.

À l'origine de Princeton et Stanford ; la variante Verified a été constituée avec OpenAI, la variante Pro est gérée par Scale AI.

⚠️ Des audits indépendants ont trouvé des solutions déjà révélées dans le fil de l'issue, ainsi que des tests trop faibles — et pour SWE-bench Pro, plusieurs valeurs « officielles » contradictoires circulent, selon le scaffold et le découpage de données utilisés.

Terminal-Bench

Vérifie si un agent résout de vraies tâches multi-étapes dans un terminal, où chaque sortie de commande change la décision suivante.

Stanford x Laude (proche d'Anthropic), qui fait partie du framework ouvert « Harbor ».

Aider Polyglot

Teste si un modèle suit les instructions et modifie du code correctement, sans aide, à travers des exercices de programmation dans plusieurs langages.

Géré par Paul Gauthier, le créateur d'Aider — pas par un laboratoire ni un consortium.

⚠️ Le classement n'est pas mis à jour à chaque nouveau modèle — il peut afficher des modèles dépassés en tête pendant des mois, simplement parce que les plus récents n'ont pas encore été testés.

LiveCodeBench

Teste la génération de code, l'autocorrection, la prédiction de la sortie des tests et l'exécution de code, avec des problèmes de programmation compétitive renouvelés en continu pour que les anciens ne fuient pas dans les données d'entraînement.

Des chercheurs de UC Berkeley, du MIT et de Cornell (dirigé par Naman Jain).

LMArena Code Arena / WebDev Arena

Mesure la préférence humaine, pas la justesse : de vrais utilisateurs votent à l'aveugle pour dire laquelle de deux réponses de modèles (code ou web-app) ils préfèrent.

Arena.ai (le projet LMArena / LMSYS).

⚠️ Une analyse à grande échelle des soumissions des fournisseurs a montré que ne soumettre délibérément que la meilleure variante peut gonfler sensiblement son propre score.

HumanEval

Teste la justesse fonctionnelle sur des problèmes Python écrits à la main, en exécutant réellement le code généré face à des tests unitaires.

Créé par des chercheurs d'OpenAI (Chen, Tworek, Jun et d'autres).

⚠️ Saturé : presque tous les modèles de pointe se retrouvent tassés en haut du classement, le benchmark ne les différencie presque plus. Il ne sert plus que de vérification minimale, pas pour classer les modèles de pointe.

Artificial Analysis Coding Agent Index

Un score composite pour la performance de bout en bout des agents de code — combine plusieurs benchmarks de base ainsi que l'efficacité en coût, en tokens et en temps dans un seul indice.

Géré par Artificial Analysis, un fournisseur indépendant de benchmarking.

⚠️ Évalue le modèle et le harnais de l'agent ensemble, comme une paire : le même modèle peut donner des résultats très différents selon le scaffold.

ARC-AGI-2

Teste le raisonnement abstrait et flexible à travers des énigmes visuelles de transformation de grilles, ainsi que l'efficacité (à quel coût) avec laquelle un modèle les résout. Ce n'est pas un benchmark de code à proprement parler.

Géré par ARC Prize Inc., une organisation à but non lucratif (garde les données de test privées ou semi-privées pour éviter la contamination).

MMLU / MMLU-Pro

Teste les connaissances générales et le raisonnement logique avec des questions à choix multiples issues de nombreuses disciplines académiques. Pas un benchmark de code.

Créé à l'origine par Hendrycks et ses collègues (chercheurs proches de UC Berkeley).

⚠️ Saturé : les modèles de pointe sont trop proches les uns des autres pour être distingués. MMLU-Pro a été créé pour corriger ça, mais il commencerait déjà à saturer lui aussi.

METR "Time Horizon"

Mesure combien de temps (en temps de travail d'un expert humain) un agent tient de façon autonome sur une tâche, à un seuil de fiabilité fixe — comme une courbe de tendance dans le temps, pas comme un score unique.

Géré par METR, une organisation à but non lucratif indépendante dédiée à l'évaluation de l'IA.

⚠️ METR prévient elle-même que les mesures pour les tâches très longues deviennent peu fiables avec le jeu de tâches actuel — à lire comme une courbe de tendance, pas comme une limite exacte.

Frontier-Bench

Teste des agents IA sur un ensemble de tâches large, délibérément difficile et enrichi en continu, tiré du travail agentique réel (dont des tâches de programmation), exécuté dans un environnement sandbox — un apport constant de nouvelles tâches vise à empêcher que le benchmark soit contaminé par l'entraînement ou qu'il sature.

Projet successeur de Terminal-Bench, géré par la même équipe autour du framework ouvert « Harbor » (Laude Institute, proche de Stanford).

⚠️ Un jeu de données très jeune, en évolution constante — comme de nouvelles tâches sont ajoutées en permanence, les résultats de différentes périodes ne sont pas directement comparables. Le classement évalue aussi le modèle et le harnais de l'agent (par ex. Claude Code, Codex, mini-SWE-agent) ensemble, comme une paire : le même modèle peut donner des résultats très différents selon le scaffold.

GDPval-AA

Teste des modèles d'IA sur des tâches de travail intellectuel réalistes couvrant de nombreux métiers et secteurs (comme des mémoires juridiques, des plans techniques ou des documents financiers) — en s'appuyant sur le jeu de données GDPval d'OpenAI. Les modèles reçoivent un accès shell et web dans une boucle agentique ; un juge LLM compare deux résultats de modèles anonymisés en duel direct, ce qui produit un score Elo ancré sur la performance d'experts humains.

Géré par Artificial Analysis, en s'appuyant sur le jeu de tâches GDPval qu'OpenAI a développé avec des experts du secteur.

⚠️ La méthode d'évaluation diffère de l'étude GDPval d'OpenAI elle-même : là, des experts humains du secteur jugeaient le travail ; ici, un LLM compare des paires anonymisées — les résultats ne sont donc pas directement comparables aux chiffres GDPval d'OpenAI. Il s'agit en outre de tâches en un seul essai, sans cycle de révision, ce qui, de l'aveu même d'OpenAI, ne reflète qu'incomplètement le travail intellectuel réel.

GPQA / GPQA Diamond

Questions à choix multiples de niveau doctorat en biologie, chimie et physique, rédigées et validées par des experts du domaine — assez difficiles pour que même des non-experts compétents avec un accès illimité à internet échouent le plus souvent (d'où le terme « Google-proof »). « GPQA Diamond » est un sous-ensemble plus petit et filtré plus strictement, où les deux relecteurs experts ont trouvé indépendamment la bonne réponse et où la majorité des non-experts s'est trompée — cette variante plus difficile est celle généralement citée dans les classements, souvent sans le préciser explicitement.

Créé par une équipe de recherche menée par David Rein et Samuel Bowman, en grande partie à l'université de New York.

⚠️ Les fournisseurs se contentent souvent de dire « GPQA » sans préciser s'ils parlent de l'ensemble complet ou du sous-ensemble Diamond, plus petit et plus difficile — les chiffres ne sont alors pas comparables. Comme le jeu de données, solutions comprises, est accessible publiquement, les auteurs y intègrent une chaîne canary pour au moins détecter une contamination par l'entraînement des modèles — cela ne permet pas de l'exclure totalement.

BrowseComp

Teste si un agent IA parvient à retrouver sur le web ouvert des faits difficiles à trouver mais clairement vérifiables : des questions courtes avec une seule réponse correcte et brève, délibérément construites pour qu'une simple recherche ne suffise pas — vérifié par le fait que les modèles les plus puissants disponibles au moment de sa création ne parvenaient pas à les résoudre.

Publié par OpenAI, jeu de données ouvert dans le dépôt simple-evals.

⚠️ OpenAI souligne elle-même que l'accent mis sur des réponses courtes et sans ambiguïté laisse incertain le degré de transfert du résultat vers de vraies requêtes de recherche ouvertes — le benchmark ne couvre pas les tâches longues, ambiguës ou en texte libre. Même les testeurs humains ayant traité les questions pour la vérification n'ont réussi à en résoudre qu'une petite partie.