Benchmarks IA : lire les vrais scores et comparer les modèles sans se tromper

Un exemple réel : Text Arena au 13 octobre 2026

Voici trois lignes du classement Text Arena, Overall, dont la page indique le 13 octobre 2026. Le nom du modèle inclut son mode de raisonnement. Les marges et nombres de votes sont conservés pour éviter une lecture trop catégorique.

Source : Text Arena Overall. Ce sont des scores de préférence dans cette arène, pas des pourcentages de bonnes réponses. Les marges se recouvrent pour certaines lignes. Cet extrait ne permet pas d’affirmer une supériorité certaine sur toutes les tâches.

Ne mélangez pas ce tableau avec une arène vidéo, un score de code ou une évaluation d’agent. Les tâches, populations et méthodes diffèrent. Consultez la page d’origine avant une décision : elle peut avoir changé depuis cette capture éditoriale.

Trois niveaux de preuves à distinguer

Une annonce d’éditeur permet de connaître la version, l’accès et la méthode revendiquée. Elle est essentielle pour documenter une sortie, mais l’éditeur choisit souvent les exemples et conditions de présentation.

Une évaluation externe utilise un protocole défini par une autre équipe. Elle peut éclairer les compromis entre qualité, coût et vitesse. Il faut encore lire ses exclusions, ses paramètres, le nombre de cas et ses limites. « Externe » ne signifie pas automatiquement représentatif de votre travail.

Un test métier local vérifie le résultat dans votre contexte. Il peut être petit, à condition d’être honnêtement décrit. Dix factures fictives ne constituent pas un benchmark universel. Elles peuvent toutefois révéler un double comptage qui rend un outil impropre à votre flux actuel.

Indice composite, préférence et réussite d’une tâche

Un indice composite agrège plusieurs évaluations. L’Intelligence Index d’Artificial Analysis décrit ses versions et son calcul. Vérifiez la version de l’indice avant de comparer des captures de mois différents : un changement de suite peut déplacer les scores sans mise à jour du modèle.

Un vote de préférence juge une réponse par rapport à une autre. Une mesure de réussite vérifie plutôt une condition : le correctif passe-t-il les tests, le calcul est-il exact, le schéma est-il respecté ? Ces mesures se complètent, mais on ne doit pas convertir arbitrairement l’une en l’autre.

Pour un agent, le logiciel qui prépare les outils et les instructions influence le résultat. Dans un benchmark de programmation, relevez la version du jeu, l’environnement, le budget de calcul et le nombre de tentatives autorisées. Les publications et ressources de SWE-bench donnent un point de départ pour comprendre ce type d’évaluation ; leurs résultats ne mesurent pas tous les travaux de développement.

Pourquoi un JSON valide ne garantit pas une bonne décision

Une réponse peut respecter parfaitement le format tout en choisissant une mauvaise catégorie. Séparez donc conformité du schéma, exactitude du choix et calibration de la confiance. Si les cas annoncés à 90 % de confiance ne sont corrects que dans 60 % des cas, un seuil automatique fondé sur cette confiance pose problème.

Les modèles de décision comme Jev rendent cette distinction très concrète. Ils choisissent parmi des options définies. La méthodologie du Decision Index évalue plusieurs tâches spécifiques ; ce n’est pas le même indice que l’Intelligence Index.

Préparer un test reproductible en six étapes

1. →Fixez une tâche précise. Par exemple, extraire des échéances et signaler les contradictions de trois documents.
2. →Écrivez la réponse de référence. Précisez les cas ambigus, les informations absentes et l’erreur qui bloque l’utilisation.
3. →Constituez un lot varié. Ajoutez des documents longs, des tableaux incomplets et des cas où la bonne réponse est « information insuffisante ».
4. →Figez les conditions. Même entrée, mêmes outils, modèle identifié, réglages notés et budget comparable.
5. →Conservez toutes les sorties. Incluez les échecs, refus, erreurs techniques et reprises ; ne sélectionnez pas seulement les meilleurs exemples.
6. →Publiez le résultat avec ses limites. Taille du lot, taux d’acceptation, erreurs critiques, coût et temps de relecture.

Pour réduire l’effet d’attente, masquez le nom de l’outil pendant la notation. Si plusieurs personnes évaluent, faites-les noter d’abord séparément, puis discutez les désaccords. Un résultat contesté révèle parfois un critère mal défini plutôt qu’une différence entre modèles.

Calculer le coût d’un résultat utilisable

Prenons un exemple pédagogique fictif : 30 essais coûtent 6 €, et 24 passent la grille sans erreur critique. Le coût API par résultat accepté est de 6 / 24 = 0,25 €. Ce chiffre n’inclut ni la préparation ni la relecture. Si les 24 sorties demandent chacune deux minutes de contrôle, il faut ajouter 48 minutes de travail.

Ne comparez pas seulement les tokens par seconde. La durée jusqu’à une sortie exploitable peut inclure un raisonnement préalable, la recherche, les appels d’outils et les corrections. Mesurez cette durée totale, ainsi que les cas très lents, si votre usage dépend d’un délai.

Prépare une fiche de benchmark pour comparer trois modèles sur une tâche documentaire. Sépare les scores publiés par des tiers de nos futurs essais. Prévois les champs source, date du résultat, version exacte, réglages, outils, jeu de test, vérité de référence, cas ambigus, erreurs critiques, sorties brutes, coût et durée totale. N’invente aucune mesure. Termine par les conditions qui invalideraient notre conclusion.

Téléchargez la fiche de benchmark, puis utilisez le panorama des modèles actuels pour choisir une présélection. Pour la vidéo et la voix, ajoutez des critères perceptifs et des tests sur les fichiers réellement exportés.

Le CSV des extraits de scores publics conserve les dates, unités, modes et liens d’origine des deux tableaux utilisés dans cette série. Les métriques restent séparées et ne sont pas additionnées.

Questions fréquentes

Peut-on additionner des scores de benchmarks différents ? Seulement dans un indice dont le calcul et les pondérations sont définis. Additionner arbitrairement un score Arena et un taux de réussite ne produit pas une mesure interprétable.

Combien d’exemples faut-il ? La taille dépend de la diversité et du risque de la tâche. Un petit pilote sert à trouver des problèmes et préparer une évaluation plus large ; il ne prouve pas un avantage général.