Benchmark LLM : construire son propre banc d'évaluation (au lieu de croire les classements)

Un benchmark LLM fiable pour votre entreprise repose sur un banc d'évaluation maison : environ 30 tâches tirées de votre activité, une grille de notation écrite avant les tests, un juge automatique calibré sur des notes humaines et des mesures de coût et de vitesse.

Les classements publics servent à présélectionner quelques modèles, jamais à trancher.

Le 23 février 2026, OpenAI a annoncé qu'elle cessait de publier ses scores sur SWE-bench Verified.

Son propre audit y avait relevé des tests défaillants et des signes de contamination.

L'un des benchmarks LLM les plus cités de l'industrie venait de perdre la confiance de l'un de ses plus gros utilisateurs.

Si les laboratoires ne se fient plus à leurs propres classements, sur quelle base une PME devrait-elle choisir son modèle ?

Votre choix se joue sur vos documents, vos clients, votre ton de voix et votre budget.

Un benchmark LLM maison se construit en une à deux journées, avec un tableur et quelques dizaines de lignes de code.

Voici la méthode de benchmark LLM que nous appliquons chez Apsodia, reproductible sans équipe de data scientists.

Pourquoi un benchmark LLM public ne dit rien de votre cas d'usage

Les benchmarks LLM publics souffrent de quatre défauts qui s'additionnent.

• La saturation écrase les écarts : d'après l'AI Index 2026 de Stanford HAI, relayé par Atlan, les modèles de pointe dépassent 88 % sur MMLU et près de la moitié des 60 benchmarks les plus cités sont saturés.
• La contamination gonfle les scores quand les questions ou leurs réponses se retrouvent dans les données d'entraînement.
• La sélection des résultats permet à un laboratoire de ne publier que sa meilleure variante.
• Le décalage avec le travail réel reste entier : un modèle brillant sur des QCM de culture générale peut échouer sur vos devis.

Le cas Llama 4 sur LMArena

En avril 2025, Meta a mis en avant un score Elo de 1417 pour Llama 4 Maverick, deuxième place du classement LMArena.

Le modèle testé était une version expérimentale, optimisée pour la conversation et différente de celle proposée au public.

Une fois la version publique évaluée, elle redescendait à la 32e place.

L'étude The Leaderboard Illusion, signée par Cohere Labs et plusieurs universités, a analysé environ 2 millions de duels entre 243 modèles.

Elle montre que certains fournisseurs testent plusieurs variantes en privé avant de publier la meilleure, jusqu'à 27 pour Meta avant la sortie de Llama 4.

Google et OpenAI auraient reçu environ 19,2 % et 20,4 % de toutes les données de l'arène.

Accéder à ces données peut produire jusqu'à 112 % de gain relatif sur un test issu de la même distribution.

Un LLM leaderboard mesure donc aussi l'aptitude d'un fournisseur à optimiser pour ce LLM leaderboard.

Le cas SWE-bench Verified

Selon l'audit publié par OpenAI, au moins 59,4 % des 138 problèmes examinés comportaient des tests défaillants, qui rejettent des solutions pourtant correctes.

Ces problèmes faisaient partie de ceux que son modèle o3 ne résolvait pas de façon constante.

OpenAI en conclut que les progrès sur ce benchmark ne reflètent plus ceux des modèles en développement logiciel réel.

À retenir Datez chaque résultat de benchmark LLM et notez la version exacte du modèle. Un score sans date ni version ne prouve rien.

Un benchmark LLM public sert à présélectionner trois ou quatre modèles.

Un comparatif entre Claude et Mistral ou une analyse de Mistral face à ChatGPT aide à constituer cette liste courte.

Tout comparatif LLM, y compris les nôtres, a une date de péremption.

La décision se prend sur votre propre benchmark LLM.

Construire un benchmark LLM avec 30 tâches réelles

Où trouver vos 30 tâches

Partez de ce que vos équipes font déjà.

Des emails de clients, des demandes de devis, des tickets de support, des extraits de contrats : chaque document réel devient une tâche.

Anonymisez avant tout envoi à une API : noms, adresses, numéros de contrat.

Pour chaque tâche, notez l'entrée exacte, la réponse attendue ou les critères de réussite, et la gravité d'une erreur.

Répartissez le jeu de façon à tester autre chose que le cas facile.

Composition conseillée d'un jeu de 30 tâches

Gelez ensuite le jeu.

Une fois la première mesure lancée, ne modifiez plus les tâches, sinon vos comparaisons n'ont plus de sens.

Gardez cinq tâches supplémentaires de côté, jamais utilisées pour régler vos prompts : elles servent à détecter un réglage trop adapté au jeu principal.

Combien de tâches pour un benchmark LLM fiable

Un benchmark LLM revient à mener une expérience : chaque score vient avec une marge d'erreur.

Sur 30 tâches, un modèle qui réussit 80 % des cas a un intervalle de confiance à 95 % d'environ 14 points de part et d'autre.

Avec 100 tâches, il se resserre autour de 8 points.

Un banc de 30 tâches élimine donc sans appel les modèles nettement inadaptés, mais ne départage pas deux modèles séparés de 3 points.

Une étude d'Anthropic sur les barres d'erreur des évaluations de modèles propose des formules pour mesurer l'écart entre deux modèles et planifier la taille d'une évaluation.

Passez à 100 tâches dès que la décision engage un budget significatif.

Noter les réponses du benchmark LLM avec une grille écrite à l'avance

Écrivez la grille avant de lancer le moindre modèle.

Sinon, vous ajusterez les critères aux résultats que vous espériez voir.

Exemple de grille pour une tâche d'extraction ou de rédaction

Un critère bloquant élimine le modèle quel que soit son score total.

Un devis avec un montant inventé ne se rattrape pas par un excellent style.

Scorez par code tout ce qui peut l'être : validation d'un schéma JSON, présence d'un champ, correspondance exacte d'un montant.

Réservez le jugement humain ou automatisé aux critères qui exigent de la nuance, comme le ton ou la complétude.

Notez la première série à la main, à deux personnes si possible.

Le taux d'accord entre vos deux relecteurs fixe le plafond de fiabilité d'un futur juge automatique.

LLM as a judge : automatiser la notation sans se raconter d'histoires

Noter à la main 30 tâches sur 4 modèles représente 120 réponses, soit un après-midi.

Une relance mensuelle avec plusieurs passages dépasse vite ce qu'une personne peut relire.

Le LLM as a judge consiste à confier cette notation à un autre modèle, guidé par votre grille.

L'étude MT-Bench et Chatbot Arena montre qu'un juge comme GPT-4 atteint plus de 80 % d'accord avec les préférences humaines, soit le niveau d'accord entre deux humains.

Ses auteurs documentent aussi un biais de position, qui favorise la première réponse affichée, et un biais de verbosité, qui récompense les réponses longues.

Un troisième biais pousse le juge à préférer ses propres productions, avec environ 10 % de taux de victoire en plus pour GPT-4 et 25 % pour Claude-v1.

Quatre réglages neutralisent l'essentiel de ces défauts.

Inversez l'ordre des deux réponses et ne gardez que les verdicts qui résistent à l'inversion.

Choisissez un juge d'une autre famille de modèles que les candidats.

Figez le prompt du juge une fois validé.

Calibrez-le sur 100 à 500 réponses notées par des humains, puis mesurez l'accord avec le kappa de Cohen.

En dessous de 0,6, le juge ne vaut pas le temps qu'il vous fait gagner.

Au-dessus de 0,8, vous pouvez lui confier la notation courante.

Astuce Refaites la calibration à chaque changement de modèle juge, même quand la mise à jour paraît mineure.

Pour les décisions sensibles, plusieurs juges de familles différentes valent mieux qu'un seul, et le skill LLM Council de Claude automatise ce type de débat entre modèles.

Mesurer la vitesse et le coût dans un benchmark LLM

Un modèle excellent mais trop lent pour votre usage ne sert à rien.

Relevez à chaque passage le délai avant le premier mot, le débit en tokens par seconde et le temps total par tâche.

Calculez ensuite le coût par tâche : tokens d'entrée multipliés par leur prix, plus tokens de sortie multipliés par le leur.

Prenons l'API de Mistral Medium 3.5, facturée au lancement 1,50 dollar par million de tokens en entrée et 7,50 dollars en sortie.

Une tâche de 2 000 tokens en entrée et 500 en sortie coûte environ 0,0068 dollar, soit 6,75 dollars pour 1 000 tâches.

À ces volumes, le prix des tokens pèse peu face au coût d'une erreur non détectée.

Pour un modèle local, additionnez l'amortissement du matériel, l'électricité et le temps d'administration, puis divisez par le nombre de tâches traitées chaque mois.

Relancez chaque tâche trois fois : la même question peut produire des réponses de qualité différente, et cette dispersion fait partie du résultat.

Exemple de benchmark LLM : modèle local contre modèle de frontière

Prenons une tâche courante en PME, l'extraction des lignes d'un devis à partir d'un email client, un cas détaillé dans notre guide sur la génération de devis avec l'intelligence artificielle.

Vous mettez face à face un modèle de frontière appelé par API et un modèle ouvert hébergé sur votre propre machine.

Les deux reçoivent le même prompt, les mêmes documents et la même température.

Avec un harnais identique, tout écart de résultat vient du modèle.

Fixez la règle de décision avant de voir les résultats, par exemple : le modèle local est retenu s'il passe tous les critères bloquants et reste à moins de 5 points du modèle de frontière sur le score total.

Placez en face le coût par tâche, la latence et la confidentialité des données.

Si le modèle local suffit, vos documents sensibles ne quittent plus vos murs.

L'écart dépend fortement de la tâche, et c'est précisément ce que votre benchmark LLM mesure.

Un benchmark LLM daté et versionné laisse aussi une trace utile pour documenter vos choix de modèles face aux obligations de l'AI Act.

Outils pour lancer son premier benchmark LLM

Un tableur et un script suffisent pour un premier benchmark LLM.

Quand le banc grossit, un outil dédié évite de réinventer l'exécution, l'historique et les comparaisons.

Quatre outils open source pour évaluer des modèles

Si vous préférez déléguer la mise en place, une agence IA comme Apsodia construit ces bancs avec ses clients.

Questions fréquentes

Qu'est-ce qu'un benchmark LLM ?

Un benchmark LLM est un jeu de tâches standardisé, noté de façon reproductible, qui sert à comparer des modèles de langage.

Il peut être public, comme MMLU ou SWE-bench, ou privé et construit sur vos propres cas.

Combien de tâches faut-il pour un benchmark LLM ?

Trente tâches suffisent pour écarter les modèles nettement inadaptés.

Visez 100 tâches pour départager deux candidats proches.

Peut-on faire confiance à un LLM as a judge ?

Oui, à condition de le calibrer sur des notes humaines, d'inverser l'ordre des réponses et de choisir un juge d'une autre famille que les candidats.

Un kappa de Cohen supérieur à 0,6 constitue un minimum.

Quel classement LLM consulter pour présélectionner des modèles ?

Croisez un classement de préférence humaine, un benchmark de code récent et une évaluation spécialisée dans votre domaine.

Aucun classement ne remplace votre benchmark LLM, il réduit seulement la liste des candidats.

À quelle fréquence relancer son benchmark LLM ?

À chaque nouveau modèle ou nouvelle version qui vous intéresse, et au moins une fois par trimestre.

Les modèles évoluent vite, et un résultat de janvier ne vaut plus en octobre.

Votre premier benchmark LLM en quatre étapes

Réservez deux journées dans votre agenda.

1. Rassemblez 30 documents réels et anonymisez-les.
2. Écrivez la grille de notation, avec ses critères bloquants.
3. Faites tourner deux ou trois modèles, trois passages chacun, en mesurant coût et délai.
4. Notez à la main, calibrez un juge automatique, puis tranchez avec votre règle de décision.

Chez Apsodia, nous construisons ces benchmarks LLM sur mesure avec les équipes qui hésitent entre un modèle local et un modèle de frontière.