Un classement public compare des modèles sur des tâches génériques, avec des données que personne dans ton entreprise n'a produites. Ça répond à la question « quel modèle est bon en général », qui n'est pas ta question. Ta question, c'est : lequel fait correctement ce travail-là, sur tes documents à toi, dans tes délais et à un coût que tu acceptes. Personne ne peut y répondre à ta place, mais la réponse se construit en quelques jours.
Construire ton jeu d'évaluation
C'est le seul livrable qui compte vraiment. Un jeu de 30 à 50 cas représentatifs de ce que le modèle rencontrera en production.
Représentatif ne veut pas dire moyen. La composition que je vise :
- La moitié en cas courants : ce qui arrive tous les jours, dans le format habituel.
- Un quart en cas difficiles mais légitimes : document mal scanné, formulation ambiguë, deux informations contradictoires dans la même source.
- Un quart en cas limites : ce sur quoi le modèle doit refuser, signaler un doute ou escalader. Demande hors périmètre, donnée manquante, question qui appelle un avis d'expert.
Ces cas viennent de tes archives, pas de ton imagination. Une demi-journée avec la personne qui fait le travail aujourd'hui suffit à en extraire cinquante. Elle sait exactement quels dossiers l'ont embêtée le mois dernier.
Anonymise ce qu'il faut avant de les envoyer à un service externe, et note quelque part d'où vient chaque cas. Tu vas y revenir.
La grille de notation
Une note globale sur 10 ne sert à rien : personne ne saura quoi corriger. Je décompose en critères binaires ou à trois niveaux, propres au cas d'usage. Pour une extraction de données de facture, par exemple : le montant est-il exact, le fournisseur identifié, la date correcte, le format respecté, une incertitude signalée quand il y a lieu.
Trois règles qui font la différence :
- Un critère se juge sans discussion. Si deux relecteurs peuvent honnêtement diverger, le critère est mal écrit.
- Sépare l'erreur grave de l'erreur bénigne. Un montant faux et une casse incorrecte n'ont pas le même poids. Deux colonnes distinctes, pas une moyenne.
- Note la même chose pour tous les modèles, dans le même ordre, idéalement en aveugle sur l'origine des réponses.
Le baseline humain, l'étape qu'on saute
Fais traiter une vingtaine de tes cas par la personne qui fait ce travail aujourd'hui, et note-la avec la même grille.
Ce chiffre change la conversation. On découvre régulièrement que le processus humain a lui aussi ses erreurs, ses hésitations et ses incohérences d'un jour à l'autre. Sans ce point de comparaison, on exige de la machine une perfection que personne n'a jamais atteinte sur ce poste, et on rejette une solution qui aurait été une amélioration.
Ça marche dans les deux sens. Sur certaines tâches, le baseline humain est très haut et le modèle n'en approche pas — c'est une bonne raison d'arrêter tôt.
Les critères qui ne sont pas de la qualité
Un modèle qui donne les meilleures réponses peut rester le mauvais choix. Ce que je regarde en parallèle :
La latence. Pas la moyenne : le pire cas observé sur ton jeu, et le comportement quand la charge monte. Un parcours interactif tolère mal quelques secondes d'attente ; un traitement nocturne s'en moque.
Le coût par usage. Ramène tout à l'unité métier — le coût par dossier traité, pas le prix au million de jetons. Multiplie par le volume annuel réel. C'est souvent à ce moment qu'un cas d'usage change de nature, dans un sens ou dans l'autre.
L'hébergement et la localisation. Où passent les données, où elles sont stockées, ce que ton secteur t'impose. Sur ce terrain je reste factuelle et générale, et je renvoie vers un conseil juridique : ce que j'écris ici n'est pas un avis juridique, et les clauses contractuelles se lisent au cas par cas.
Les conditions d'usage des données. Est-ce que tes entrées peuvent servir à entraîner le modèle, avec quelle option de retrait, quelle durée de rétention des journaux. C'est écrit dans les conditions du fournisseur, ça se vérifie et ça se relit à chaque renouvellement.
La stabilité des versions. Combien de temps une version reste disponible, quel préavis avant retrait, peux-tu épingler une version précise. Un modèle mis à jour sans prévenir peut décaler ton comportement en production du jour au lendemain. C'est la raison la plus concrète de garder ton jeu d'évaluation : tu le rejoues à chaque changement de version.
La réversibilité. Combien de travail pour changer de fournisseur. Si la réponse est « on réécrit tout », c'est un critère de sélection à part entière.
Ce qui ne marche pas
Tester trois modèles sur cinq prompts improvisés en réunion. On retient celui qui a produit la plus jolie phrase, et la décision se prend sur une impression.
Confier l'évaluation uniquement à l'équipe technique. Elle juge la sortie sur sa forme ; le métier juge sur l'usage. Ce sont deux lectures différentes, et il faut les deux.
Choisir le modèle avant d'avoir écrit le jeu d'évaluation. Ça arrive plus souvent qu'on ne l'admet — la décision est déjà prise et l'évaluation sert à la justifier.
Ce qu'il te reste après
Le vrai résultat de l'exercice n'est pas le nom du modèle retenu. C'est le jeu d'évaluation et la grille. Le modèle changera dans six mois ; ton jeu de cas, lui, restera valable et te dira en une heure si le remplaçant tient la route.
Commence par là, cette semaine : ouvre un tableur, appelle la personne qui fait la tâche aujourd'hui, et sors vingt cas réels. Le reste s'enchaîne tout seul.