← Blog
Une balance lavande avec des plateaux crème vides et un petit pivot orange.
Publié le
2026-11-16

Évaluation des LLM : comparer sur vos propres cas

L'évaluation d'un LLM aide à déterminer si un changement de modèle ou d'application convient à une tâche précise. La question utile est de savoir si le système produit des résultats acceptables pour vos utilisateurs, dans les délais et le budget prévus. Un classement public ou une réponse impressionnante ne suffit pas à trancher.

Commencez par des cas représentatifs, définissez ce qu'est un résultat acceptable et comparez la version actuelle à la version candidate sur les mêmes entrées. Examinez les échecs avant de choisir. Une meilleure moyenne peut masquer une régression qui devrait bloquer la mise en production.

Définir la décision avant de choisir les métriques

Précisez ce qui change : le modèle, le prompt, la recherche documentaire, la configuration d'inférence ou plusieurs composants ensemble. Si tout change à la fois, vous pouvez évaluer le système complet, mais vous ne pouvez pas attribuer la différence à un seul composant avec certitude.

Pour un assistant de support interne, réussir peut signifier répondre à partir de la règle actuelle, citer la source, demander une information manquante et refuser les demandes hors de son autorité. Définissez ces comportements avant de lire les réponses candidates. Sinon, une réponse séduisante peut modifier discrètement vos critères.

Séparez la qualité de la tâche et son exécution. Une réponse correcte qui arrive après le délai utile peut échouer à remplir la tâche. Une réponse rapide contenant une affirmation non étayée échoue également. Gardez visibles la justesse, les sources, l'achèvement, la latence et le coût, plutôt que de les réduire à une note inexpliquée.

Construire un petit jeu d'évaluation compréhensible

Utilisez des cas qui reflètent le travail : demandes courantes, reformulations, entrées incomplètes, sources contradictoires, demandes hors périmètre et échecs connus. Incluez les langues et types de documents dont vos utilisateurs ont besoin. Cherchez d'abord à couvrir les situations utiles, avant d'agrandir le jeu.

La documentation MLflow sur les jeux d'évaluation décrit le stockage des entrées et des attentes pour comparer les versions d'une application. Un simple tableau peut suffire au départ ; un outil devient utile pour répéter les essais, conserver leur historique et partager la vérification.

Voici une structure de fiche pour un assistant fictif consacré aux frais professionnels. Toutes les règles, tous les cas et tous les résultats de cet article sont inventés pour l'illustration.

ChampÉléments à conserver
Identifiant du cas et demandeUn identifiant stable et la saisie exacte de l'utilisateur
Contexte autoriséLes sources accessibles à cet utilisateur, avec leur version et leur date d'effet
Comportement attenduLes faits requis, une clarification ou un refus acceptable, et les affirmations interdites
Gravité de l'échecLes erreurs de qualité ordinaires et celles qui bloquent la mise en production
Sortie et statut observésLa réponse complète, les erreurs, le délai dépassé et l'état d'achèvement
Compte rendu de vérificationLa note, les preuves, la personne chargée de vérifier, les désaccords et la décision finale

Par exemple, une demande porte sur le respect du délai de déclaration d'une dépense, sans préciser la date d'achat. Le comportement attendu consiste à demander cette date. Une réponse qui l'invente échoue, même si son explication de la règle semble correcte.

N'imposez pas une phrase exacte lorsque plusieurs réponses sont valides. Notez les faits et le comportement qui comptent. En revanche, un identifiant, une date, une catégorie ou un résultat numérique peut nécessiter un contrôle exact.

Séparer les exemples de développement du test final

Utilisez un jeu de développement pour réviser les prompts, choisir les paramètres et améliorer les critères de notation. Conservez un autre jeu pour la comparaison finale. Ajuster sans cesse le système après avoir examiné les mêmes cas finaux réduit la valeur de leur score pour estimer les résultats sur des demandes nouvelles.

Les conseils de scikit-learn sur les fuites de données expliquent pourquoi les données de test ne doivent pas guider le choix du modèle. Appliquez cette séparation à votre évaluation : évitez que des questions presque identiques ou des versions proches d'un document rendent le test artificiellement facile.

Documentez la sélection des cas. Un jeu volontairement difficile aide à trouver des faiblesses, mais son taux de réussite n'estime pas la réussite quotidienne si sa composition ne reflète pas le trafic réel. Ajoutez des cas récents lorsque les usages évoluent, tout en conservant les anciens échecs pour détecter les régressions.

Choisir une méthode de notation pour chaque exigence

Utilisez des contrôles déterministes pour les propriétés directement vérifiables : champs requis, identifiants valides, catégories autorisées ou calcul dont le résultat est connu. Respecter un format ne prouve pas qu'une affirmation est vraie.

Faites intervenir une personne pour vérifier les sources, les ambiguïtés et les jugements propres au domaine. Donnez aux évaluateurs la même grille et les mêmes sources autorisées. En cas de désaccord, consignez la raison et tranchez ; le problème peut venir d'une attente imprécise plutôt que du modèle.

Un LLM utilisé comme juge peut aider à examiner beaucoup de réponses, mais ses notes doivent être comparées aux décisions humaines. La documentation MLflow sur les évaluateurs distingue les contrôles par code des juges fondés sur un modèle et recommande leur alignement avec les retours humains. Conservez le modèle juge, son prompt, sa grille et sa version. Une explication assurée du juge ne constitue pas une preuve indépendante de justesse.

Masquez le nom des modèles aux évaluateurs lorsque c'est possible et examinez les désaccords entre méthodes. Gardez les informations sensibles dans l'environnement d'évaluation autorisé pour ces données.

Comparer les cas avant d'accepter une moyenne

La comparaison suivante repose sur huit cas dont les résultats ont été attribués par l'auteur. Aucun modèle n'a été appelé et ces pourcentages ne sont pas des résultats de benchmark. « Réussi » signifie que le comportement attendu est satisfait dans l'illustration.

CasComportement attenduRéférenceVersion candidate
E1: Question directe sur une règleRépondre 30 jours et citer la règle v2RéussiRéussi
E2: Question reformuléeReconnaître le même délai de remboursement de fraisRéussiRéussi
E3: Date d'achat manquanteDemander la date manquante sans l'inventerÉchecRéussi
E4: Ancienne règle dans le contexteUtiliser la règle v2 actuelle et expliquer le conflitÉchecRéussi
E5: Document à accès restreintNe pas révéler le contenu restreintRéussiÉchec (critique)
E6: Demande d'exécution d'un paiementExpliquer la limite sans prétendre avoir effectué le paiementRéussiRéussi
E7: Question en deux partiesPréciser le délai et le justificatif requisÉchecÉchec
E8: Délai de réponse dépasséCompter le délai dépassé comme un échec de la tâcheÉchecÉchec

La référence réussit 4 cas sur 8, soit 50 %. La version candidate en réussit 5 sur 8, soit 62,5 %. Le gain est de 12,5 points de pourcentage : deux cas s'améliorent et un régresse. Les deux versions échouent encore à la question en deux parties et au cas de délai dépassé.

La régression sur le document restreint change la décision. Selon la règle de cet exemple, toute régression critique bloque la mise en production ; la version candidate reste donc en attente malgré sa meilleure moyenne. Les échecs de la référence demandent également une correction. Cette comparaison ne prouve donc pas que l'un ou l'autre système soit prêt pour la production.

Le cas du contenu restreint représente une défaillance fictive injectée volontairement dans un test contrôlé. En production, la recherche doit faire respecter les droits de l'utilisateur avant de transmettre des documents au modèle. Le refus du modèle est une limite supplémentaire à évaluer, pas un système de contrôle d'accès.

Conservez les requêtes échouées au dénominateur. Retirer le délai dépassé gonflerait les deux taux de réussite et masquerait un échec d'exécution. Pour une évaluation réelle, répétez les cas dont les sorties varient, indiquez le nombre d'essais et examinez séparément les groupes importants. Huit cas inventés ne permettent pas d'établir une confiance statistique ni une fiabilité en production.

Mesurer la latence et le coût complet avec la qualité

Mesurez le temps entre la requête applicative et un résultat accepté, en incluant recherche, files d'attente, nouvelles tentatives, validation et éventuelle vérification humaine. La vitesse de génération des tokens ne décrit qu'une partie de l'expérience. Testez avec les tailles de requêtes et la concurrence prévues ; un essai sans charge n'établit pas la capacité en période d'activité.

Pour calculer le coût par résultat accepté, divisez le coût complet du traitement évalué par le nombre de résultats qui respectent les règles d'acceptation. Incluez les tentatives échouées, les reprises, les appels d'évaluation et le travail de vérification, dans un périmètre de calcul explicite. Si aucun résultat ne convient, signalez cet échec au lieu d'afficher un coût unitaire trompeur.

Séparez la qualité des réponses du diagnostic opérationnel. Notre guide de supervision LLM avec Hivenet Router suit les échecs d'exécution dans les traces de requêtes et les moteurs d'inférence. Ces signaux aident à expliquer un essai échoué ; ils ne notent pas l'exactitude factuelle de la réponse.

Rendre la décision de mise en production traçable

Conservez assez de contexte pour qu'une autre personne comprenne la comparaison. Un compte rendu concis devrait inclure :

  • La tâche visée, le changement proposé et les règles d'acceptation.
  • La version du jeu, les droits sur les sources, la méthode de sélection et le nombre de cas.
  • Les configurations du modèle, du prompt, de la recherche, du serveur et de la génération.
  • La grille de notation, la version du juge éventuel et les décisions humaines.
  • Les résultats par cas, les régressions importantes, les délais dépassés, la latence et le périmètre du coût.
  • La décision, les échecs non résolus, la personne responsable et la condition de retour à la version précédente.

Envisagez un déploiement limité lorsque les éléments le permettent, puis surveillez les nouvelles catégories d'échecs. Gardez un moyen de revenir à la configuration précédente. Répétez les tests pertinents après tout changement de modèle, prompt, données, routage ou méthode de notation. Si un mécanisme de repli peut sélectionner un autre modèle, évaluez aussi ce parcours.

Préparer une évaluation précise avec Hivenet

Private AI avec Hivenet permet d'aborder les données, le modèle, le déploiement et l'exploitation d'un traitement. Préparez des entrées représentatives, les sources autorisées, une référence, les échecs inacceptables et un budget de latence avant de discuter du projet avec Hivenet.

Si votre équipe exploite son application ou son moteur d'inférence, Compute with Hivenet fournit une infrastructure CPU et GPU. L'évaluation reste du ressort de l'application : choisir une capacité ne prouve pas la qualité des réponses. Un jeu de test clair donne un objectif concret à la discussion sur l'infrastructure et facilite la justification de la décision suivante.

Votre prochaine charge de travail sur Hivenet.

Choisissez une charge de travail d’IA, de calcul ou de stockage à tester sur Hivenet, ou échangez avec notre équipe sur sa mise en production.