
L'évaluation d'un LLM aide à déterminer si un changement de modèle ou d'application convient à une tâche précise. La question utile est de savoir si le système produit des résultats acceptables pour vos utilisateurs, dans les délais et le budget prévus. Un classement public ou une réponse impressionnante ne suffit pas à trancher.
Commencez par des cas représentatifs, définissez ce qu'est un résultat acceptable et comparez la version actuelle à la version candidate sur les mêmes entrées. Examinez les échecs avant de choisir. Une meilleure moyenne peut masquer une régression qui devrait bloquer la mise en production.
Précisez ce qui change : le modèle, le prompt, la recherche documentaire, la configuration d'inférence ou plusieurs composants ensemble. Si tout change à la fois, vous pouvez évaluer le système complet, mais vous ne pouvez pas attribuer la différence à un seul composant avec certitude.
Pour un assistant de support interne, réussir peut signifier répondre à partir de la règle actuelle, citer la source, demander une information manquante et refuser les demandes hors de son autorité. Définissez ces comportements avant de lire les réponses candidates. Sinon, une réponse séduisante peut modifier discrètement vos critères.
Séparez la qualité de la tâche et son exécution. Une réponse correcte qui arrive après le délai utile peut échouer à remplir la tâche. Une réponse rapide contenant une affirmation non étayée échoue également. Gardez visibles la justesse, les sources, l'achèvement, la latence et le coût, plutôt que de les réduire à une note inexpliquée.
Utilisez des cas qui reflètent le travail : demandes courantes, reformulations, entrées incomplètes, sources contradictoires, demandes hors périmètre et échecs connus. Incluez les langues et types de documents dont vos utilisateurs ont besoin. Cherchez d'abord à couvrir les situations utiles, avant d'agrandir le jeu.
La documentation MLflow sur les jeux d'évaluation décrit le stockage des entrées et des attentes pour comparer les versions d'une application. Un simple tableau peut suffire au départ ; un outil devient utile pour répéter les essais, conserver leur historique et partager la vérification.
Voici une structure de fiche pour un assistant fictif consacré aux frais professionnels. Toutes les règles, tous les cas et tous les résultats de cet article sont inventés pour l'illustration.
| Champ | Éléments à conserver |
|---|---|
| Identifiant du cas et demande | Un identifiant stable et la saisie exacte de l'utilisateur |
| Contexte autorisé | Les sources accessibles à cet utilisateur, avec leur version et leur date d'effet |
| Comportement attendu | Les faits requis, une clarification ou un refus acceptable, et les affirmations interdites |
| Gravité de l'échec | Les erreurs de qualité ordinaires et celles qui bloquent la mise en production |
| Sortie et statut observés | La réponse complète, les erreurs, le délai dépassé et l'état d'achèvement |
| Compte rendu de vérification | La note, les preuves, la personne chargée de vérifier, les désaccords et la décision finale |
Par exemple, une demande porte sur le respect du délai de déclaration d'une dépense, sans préciser la date d'achat. Le comportement attendu consiste à demander cette date. Une réponse qui l'invente échoue, même si son explication de la règle semble correcte.
N'imposez pas une phrase exacte lorsque plusieurs réponses sont valides. Notez les faits et le comportement qui comptent. En revanche, un identifiant, une date, une catégorie ou un résultat numérique peut nécessiter un contrôle exact.
Utilisez un jeu de développement pour réviser les prompts, choisir les paramètres et améliorer les critères de notation. Conservez un autre jeu pour la comparaison finale. Ajuster sans cesse le système après avoir examiné les mêmes cas finaux réduit la valeur de leur score pour estimer les résultats sur des demandes nouvelles.
Les conseils de scikit-learn sur les fuites de données expliquent pourquoi les données de test ne doivent pas guider le choix du modèle. Appliquez cette séparation à votre évaluation : évitez que des questions presque identiques ou des versions proches d'un document rendent le test artificiellement facile.
Documentez la sélection des cas. Un jeu volontairement difficile aide à trouver des faiblesses, mais son taux de réussite n'estime pas la réussite quotidienne si sa composition ne reflète pas le trafic réel. Ajoutez des cas récents lorsque les usages évoluent, tout en conservant les anciens échecs pour détecter les régressions.
Utilisez des contrôles déterministes pour les propriétés directement vérifiables : champs requis, identifiants valides, catégories autorisées ou calcul dont le résultat est connu. Respecter un format ne prouve pas qu'une affirmation est vraie.
Faites intervenir une personne pour vérifier les sources, les ambiguïtés et les jugements propres au domaine. Donnez aux évaluateurs la même grille et les mêmes sources autorisées. En cas de désaccord, consignez la raison et tranchez ; le problème peut venir d'une attente imprécise plutôt que du modèle.
Un LLM utilisé comme juge peut aider à examiner beaucoup de réponses, mais ses notes doivent être comparées aux décisions humaines. La documentation MLflow sur les évaluateurs distingue les contrôles par code des juges fondés sur un modèle et recommande leur alignement avec les retours humains. Conservez le modèle juge, son prompt, sa grille et sa version. Une explication assurée du juge ne constitue pas une preuve indépendante de justesse.
Masquez le nom des modèles aux évaluateurs lorsque c'est possible et examinez les désaccords entre méthodes. Gardez les informations sensibles dans l'environnement d'évaluation autorisé pour ces données.
La comparaison suivante repose sur huit cas dont les résultats ont été attribués par l'auteur. Aucun modèle n'a été appelé et ces pourcentages ne sont pas des résultats de benchmark. « Réussi » signifie que le comportement attendu est satisfait dans l'illustration.
| Cas | Comportement attendu | Référence | Version candidate |
|---|---|---|---|
| E1: Question directe sur une règle | Répondre 30 jours et citer la règle v2 | Réussi | Réussi |
| E2: Question reformulée | Reconnaître le même délai de remboursement de frais | Réussi | Réussi |
| E3: Date d'achat manquante | Demander la date manquante sans l'inventer | Échec | Réussi |
| E4: Ancienne règle dans le contexte | Utiliser la règle v2 actuelle et expliquer le conflit | Échec | Réussi |
| E5: Document à accès restreint | Ne pas révéler le contenu restreint | Réussi | Échec (critique) |
| E6: Demande d'exécution d'un paiement | Expliquer la limite sans prétendre avoir effectué le paiement | Réussi | Réussi |
| E7: Question en deux parties | Préciser le délai et le justificatif requis | Échec | Échec |
| E8: Délai de réponse dépassé | Compter le délai dépassé comme un échec de la tâche | Échec | Échec |
La référence réussit 4 cas sur 8, soit 50 %. La version candidate en réussit 5 sur 8, soit 62,5 %. Le gain est de 12,5 points de pourcentage : deux cas s'améliorent et un régresse. Les deux versions échouent encore à la question en deux parties et au cas de délai dépassé.
La régression sur le document restreint change la décision. Selon la règle de cet exemple, toute régression critique bloque la mise en production ; la version candidate reste donc en attente malgré sa meilleure moyenne. Les échecs de la référence demandent également une correction. Cette comparaison ne prouve donc pas que l'un ou l'autre système soit prêt pour la production.
Le cas du contenu restreint représente une défaillance fictive injectée volontairement dans un test contrôlé. En production, la recherche doit faire respecter les droits de l'utilisateur avant de transmettre des documents au modèle. Le refus du modèle est une limite supplémentaire à évaluer, pas un système de contrôle d'accès.
Conservez les requêtes échouées au dénominateur. Retirer le délai dépassé gonflerait les deux taux de réussite et masquerait un échec d'exécution. Pour une évaluation réelle, répétez les cas dont les sorties varient, indiquez le nombre d'essais et examinez séparément les groupes importants. Huit cas inventés ne permettent pas d'établir une confiance statistique ni une fiabilité en production.
Mesurez le temps entre la requête applicative et un résultat accepté, en incluant recherche, files d'attente, nouvelles tentatives, validation et éventuelle vérification humaine. La vitesse de génération des tokens ne décrit qu'une partie de l'expérience. Testez avec les tailles de requêtes et la concurrence prévues ; un essai sans charge n'établit pas la capacité en période d'activité.
Pour calculer le coût par résultat accepté, divisez le coût complet du traitement évalué par le nombre de résultats qui respectent les règles d'acceptation. Incluez les tentatives échouées, les reprises, les appels d'évaluation et le travail de vérification, dans un périmètre de calcul explicite. Si aucun résultat ne convient, signalez cet échec au lieu d'afficher un coût unitaire trompeur.
Séparez la qualité des réponses du diagnostic opérationnel. Notre guide de supervision LLM avec Hivenet Router suit les échecs d'exécution dans les traces de requêtes et les moteurs d'inférence. Ces signaux aident à expliquer un essai échoué ; ils ne notent pas l'exactitude factuelle de la réponse.
Conservez assez de contexte pour qu'une autre personne comprenne la comparaison. Un compte rendu concis devrait inclure :
Envisagez un déploiement limité lorsque les éléments le permettent, puis surveillez les nouvelles catégories d'échecs. Gardez un moyen de revenir à la configuration précédente. Répétez les tests pertinents après tout changement de modèle, prompt, données, routage ou méthode de notation. Si un mécanisme de repli peut sélectionner un autre modèle, évaluez aussi ce parcours.
Private AI avec Hivenet permet d'aborder les données, le modèle, le déploiement et l'exploitation d'un traitement. Préparez des entrées représentatives, les sources autorisées, une référence, les échecs inacceptables et un budget de latence avant de discuter du projet avec Hivenet.
Si votre équipe exploite son application ou son moteur d'inférence, Compute with Hivenet fournit une infrastructure CPU et GPU. L'évaluation reste du ressort de l'application : choisir une capacité ne prouve pas la qualité des réponses. Un jeu de test clair donne un objectif concret à la discussion sur l'infrastructure et facilite la justification de la décision suivante.
Choisissez une charge de travail d’IA, de calcul ou de stockage à tester sur Hivenet, ou échangez avec notre équipe sur sa mise en production.