
L’inférence par lots applique un modèle entraîné à un ensemble défini de données, sans exiger une réponse immédiate pour chaque entrée. Elle convient notamment à la classification nocturne de documents, à la génération planifiée d’embeddings ou à l’étiquetage d’images. La question utile est de savoir si le traitement complet peut aboutir correctement avant l’échéance, à un coût acceptable.
La vitesse du modèle ne suffit pas. Il faut aussi savoir quelles entrées ont été traitées, quelles sorties ont passé les contrôles et ce qui se produit lorsqu’un processus s’arrête à mi-parcours. Ce guide utilise un traitement nocturne fictif de classification de documents pour préciser ces décisions. Il décrit une architecture à évaluer, sans présenter de déploiement testé ni de benchmark GPU.
L’entraînement modifie les paramètres d’un modèle ; l’inférence utilise un modèle entraîné pour produire des prédictions ou du contenu. Dans un traitement par lots, une tâche parcourt un jeu de données fini et produit des résultats destinés à un usage ultérieur. Le terme « hors ligne » désigne généralement l’absence d’exigence de réponse interactive. Il ne signifie pas que le système est privé de connexion réseau.
Un service managé peut fournir cette interface de traitement. Par exemple, Amazon SageMaker Batch Transform permet d’effectuer l’inférence sur un jeu de données sans point de terminaison permanent. Vous pouvez aussi exploiter votre propre processus : vLLM documente l’inférence hors ligne via sa classe LLM. Ces deux documentations sont en anglais. Ces options répartissent différemment les responsabilités de planification, de reprise et d’exploitation de l’infrastructure.
| Terme | Décision concernée | Exemple |
|---|---|---|
| Inférence par lots hors ligne | Échéance d’un traitement défini | Classer les documents de la veille avant le rapport du matin |
| Taille du lot sur le matériel | Quantité de travail traitée ensemble sur un périphérique | Regrouper des entrées compatibles dans la mémoire disponible |
| Continuous batching | Ordonnancement des requêtes actives par un moteur d’inférence | Admettre de nouvelles séquences lorsque d’autres se terminent |
Un traitement hors ligne peut utiliser un moteur qui pratique le continuous batching en interne. Aucun de ces termes ne garantit un débit ou une remise tarifaire. Notre guide du continuous batching détaille ce comportement du moteur.
Supposons qu’une équipe doive classer 10 000 documents pendant la nuit. Le rapport du matin exige une catégorie approuvée par document valide, tandis que les fichiers illisibles doivent figurer dans un relevé d’exceptions. Avant de choisir une instance, définissez l’heure de livraison, les catégories autorisées et le caractère bloquant ou non des échecs d’inférence non résolus.
Utilisez un échantillon représentatif pour évaluer la qualité des sorties et estimer le travail. Incluez des documents longs, des langues moins fréquentes, des fichiers vides et des entrées proches des limites du modèle. Une estimation limitée à des exemples courts et propres peut masquer les cas qui dominent la durée ou la consommation mémoire. Réservez du temps pour le provisionnement, le chargement du modèle, les contrôles et la reprise, au lieu de consacrer toute la fenêtre à la génération.
Un service interactif convient lorsque les utilisateurs ou les applications attendent des réponses au fil des requêtes. Pour des traitements finis et récurrents dont l’échéance est souple, évaluez un processus lancé pour la tâche puis arrêté. Comparez le coût d’exploitation complet et la fiabilité des deux options ; un usage peu fréquent ne prouve pas à lui seul que le traitement par lots coûtera moins cher.
Créez un manifeste d’entrée avant de démarrer. Il doit identifier le jeu de données prévu et permettre de reconstituer le périmètre du traitement, même si la collection source change ensuite. Un manifeste utile contient :
Utilisez des copies immuables des entrées ou vérifiez que chaque objet référencé correspond encore au contenu enregistré avant de le traiter. Ne placez pas d’identifiants secrets dans le manifeste. Restreignez l’accès aux données sources, au texte généré et aux journaux selon leur sensibilité.
Un identifiant stable permet d’associer les résultats aux entrées, même lorsque les processus terminent dans un ordre différent. Conservez séparément les identifiants des tentatives. Une clé logique de sortie peut combiner la définition ou la version du traitement avec l’identifiant de l’entrée ; un changement de modèle ou de prompt doit créer une exécution distincte plutôt que remplacer silencieusement les éléments précédents.
Découpez le manifeste en blocs de taille maîtrisable. Leur taille détermine la répartition du travail et le périmètre d’une reprise ; elle ne doit pas nécessairement correspondre à la taille du lot traité par le modèle sur le matériel. Évitez une unité immense qu’il faudrait recommencer entièrement après un échec.
Pour un modèle de langage, tenez compte de la longueur des entrées, de celle des sorties attendues, de la mémoire utilisée et des limites du moteur. Des entrées de longueur similaire peuvent faciliter un ordonnancement efficace, mais conservez leurs identifiants et testez la charge réelle. Une erreur de mémoire insuffisante doit entraîner un ajustement contrôlé ou une exception, pas une répétition illimitée du même lot défaillant.
Le prétraitement sur CPU peut aussi limiter le débit. Mesurez séparément l’analyse des documents et la tokenisation avant d’augmenter la capacité GPU. Si vous parallélisez cette préparation, le guide Python multiprocessing présente les points à surveiller dans la gestion des processus. Un nombre accru de processus peut augmenter la pression mémoire et la contention : fixez des limites explicites de concurrence.
Enregistrez les résultats des tentatives et des contrôles au fil du traitement. Ne marquez un bloc comme validé qu’après avoir vérifié ses sorties et ses exceptions attendues. Si le résultat repose sur des fichiers ou des objets, publiez un manifeste de fin ou un pointeur une fois ces écritures réussies. Ne supposez pas que plusieurs écritures d’objets constituent une transaction atomique.
Un processus peut perdre sa connexion après avoir produit une sortie, mais avant d’avoir enregistré sa réussite. Une relance aveugle risque de créer des résultats ou des actions en double. L’article de l’AWS Builders’ Library sur les API idempotentes, en anglais, explique pourquoi une réponse incertaine ne signifie pas nécessairement que l’opération initiale a échoué.
Pour ce traitement, conservez un état final faisant autorité par clé logique de sortie et stockez les tentatives séparément. Coordonnez les processus pour que deux tentatives réussies ne puissent pas publier deux fois le même résultat logique. Faites respecter cette règle par la base de données ou le mécanisme de coordination choisi ; une convention de nommage ne suffit pas.
Retentez les échecs transitoires avec un délai et une limite. Placez les entrées invalides et les échecs persistants dans une file de vérification distincte. Au redémarrage, rapprochez les résultats déjà validés du manifeste avant de soumettre à nouveau le travail. Une reprise doit cibler les entrées non résolues, sauf si la définition du traitement a changé.
Une publication idempotente empêche les doublons logiques ; elle ne garantit pas que le modèle produira une sortie identique à chaque tentative. Conservez la sortie acceptée et sa provenance. Séparez du processus d’inférence les actions irréversibles, comme l’envoi de messages aux clients, et appliquez à cette étape ultérieure ses propres règles de prévention des doublons.
La fin normale d’un processus ne prouve pas que le jeu de données a été entièrement traité. Comparez les identifiants uniques au manifeste, détectez les entrées manquantes ou inattendues et recherchez les états finaux contradictoires. Vérifiez le schéma de sortie, les catégories autorisées et les champs obligatoires, puis examinez un échantillon pour évaluer la qualité métier.
| État final | Nombre illustratif | Conséquence pour la livraison |
|---|---|---|
| Sortie acceptée | 9 600 | Peut alimenter le rapport après les contrôles de qualité |
| Entrée rejetée | 300 | Figure dans le relevé documenté des exceptions |
| Échec non résolu | 100 | Nécessite une reprise ou une décision explicite de livraison |
| Total des entrées recensées | 10 000 | Correspond au manifeste, sans signifier que chaque entrée a réussi |
Ces chiffres sont fictifs. Ils illustrent le rapprochement des résultats, pas des performances mesurées. Les 100 échecs non résolus restent bloquants si la règle de livraison exige la classification de chaque document valide. Définissez les exceptions permises avant le traitement ; n’assouplissez pas discrètement la règle pour tenir l’échéance.
Mesurez la durée entre la soumission et la livraison validée, ainsi que le temps consacré à la préparation, au chargement du modèle, à la génération, aux nouvelles tentatives et aux contrôles. Recensez les sorties acceptées, les exceptions et les échecs non résolus. Le débit brut en tokens par seconde ne dit pas si le rapport est arrivé à temps.
Pour un périmètre comptable explicite, divisez le coût total du traitement par le nombre de sorties acceptées. Incluez le calcul pendant le démarrage et les périodes d’inactivité, le stockage, les transferts, les nouvelles tentatives et l’orchestration payante. Suivez séparément le travail d’ingénierie et de vérification, ou intégrez-le de manière cohérente dans les deux options. Si aucune sortie n’est acceptée, ce ratio n’a pas de valeur exploitable.
Comparez les configurations sur le même jeu de données et avec les mêmes critères d’acceptation. Une configuration plus rapide qui produit davantage de résultats inutilisables peut coûter plus cher par sortie acceptée. Arrêtez ou libérez les ressources après la livraison validée et appliquez la politique de conservation aux entrées, aux fichiers intermédiaires, aux journaux et aux sorties. Gardez suffisamment de traces pour analyser l’exécution.
Compute avec Hivenet fournit une infrastructure CPU et GPU à évaluer pour des traitements que vous exploitez. Object Storage avec Hivenet offre une option de stockage compatible S3 pour les jeux de données et les résultats. Confirmez la capacité, les accès, la compatibilité et les responsabilités d’exploitation pour la charge envisagée.
Cette architecture ne suppose pas que Hivenet fournisse une API Batch managée, une orchestration automatique des reprises ou une remise fixe sur l’inférence. Votre application doit toujours assurer les contrôles décrits ci-dessus. Pour une préparation plus large du déploiement, consultez notre guide de l’inférence LLM en production.
Pour discuter d’une charge d’inférence par lots, préparez le modèle et sa révision, le volume du jeu de données, la distribution des longueurs d’entrée et de sortie, l’échéance, un échantillon représentatif, les critères d’acceptation et les exigences de traitement des données. Ces éléments permettent de cadrer un essai du traitement complet, au-delà du simple chargement du modèle.
Choisissez une charge de travail d’IA, de calcul ou de stockage à tester sur Hivenet, ou échangez avec notre équipe sur sa mise en production.