
Les modèles d’embedding transforment le texte en vecteurs numériques qu’un moteur de recherche peut comparer. Pour une application de recherche documentaire, la question utile est de savoir si ces comparaisons retrouvent les bons passages pour ses utilisateurs. Un score élevé à un benchmark ou un vecteur plus grand ne suffit pas à le déterminer.
Choisissez un modèle adapté à vos requêtes, documents, langues et contraintes d’exploitation, puis évaluez les candidats sur des exemples annotés. Ce guide porte sur les modèles d’embedding textuel préentraînés pour la recherche. Si vous construisez une couche qui associe des identifiants de tokens à des vecteurs appris, consultez le guide PyTorch nn.Embedding.
Commencez par une courte description : qui effectue les recherches, quelles questions sont posées, quels documents sont accessibles et ce qui constitue un résultat utile. Un agent de support qui cherche une réponse à une question client n’a pas le même besoin qu’une personne qui recherche des questions presque identiques.
Sentence Transformers distingue les recherches symétrique et asymétrique. Comparer des questions de longueur similaire est un exemple symétrique ; retrouver un passage plus long à partir d’une courte requête est un exemple asymétrique. Utilisez un modèle et une méthode d’encodage prévus pour la tâche. Les représentations des requêtes et des documents doivent être compatibles, même si leurs instructions diffèrent.
Une base de support en français et en anglais peut, par exemple, nécessiter qu’une question française retrouve une procédure anglaise. Ajoutez volontairement ces cas interlangues. La mention « multilingue » ne prouve pas que le modèle traite correctement votre vocabulaire produit, vos abréviations ou des paires de langues peu courantes.
Notez le nombre de fragments après découpage des documents, les longueurs habituelles et extrêmes, les changements quotidiens, les requêtes simultanées et la latence acceptable. Précisez aussi les contraintes de traitement des données pour tout service d’encodage hébergé. Ces éléments permettent d’écarter des candidats inadaptés avant une expérience plus large.
Le nom du modèle ne décrit qu’une partie de la configuration. Consignez sa révision, son tokenizer, sa limite d’entrée, la méthode d’agrégation ou de production du vecteur, les instructions des requêtes et des documents, la normalisation et la mesure de similarité compatible. Conservez aussi la version de la bibliothèque utilisée.
Les exemples suivants illustrent différentes contraintes. Ce sont des candidats à examiner, sans classement ni affirmation de supériorité sur des modèles plus récents. Les informations des fiches ont été vérifiées le 16 novembre 2026.
| Exemple de modèle | Dimensions du vecteur dense | Entrée et utilisation | Licence indiquée |
|---|---|---|---|
| all-MiniLM-L6-v2 | 384 | Encodeur anglais pour phrases et paragraphes courts ; troncature par défaut au-delà de 256 unités WordPiece. | Apache 2.0 |
| multilingual-e5-base | 768 | Multilingue ; troncature à 512 tokens. En recherche, utilise les préfixes query: et passage: , y compris pour les textes non anglais. | MIT |
| BGE-M3 | 1 024 | Multilingue ; longueur de séquence documentée de 8 192 tokens. Propose aussi des modes sparse et multivecteur ; cette comparaison porte sur sa sortie dense. | MIT |
Une limite en tokens n’est pas un nombre de mots. Examinez les entrées tokenisées réellement envoyées par l’application, préfixes obligatoires compris. Une séquence autorisée plus longue ne prouve pas qu’un seul vecteur conserve chaque détail pertinent d’un document. Comparez des découpages raisonnables et mesurez la troncature pour éviter qu’elle supprime silencieusement la réponse.
Examinez les fichiers de licence et les éventuelles conditions distinctes de l’hébergement avant adoption. Pour une API, vérifiez également la version exacte du modèle, les dimensions de sortie, les limites de requête, la conservation des données et l’annonce des changements de version. Un format d’API familier ne garantit pas un comportement d’embedding identique.
MTEB évalue plusieurs types de tâches d’embedding. Ses résultats peuvent aider à établir une sélection, mais une moyenne générale ne remplace pas l’évaluation des langues, du domaine et de la recherche qui vous intéressent.
Constituez un jeu de requêtes réalistes avec les identifiants des passages jugés pertinents. Incluez les demandes fréquentes, le vocabulaire métier, les cas multilingues, les identifiants exacts et les questions sans réponse dans le corpus. Réservez un jeu distinct à la comparaison finale pour éviter d’adapter progressivement l’expérience à ses propres exemples.
Comparez les candidats sur le même état du corpus et les mêmes annotations. Commencez avec un découpage, un nombre de résultats et des filtres d’accès constants, tout en appliquant le prétraitement exigé par chaque modèle. Si vous adaptez ensuite le découpage à un candidat, présentez cette modification séparément. Gardez une recherche par mots-clés comme référence, notamment pour les codes produit et les noms exacts.
Choisissez des métriques correspondant aux erreurs à réduire. Le rappel à k mesure la part des éléments connus comme pertinents qui sont retrouvés ; le MRR récompense un premier résultat pertinent bien placé. L’évaluateur de recherche de Sentence Transformers propose ces mesures et d’autres. Une revue plus simple peut compter les requêtes ayant au moins un résultat utile parmi les cinq premiers, mais nommez cette mesure explicitement au lieu de l’appeler « rappel ».
Examinez les erreurs par groupe de requêtes, au-delà de la moyenne générale. Traitez séparément les questions sans réponse et ne transposez pas un seuil de similarité inchangé d’un modèle à l’autre. Un score élevé ne prouve ni qu’un passage répond à la question, ni que l’utilisateur a le droit de le lire.
Avec un seul vecteur dense float32 par fragment, le volume brut correspond au nombre de fragments multiplié par le nombre de dimensions et par quatre octets. Le tableau suppose un million de fragments. Il s’agit d’un calcul, pas d’une mesure de base de données ou de mémoire d’exécution du modèle.
| Dimensions | Calcul | Volume brut des vecteurs |
|---|---|---|
| 384 | 1 000 000 × 384 × 4 octets | 1,536 Go, soit environ 1,43 Gio |
| 768 | 1 000 000 × 768 × 4 octets | 3,072 Go, soit environ 2,86 Gio |
| 1 024 | 1 000 000 × 1 024 × 4 octets | 4,096 Go, soit environ 3,81 Gio |
Un Go représente un milliard d’octets ; un Gio en représente 1 073 741 824. Ajoutez la structure de l’index, les textes conservés, les métadonnées, les répliques, les sauvegardes et l’espace temporaire de reconstruction au dimensionnement. Les poids du modèle et sa mémoire de travail sont encore distincts. Un million de documents sources peuvent produire bien davantage qu’un million de fragments.
Réduire les dimensions ou modifier la précision de stockage peut changer le volume et la qualité des résultats. Utilisez uniquement des configurations compatibles avec le modèle et l’index, puis répétez les contrôles de pertinence. Tronquer arbitrairement un vecteur ne remplace pas le choix d’un modèle adapté.
Mesurez trois charges : la construction initiale du corpus, les mises à jour documentaires et l’encodage des requêtes en ligne. La première peut bénéficier de grands lots. La dernière doit respecter la latence attendue sous plusieurs requêtes simultanées. Un seul débit ne décrit pas ces trois situations.
Pour chaque candidat, consignez le matériel, la distribution des longueurs d’entrée, la taille des lots, la précision, la mémoire utilisée et la prise en compte du démarrage. Mesurez des fragments ou tokens par seconde pour l’indexation, ainsi que des percentiles de latence pour les requêtes. Présentez séparément le chargement des documents, les transferts et l’écriture dans l’index pour ne pas confondre ingestion lente et modèle lent.
Estimez la durée d’une reconstruction à partir de cette charge mesurée, puis prévoyez les reprises et la capacité partagée. Un déploiement CPU peut suffire à une charge modeste ; un GPU mérite d’être testé lorsque le volume d’encodage le justifie. Choisissez selon la capacité mesurée et le coût d’exploitation complet, temps d’inactivité compris, sans supposer que tout service d’embedding exige un GPU.
Séparez les mesures d’encodage de la recherche, du reclassement et de la génération de réponse. Le guide sur les performances d’un pipeline RAG traite l’ensemble du traitement, où le modèle d’embedding n’est qu’une source possible de délai.
Deux modèles peuvent produire le même nombre de dimensions tout en utilisant des espaces vectoriels incompatibles. Sauf compatibilité explicitement établie, réencodez le corpus lorsque vous changez de modèle. Encodez chaque requête avec le modèle correspondant à l’index interrogé.
Construisez le nouvel index à côté de l’actuel. Comparez les résultats sur les requêtes réservées, mesurez la capacité, réconciliez les modifications et suppressions de documents, puis vérifiez les filtres d’accès avant de basculer le trafic. Prévoyez un retour arrière qui restaure ensemble l’encodeur et l’index correspondants.
Conservez la révision du modèle et la configuration de prétraitement avec la version de l’index. Si un nouveau tokenizer, une instruction, une règle de découpage ou une normalisation modifie la représentation, évaluez ce changement explicitement plutôt que de le traiter comme une mise à jour invisible.
Si votre équipe exploite l’encodeur et le service de recherche, Compute avec Hivenet fournit une infrastructure CPU et GPU à évaluer selon la charge mesurée. Prévoyez le service, les mises à jour, l’accès aux données et la reprise en même temps que le choix de l’instance.
Si le choix du modèle et le déploiement doivent être conçus ensemble, Private AI avec Hivenet permet de cadrer les besoins de modèle, de données, d’infrastructure, de région et d’exploitation. Apportez les éléments suivants pour partir de votre charge réelle :
Convenez du modèle exact, du comportement de l’API et des responsabilités d’exploitation avant d’adopter le service. La capacité d’hébergement ne démontre pas à elle seule la qualité des résultats : la décision doit relier les preuves de pertinence à un déploiement que votre équipe peut maintenir.
Choisissez une charge de travail d’IA, de calcul ou de stockage à tester sur Hivenet, ou échangez avec notre équipe sur sa mise en production.