TOPS vs FLOPS et les indicateurs de performance IA qui comptent

Un processeur d'IA affiche 50 TOPS.

Un autre en annonce plus de 3 000.

Le second est-il environ 60 fois plus rapide ?

Presque certainement pas.

AMD propose actuellement des processeurs Ryzen AI dotés de NPU atteignant jusqu'à 50 TOPS. NVIDIA annonce la GeForce RTX 5090 à 3 352 AI TOPS, accompagnée de 32 Go de mémoire GDDR7 et d'une bande passante mémoire de 1 792 Go/s. Ces chiffres décrivent des processeurs très différents fonctionnant sous des contraintes distinctes. Diviser un chiffre de TOPS par l'autre ne vous indique pas à quelle vitesse l'un ou l'autre système transcrira un audio, générera une image, exécutera un modèle de langage local ou servira un LLM. AMD et NVIDIA publient les spécifications sous-jacentes.

C'est là tout le problème des chiffres de performance en IA.

Ils sont utiles.

Ils sont aussi faciles à utiliser hors du contexte qui leur donne du sens.

Les TOPS mesurent un taux théorique d'opérations. Les FLOPS mesurent un taux théorique ou atteint d'opérations en virgule flottante. Aucun des deux ne mesure votre application.

Pour comprendre les performances réelles en IA, il faut finir par délaisser la fiche technique pour mesurer la charge de travail.

Que sont les TOPS en IA ?

TOPS signifie billions d'opérations par seconde.

Un TOPS représente mille milliards d'opérations numériques chaque seconde.

Les fabricants de puces d'IA utilisent couramment les TOPS pour décrire la capacité de calcul maximale des unités de traitement neuronal, des accélérateurs d'IA et des autres matériels conçus pour les opérations d'apprentissage automatique.

Qualcomm décrit les TOPS comme une mesure de la performance potentielle maximale d'inférence IA et explique un calcul courant utilisant le nombre d'unités de multiplication-accumulation et leur fréquence de fonctionnement :

TOPS = 2 × unités MAC × fréquence ÷ 1 billion

Le facteur deux est utilisé car une opération de multiplication-accumulation peut compter la multiplication et l'addition comme deux opérations distinctes. Qualcomm précise également que l'INT8 est une précision courante utilisée pour rapporter les TOPS d'inférence NPU. (Guide de Qualcomm sur les TOPS IA)

Plusieurs points méritent déjà d'être soulignés.

Ce chiffre dépend de :

• la manière dont une opération est comptabilisée ;
• le nombre d'unités de calcul disponibles ;
• la fréquence du processeur ;
• la précision numérique ;
• l'architecture mesurée.

C'est pourquoi les TOPS doivent être considérés comme une capacité matérielle maximale sous des hypothèses définies, et non comme une prédiction des performances applicatives.

Que signifient 40 TOPS ?

Le nombre 40 revient fréquemment dans les discussions sur les PC IA, car Microsoft l'utilise dans le cadre des exigences matérielles pour les PC Copilot+.

Les directives actuelles de Microsoft pour les développeurs indiquent que de nombreuses fonctionnalités IA des PC Copilot+ nécessitent un NPU capable d'atteindre 40 TOPS ou plus. (Directives de Microsoft pour les développeurs de PC Copilot+)

Cela ne fait pas des 40 TOPS un seuil universel pour distinguer un processeur IA « lent » d'un processeur « rapide ».

Cela signifie que les 40 TOPS sont pertinents pour une catégorie spécifique d'appareils et de charges de travail Microsoft.

Un accélérateur de 20 TOPS peut être parfaitement capable d'exécuter un petit modèle de vision par ordinateur.

Un NPU de 50 TOPS peut s'avérer totalement inadapté à un grand LLM, car le modèle ne tient pas dans la mémoire disponible ou n'est pas pris en charge par l'environnement d'exécution.

Un GPU de plusieurs milliers de TOPS peut passer la majeure partie de son temps à attendre la mémoire lors d'une charge de travail d'inférence spécifique.

C'est la charge de travail qui détermine la signification du chiffre.

Qu'est-ce que les FLOPS ?

FLOPS signifie opérations en virgule flottante par seconde.

Cette mesure décrit la vitesse à laquelle un processeur ou un système peut effectuer des calculs en virgule flottante.

Les préfixes indiquent l'échelle :

• GFLOPS : milliards d'opérations en virgule flottante par seconde
• TFLOPS : billions
• PFLOPS : quadrillions
• EFLOPS : quintillions

Les FLOPS sont utilisés depuis longtemps dans le calcul scientifique et le calcul haute performance, car ces charges de travail dépendent souvent fortement des calculs en virgule flottante.

L'IA utilise également la virgule flottante, notamment lors de l'entraînement des modèles, mais l'apprentissage automatique moderne s'appuie de plus en plus sur divers formats numériques.

Une charge de travail d'entraînement peut utiliser FP32, TF32, BF16, FP16 ou FP8.

L'inférence peut utiliser FP16, FP8, INT8, INT4, FP4 ou un mélange de formats.

Cela signifie qu'un chiffre en TFLOPS est incomplet tant que vous ne connaissez pas la précision en virgule flottante qu'elle décrit.

TOPS vs FLOPS

La distinction la plus simple est la suivante :

‍

‍

Les TOPS et les FLOPS décrivent la capacité de calcul.

Les autres mesures se rapprochent progressivement du travail que l'utilisateur a réellement demandé au système d'effectuer.

Un FLOP et des FLOPS ne sont pas tout à fait la même chose

Les articles sur l'IA rendent parfois la terminologie confuse.

Un FLOP peut désigner une opération en virgule flottante.

Les chercheurs peuvent donc décrire un modèle comme nécessitant un certain nombre de FLOP pour fonctionner. Dans ce contexte, ils parlent d'une quantité de travail de calcul.

Les FLOPS, avec « par seconde » sous-entendu, décrivent une vitesse.

Donc :

FLOP du modèle = la quantité de travail arithmétique requise

tandis que :

FLOPS du matériel = la vitesse à laquelle les opérations en virgule flottante peuvent être exécutées, théoriquement ou réellement

La casse n'est pas toujours utilisée de manière cohérente dans la pratique ; fiez-vous donc au contexte plutôt qu'à la typographie.

La précision peut modifier radicalement le nombre

C'est l'un des pièges les plus courants lors de la comparaison de matériel dédié à l'IA.

Un entier 8 bits occupe un quart de l'espace de stockage d'une valeur 32 bits.

Une valeur 4 bits nécessite deux fois moins de bits.

Le matériel peut donc intégrer davantage d'opérations arithmétiques de faible précision dans un même espace, transférer moins de données via la mémoire et potentiellement exécuter plus d'opérations en parallèle.

C'est pourquoi une même puce peut afficher un débit de pointe radicalement différent selon le format numérique utilisé.

Le débit :

FP32

d'un processeur ne peut pas être simplement comparé au :

nombre de TOPS INT8

d'un autre, comme si ces valeurs mesuraient la même charge de travail.

Ce n'est pas le cas.

La précision affecte également le modèle.

Réduire un modèle de FP16 à INT8 ou INT4 peut réduire considérablement les besoins en mémoire, mais la qualité doit être testée et les gains de vitesse dépendent de l'existence de noyaux efficaces pour le format choisi. Notre guide sur la quantification des LLM traite ce compromis en détail.

Cela est particulièrement pertinent pour la comparaison entre NPU et GPU . Les NPU sont souvent mis en avant pour leurs performances en IA basse précision, tandis que les GPU proposent plusieurs chemins de calcul adaptés à différentes précisions et charges de travail.

Un même processeur peut afficher plusieurs niveaux de performance

Un accélérateur moderne n'est pas un simple moteur arithmétique.

Un GPU peut contenir :

• des unités d'exécution de shaders ou CUDA ;
• des Tensor Cores ;
• du matériel spécialisé pour le ray-tracing ;
• des encodeurs et décodeurs multimédias ;
• des caches et des contrôleurs mémoire.

Un processeur pour PC IA peut contenir :

• des cœurs CPU ;
• des cœurs GPU intégrés ;
• une NPU.

Intel, par exemple, communique séparément sur les capacités IA du CPU, du GPU et de la NPU de ses plateformes PC IA, car ces processeurs peuvent tous contribuer à différents types d'accélération. (PC IA Intel)

Additionner ces chiffres peut s'avérer utile lorsqu'une charge de travail logicielle est réellement capable d'exploiter l'ensemble des processeurs.

Cela ne signifie pas qu'un modèle bénéficie automatiquement de la somme de tous les chiffres TOPS annoncés.

Le logiciel doit répartir la charge de travail.

La performance de pointe n'est pas la performance durable

Les TOPS et les FLOPS de pointe supposent que le matériel de calcul concerné peut fonctionner proche de son régime maximal.

Les processeurs réels rencontrent des limites.

La température augmente.

Les limites de puissance interviennent.

La mémoire ralentit.

Des dépendances apparaissent.

Certaines unités d'exécution restent inactives.

Le logiciel ne parvient pas à planifier suffisamment de tâches en parallèle.

Une opération bascule sur le processeur.

Un ordinateur portable modifie ses performances lorsqu'il fonctionne sur batterie.

Les chiffres de performance maximale donnent tout de même une indication sur le plafond matériel.

Ils ne vous disent pas à quel point votre application s'en approchera.

Cela devient particulièrement important avec le matériel d'IA en périphérie, où les limites thermiques et de puissance durables peuvent être tout aussi déterminantes que le pic de performance à court terme du processeur.

La mémoire peut rendre les TOPS non pertinents

Supposons qu'un processeur dispose d'un débit d'IA énorme.

Votre modèle nécessite 40 Go de mémoire.

L'appareil en possède 16 Go.

La comparaison des performances est terminée avant même que la vitesse de calcul ne devienne pertinente.

Les charges de travail liées à l'IA dépendent autant du système mémoire que des unités de calcul.

Les spécifications utiles incluent :

• la capacité mémoire ;
• la bande passante mémoire ;
• la mémoire cache ;
• le type de mémoire ;
• la mémoire partagée par rapport à la mémoire dédiée ;
• la bande passante d'interconnexion de l'accélérateur.

Les spécifications actuelles de la RTX 5090 de NVIDIA rendent cette distinction visible. Le GPU est évalué à 3 352 TOPS IA, mais il offre également 32 Go de mémoire GDDR7 et 1 792 Go/s de bande passante mémoire. Ces chiffres relatifs à la mémoire peuvent être déterminants pour les modèles qui déplacent fréquemment des poids importants et des données de cache KV.

C'est pourquoi un modèle peut s'exécuter plus rapidement sur un matériel ayant un pic arithmétique théorique inférieur si ce matériel est mieux adapté au comportement mémoire du modèle.

L'inférence des LLM est souvent limitée par le transfert de données

Les grands modèles de langage lisent à plusieurs reprises les poids du modèle depuis la mémoire lors de la génération de jetons.

Pendant la phase de pré-remplissage (prefill), le modèle traite l'invite d'entrée avec un parallélisme considérable.

Lors du décodage, les jetons de sortie sont générés les uns après les autres, et le transfert de mémoire peut devenir une contrainte majeure.

Cela signifie qu'ajouter de la puissance de calcul théorique ne produit pas nécessairement des augmentations proportionnelles de la vitesse de génération des jetons.

Le processeur peut déjà disposer d'une capacité arithmétique suffisante.

Ce dont il a besoin, c'est d'un accès plus rapide aux données qui alimentent ces calculs.

C'est l'une des raisons pour lesquelles Accélérateur IA vs GPU les comparaisons doivent prendre en compte l'architecture mémoire, le traitement par lots et le logiciel de service, en plus de la puissance de calcul de pointe.

Les TOPS ne sont pas équivalents aux jetons par seconde

Une spécification TOPS ne donne aucune indication directe sur la vitesse à laquelle un LLM générera du texte.

Le nombre de jetons par seconde dépend de l'ensemble du système.

Cela inclut :

• l'architecture du modèle ;
• le nombre de paramètres ;
• la quantification ;
• la longueur de l'invite ;
• la longueur de la sortie ;
• la mémoire de l'accélérateur ;
• la bande passante mémoire ;
• la taille des lots ;
• la concurrence ;
• le moteur de service ;
• les noyaux ;
• la gestion du cache KV ;
• le décodage spéculatif ;
• la version du logiciel.

C'est pourquoi les tests de la RTX 5090 réalisés par Hivenet ont mesuré le débit réel de jetons en utilisant une charge de travail Llama définie et vLLM, plutôt que de déduire la vitesse d'inférence à partir du chiffre AI TOPS de NVIDIA.Benchmark Hivenet RTX 5090)

Ce benchmark est plus pertinent pour cette charge de travail car il mesure précisément ce que le système est censé accomplir.

Les indicateurs de performance LLM les plus utiles

Pour le déploiement de modèles de langage, les performances brutes de la puce deviennent rapidement secondaires.

Un petit groupe d'indicateurs liés à la charge de travail est bien plus révélateur.

Temps jusqu'au premier jeton

Le TTFT mesure le délai entre l'envoi d'une requête et la réception du premier jeton généré.

Les utilisateurs ressentent directement ce délai.

Un modèle capable de générer du texte très rapidement peut sembler lent si rien ne se passe pendant plusieurs secondes après que l'utilisateur a appuyé sur Entrée.

Le TTFT inclut des opérations telles que le traitement de la requête et le pré-remplissage du prompt.

Pour les applications interactives, privilégiez les centiles plutôt qu'une simple moyenne.

Le P50 reflète l'expérience utilisateur type.

Le P95 et le P99 révèlent ce que vivent les utilisateurs les moins favorisés.

Notre guide des indicateurs d'inférence LLM détaille le TTFT, le débit, les files d'attente, la marge de mémoire et le comportement du cache.

Temps par jeton de sortie

Le TPOT mesure le temps moyen nécessaire pour générer chaque jeton après l'arrivée du premier.

Un TPOT plus faible est généralement synonyme d'une génération plus fluide.

L'inverse est étroitement lié au taux de génération de jetons.

Pour du texte interactif, le TTFT et le TPOT sont tous deux importants.

L'un mesure le temps d'attente de l'utilisateur avant que quelque chose ne se produise.

L'autre mesure la vitesse à laquelle la réponse se poursuit une fois la génération commencée.

MLCommons utilise le TTFT et le temps par jeton de sortie dans ses benchmarks actuels de serveurs LLM, car ces deux phases représentent des aspects différents des performances de service. (Inférence LLM MLPerf)

Jetons par seconde

Le nombre de jetons par seconde mesure le débit de génération de jetons.

Malheureusement, cette métrique est souvent rapportée de manière ambiguë.

Elle peut désigner :

• le nombre de jetons par seconde pour une requête ;
• le nombre de jetons de sortie par seconde ;
• le nombre total de jetons par seconde du système pour toutes les requêtes simultanées ;
• le cumul des jetons d'entrée et de sortie.

Ces chiffres ne sont pas interchangeables.

Un benchmark qui affiche « 2 000 jetons/s » sans préciser ce qui est comptabilisé est difficile à interpréter.

Posez toujours la question :

par requête ou au total ?

entrée ou sortie ?

à quel niveau de concurrence ?

sous quelle limite de latence ?

Débit

Le débit mesure la quantité de travail utile qu'un système accomplit sur une période donnée.

Pour le service de LLM, cela peut correspondre à :

• requêtes par seconde ;
• tokens de sortie par seconde ;
• nombre total de tokens par seconde.

Pour la vision :

• images par seconde ;
• images par seconde (fps).

Pour un service d'embedding :

• documents par seconde ;
• tokens vectorisés par seconde.

Le débit est particulièrement important pour la rentabilité en production, car il détermine la demande qu'un accélérateur peut absorber.

Un débit élevé est moins impressionnant si les utilisateurs doivent attendre trop longtemps pour obtenir une réponse.

C'est pourquoi la latence et le débit doivent être mesurés conjointement.

La latence et le débit sont souvent en opposition

Le traitement par lots de plusieurs requêtes peut rendre un accélérateur beaucoup plus efficace.

Cela peut toutefois entraîner une attente pour les requêtes individuelles.

Augmenter le traitement par lots peut améliorer le débit global, mais au détriment de la latence.

Réduire le traitement par lots permet aux utilisateurs individuels de bénéficier de réponses plus rapides, mais entraîne une baisse de l'utilisation des accélérateurs.

Aucun de ces résultats n'est universellement préférable.

Une tâche de traitement de documents hors ligne privilégiera probablement un débit maximal.

Un système de saisie semi-automatique se souciera bien davantage de la latence.

MLPerf utilise explicitement différents scénarios et contraintes de latence, car les systèmes d'IA sont déployés selon des modèles de charge de travail variés. La suite MLPerf Inference actuelle évalue des systèmes complets en utilisant des jeux de données, des objectifs de qualité, des modèles de requêtes et des mesures de performance définis, plutôt qu'une simple spécification arithmétique de pointe. (MLPerf Inference)

C'est une méthode bien plus pertinente pour comparer le matériel dédié à l'IA.

La concurrence modifie encore la donne

Un benchmark réalisé avec un seul utilisateur ne vous apprendra presque rien sur un service censé gérer 1 000 utilisateurs.

À mesure que la concurrence augmente :

• des files d'attente se forment ;
• les lots s'agrandissent ;
• la mémoire cache KV augmente ;
• l'utilisation du GPU évolue ;
• le TTFT change ;
• le débit varie ;
• la mémoire peut saturer.

Un GPU qui semble plus lent lors de tests à requête unique peut devenir bien plus efficace une fois que le moteur de service traite de nombreuses requêtes par lots.

Un autre accélérateur peut exceller dans la génération de flux unique à faible latence, mais se comporter différemment en cas de concurrence.

Le seul benchmark utile est celui qui reproduit le modèle de trafic de votre application.

Le P50 ne suffit pas

La latence moyenne est rassurante.

C'est dans la latence de queue que se cachent les problèmes de production.

Supposons qu'un service présente les caractéristiques suivantes :

• TTFT P50 : 300 ms
• TTFT P95 : 2,4 s
• TTFT P99 : 8,1 s

La moyenne peut sembler acceptable.

Une part significative des utilisateurs vit une mauvaise expérience.

Pour les systèmes interactifs, mesurez au moins :

• Le P50 ;
• Le P95 ;
• Le P99.

Et testez-les lorsque le service est soumis à une charge réaliste.

La qualité du modèle doit faire partie de tout benchmark de performance

Un modèle qui génère des réponses deux fois plus vite après une quantification agressive peut aussi produire des réponses de moindre qualité.

Ce n'est pas nécessairement une amélioration des performances.

Il s'agit peut-être d'un produit différent.

Les benchmarks matériels et de modèles nécessitent donc des contraintes de qualité.

MLPerf associe des exigences de précision ou de qualité aux tests de performance afin d'empêcher les systèmes de revendiquer une vitesse supérieure en dégradant simplement la charge de travail au-delà de l'objectif de qualité accepté par le benchmark. (Documentation MLPerf Inference)

Le même principe devrait s'appliquer à vos propres tests.

Lors de la comparaison :

• du FP16 avec l'INT8 ;
• d'une méthode de quantification avec une autre ;
• d'un accélérateur avec un autre ;
• d'un moteur de service avec un autre ;

vérifiez que le modèle résultant exécute toujours la tâche avec une précision suffisante.

La vitesse sans une qualité de sortie acceptable n'a que peu de valeur opérationnelle.

Que faut-il mesurer pour l'entraînement en IA ?

L'entraînement poursuit des objectifs différents de ceux de l'inférence.

Les métriques pertinentes changent.

Temps d'entraînement

Combien de temps le modèle met-il pour atteindre la qualité requise ?

C'est souvent la métrique de performance d'entraînement la plus directe.

Une machine produisant davantage de FLOPS bruts peut néanmoins être plus lente si la communication, la mémoire, le logiciel ou la mise à l'échelle sont inefficaces.

MLPerf Training suit cette logique en mesurant le temps nécessaire pour entraîner des modèles définis jusqu'à des objectifs de qualité spécifiés. (Entraînement MLPerf)

Débit d'entraînement

Selon la charge de travail, le débit peut être mesuré en :

• échantillons par seconde ;
• images par seconde ;
• jetons par seconde ;
• séquences par seconde.

Cela indique la quantité de données d'entraînement traitées par le système au fil du temps.

Encore une fois, cette mesure n'est pertinente que si la configuration d'entraînement et l'objectif de qualité restent comparables.

Efficacité de mise à l'échelle

L'ajout d'un second GPU ne réduit pas automatiquement le temps d'entraînement de moitié.

Huit GPU ne permettent pas non plus d'obtenir une amélioration automatique par huit.

Les charges de travail distribuées nécessitent que les processeurs échangent des gradients, des activations, des paramètres et d'autres données.

L'efficacité de l'interconnexion et de la communication devient donc cruciale.

Le benchmark actuel de Hivenet sur GPU VM vs bare metal mesure la bande passante NCCL AllReduce sur un hôte équipé de huit RTX 5090, car les performances de communication deviennent déterminantes dès lors que le travail est réparti sur plusieurs GPU.

C'est un autre exemple de l'importance de mesurer le goulot d'étranglement réel plutôt que de se fier au débit théorique maximal de la puce.

Notre prochain article sur matériel d'entraînement vs matériel d'inférence abordera ces différences en détail.

Que faut-il mesurer pour l'IA en périphérie (edge AI) ?

Les systèmes en périphérie répondent à une hiérarchie de préoccupations différente.

Un appareil peut se soucier de :

• la latence d'inférence ;
• la performance soutenue ;
• l'empreinte mémoire ;
• l'énergie par inférence ;
• la consommation en watts sous charge continue ;
• la limitation thermique ;
• la taille du modèle ;
• la précision ;
• la fiabilité hors ligne.

Le nombre de TOPS en crête peut vous aider à déterminer si un NPU ou un accélérateur embarqué appartient à la bonne catégorie.

Il ne vous dira pas si l'appareil peut exécuter votre modèle pendant huit heures dans un boîtier scellé sans subir de limitation thermique.

C'est pourquoi le matériel d'IA en périphérie doit être évalué en tant que système physique complet.

L'efficacité énergétique nécessite une unité de travail utile

Les watts indiquent la consommation électrique.

Ils n'indiquent pas l'efficacité.

Imaginez :

• Le processeur A consomme 100 W pendant dix secondes.
• Le processeur B consomme 300 W pendant une seconde.

Le processeur B a une consommation électrique plus élevée.

Le processeur A a utilisé plus d'énergie totale pour cette tâche.

Une meilleure comparaison pourrait donc utiliser :

• joules par inférence ;
• images par joule ;
• jetons par joule ;
• tâches terminées par kilowattheure.

Même dans ce cas, maintenez la qualité de sortie et les exigences de latence constantes.

Un accélérateur basse consommation qui ne peut pas atteindre l'objectif de débit du service n'est pas nécessairement le déploiement le plus efficace.

Le coût nécessite également une unité de travail utile

Les prix horaires des GPU sont faciles à comparer.

Ils peuvent aussi être trompeurs.

Supposons :

• Le GPU A coûte 1 € par heure.
• Le GPU B coûte 2 € par heure.

Si le GPU B traite trois fois plus de requêtes acceptables au cours de cette heure, son coût par requête est inférieur.

Les indicateurs économiques utiles incluent :

• le coût par inférence ;
• le coût par image ;
• le coût par million de jetons ;
• le coût par cycle d'entraînement ;
• le coût pour atteindre une qualité de modèle cible ;
• le coût par utilisateur simultané respectant un objectif de latence.

Pour les accélérateurs spécialisés, incluez également les coûts d'ingénierie et de migration.

Notre guide sur l'inférence par accélérateur IA vs GPU explique pourquoi une puce d'inférence théoriquement efficace peut s'avérer coûteuse si la transition logicielle nécessite des semaines de travail d'ingénierie.

Le taux d'utilisation détermine la performance réelle dont vous bénéficiez

Un GPU utilisé à 20 % peut représenter un mauvais choix économique, même si ses résultats aux tests de performance sont excellents.

L'objectif n'est pas de posséder le processeur le plus rapide.

Il s'agit de maintenir une charge de travail utile suffisante sur le processeur.

Les moteurs d'inférence améliorent l'utilisation grâce à des techniques telles que :

• le traitement par lots continu (continuous batching) ;
• la gestion de la mémoire cache KV paginée ;
• les noyaux optimisés ;
• quantification ;
• ordonnancement des requêtes.

Les ressources existantes de Hivenet, le guide de production pour l'inférence LLM et le guide des métriques d'inférence abordent directement ces problématiques de service.

C'est une raison majeure pour optimiser le logiciel avant de remplacer le matériel.

Le logiciel peut modifier radicalement les performances matérielles

Deux GPU identiques peuvent produire des résultats de benchmark différents.

L'un peut utiliser :

• un framework plus ancien ;
• des noyaux inefficaces ;
• une version différente de CUDA ;
• un mauvais traitement par lots ;
• un format de quantification inadapté ;
• une allocation mémoire non optimisée.

La spécification matérielle n'a pas changé.

Les performances du système, si.

Les accélérateurs spécialisés rendent cette relation avec le logiciel encore plus visible, car les modèles nécessitent souvent des compilateurs, des environnements d'exécution ou des fournisseurs d'exécution spécifiques au fabricant.

C'est pourquoi notre guide des accélérateurs d'IA considère le support logiciel comme faisant partie intégrante du choix matériel.

Pour des systèmes d'IA réels :

performance matérielle = matériel + modèle + précision + moteur d'exécution + configuration logicielle + charge de travail

Si vous supprimez l'un de ces éléments, la comparaison perd de sa pertinence.

Les TOPS des NPU sont utiles dans le cadre d'une comparaison appropriée

Cela ne signifie pas pour autant que les TOPS sont une mauvaise mesure.

Ils deviennent utiles lorsque vous comparez des matériels similaires dans des conditions similaires.

Par exemple, deux NPU d'une même génération de produits, affichant des performances de pointe en INT8 dense selon la même méthode de calcul, peuvent être raisonnablement comparés via les TOPS comme un élément parmi d'autres dans la prise de décision.

Si l'un offre 50 TOPS et l'autre 20, le premier dispose d'une capacité arithmétique théorique supérieure pour l'IA dans ces conditions.

Posez ensuite les questions suivantes :

• Mon modèle fonctionne-t-il sur les deux ?
• Prennent-ils en charge les mêmes opérateurs ?
• Quel système mémoire chacun utilise-t-il ?
• Quelle est leur consommation électrique ?
• Quelle performance maintiennent-ils sur la durée ?
• Quelle est la vitesse d'exécution de mon modèle réel ?

Les TOPS permettent de restreindre le champ des possibles.

Ils ne doivent pas constituer l'étape finale de l'évaluation.

Pour en savoir plus sur la place des NPU par rapport aux autres processeurs, consultez ce qu'est un NPU et CPU vs GPU vs NPU.

Les FLOPS sont également utiles dans le bon contexte de comparaison

Le même principe s'applique aux FLOPS.

Comparer le débit FP32 entre des architectures GPU similaires peut vous donner des indications utiles sur leur capacité théorique à exécuter des calculs arithmétiques FP32.

Comparer le débit tensoriel BF16 ou FP8 peut s'avérer utile lorsque la charge de travail utilise réellement ces formats.

Des problèmes surviennent lorsque la précision, le chemin d'exécution, l'hypothèse de sparsité ou la charge de travail diffèrent entre les chiffres comparés.

Un tableau de référence ne devrait donc jamais contenir une colonne intitulée simplement :

Performance

Utilisez :

TFLOPS FP32

TOPS INT8

débit tensoriel BF16

ou tout autre intitulé représentant réellement la valeur.

La précision rend la comparaison beaucoup plus difficile à détourner.

Les spécifications de pointe sont utiles pour la planification de l'architecture

Les spécifications de pointe jouent toujours un rôle important.

Ils peuvent aider à répondre à des questions telles que :

• Ce matériel est-il suffisamment dimensionné pour la tâche ?
• Cet accélérateur prend-il en charge la précision dont j'ai besoin ?
• Quelle quantité de mémoire est disponible ?
• Quelle génération contient les unités d'exécution requises ?
• Le périphérique est-il conçu pour mon enveloppe thermique ?
• Quels systèmes valent la peine d'être évalués ?

L'erreur consiste à ignorer le benchmark et à considérer le chiffre de performance théorique comme la réponse finale.

Un meilleur tableau de bord pour les performances IA

Lors de l'évaluation du matériel, construisez un tableau de bord basé sur la charge de travail.

Pour l'inférence LLM

Mesurer :

‍

‍

Pour l'entraînement

Mesurer :

‍

‍

Pour l'IA en périphérie (Edge AI)

Mesurer :

‍

‍

Cela vous en dit bien plus que les simples TOPS.

Comment comparer correctement deux processeurs IA

Une comparaison défendable nécessite des contrôles.

Utilisez le même modèle

L'architecture du modèle a un impact considérable sur les performances.

Ne comparez pas un processeur exécutant Llama 8B avec un autre exécutant un modèle plus petit en prétendant qu'il s'agit d'un benchmark matériel.

Utilisez la même qualité de modèle

Si une version est quantifiée de manière plus agressive, vérifiez que la qualité reste acceptable.

Enregistrez la précision

Indiquez FP16, BF16, FP8, INT8, INT4, FP4, ou toute autre précision réellement utilisée par la charge de travail.

Enregistrez la taille du modèle

Incluez le nombre de paramètres et les détails pertinents de l'architecture.

Enregistrez la taille d'entrée

Pour les LLM, la longueur du prompt peut modifier radicalement les performances.

Enregistrez la taille de sortie

Générer 32 jetons ou 2 000 jetons représente des charges de travail différentes.

Enregistrez la taille du lot

Le traitement par lots modifie l'utilisation et la latence.

Enregistrer la concurrence

Une seule requête ne constitue pas un service en production.

Enregistrer le logiciel

Inclure :

• le framework ;
• le moteur de service ;
• les pilotes ;
• le compilateur ;
• l'environnement d'exécution de l'accélérateur ;
• les versions des bibliothèques pertinentes.

Enregistrer la mémoire

Lister la mémoire disponible et l'utilisation maximale de la charge de travail.

Enregistrer la latence et le débit conjointement

Optimiser l'un peut nuire à l'autre.

Enregistrer la qualité

Un modèle plus rapide qui n'accomplit plus la tâche n'est pas un résultat équivalent.

Enregistrer la consommation électrique si l'efficacité est importante

Expliquer comment elle a été mesurée.

Enregistrer le prix si vous avancez un argument de coût

La tarification du matériel et du cloud évolue.

Datez la comparaison.

C'est l'approche qu'utilise désormais Hivenet sur ses pages de référence, où le modèle, la précision, la configuration GPU, le modèle de requête, la latence et d'autres conditions de test sont documentés parallèlement aux résultats.

Pourquoi MLPerf est plus utile qu'une comparaison en TOPS

MLCommons existe en partie parce que les comparaisons de matériel nécessitent des règles communes.

Ses suites de tests définissent :

• des modèles ;
• des jeux de données ;
• des objectifs de qualité ;
• des modèles de requête ;
• des exigences de latence ;
• des procédures de mesure.

MLPerf Client évalue désormais les charges de travail LLM sur les GPU, NPU et configurations client hybrides, plutôt que de supposer que les TOPS annoncés par un NPU permettent de prédire les performances réelles de l'IA locale. (MLPerf Client)

MLPerf Inference fait de même pour les serveurs et autres catégories de déploiement.

Cela rend les comparaisons moins simples que la lecture de fiches techniques.

Cela les rend aussi beaucoup plus utiles.

Pourquoi 3 352 TOPS d'IA ne rendent pas une RTX 5090 67 fois plus rapide qu'un NPU de 50 TOPS

Revenons à la comparaison initiale.

NVIDIA annonce la RTX 5090 à 3 352 TOPS IA.

Plusieurs NPU actuels pour ordinateurs grand public se situent autour de 40 à 50 TOPS.

La tentation est de diviser.

Résistez-y.

Vous compareriez :

• des classes de processeurs différentes ;
• des enveloppes thermiques différentes ;
• des systèmes de mémoire différents ;
• des hypothèses de précision et de calcul potentiellement différentes ;
• des environnements logiciels différents ;
• des charges de travail cibles différentes.

La RTX 5090 dispose de 32 Go de mémoire GDDR7 dédiée et d'une bande passante mémoire colossale.

Un NPU d'ordinateur portable fonctionne généralement au sein d'un système à mémoire partagée conçu pour une consommation énergétique bien plus faible.

Le NPU peut être le processeur judicieux pour les effets de visioconférence en continu.

La RTX 5090 peut être le processeur judicieux pour le service de LLM à haut débit.

L'un n'est pas « 67 fois meilleur ».

Ils sont conçus selon des contraintes différentes.

C'est précisément pourquoi notre guide NPU vs GPU commence par la charge de travail plutôt que par le pic de performance arithmétique.

Quel est un bon nombre de TOPS pour l'IA ?

Il n'existe pas de cible universelle.

Un bon chiffre de TOPS est celui associé à un matériel qui répond aux exigences de la charge de travail.

Pour un PC Windows Copilot+, l'exigence actuelle de Microsoft de 40+ TOPS pour le NPU donne à ce nombre une signification concrète sur la plateforme.

Pour un modèle de vision miniature, une puissance de calcul bien moindre peut suffire.

Pour une charge de travail serveur importante, des milliers de TOPS peuvent être moins révélateurs que :

• la mémoire disponible ;
• la latence réelle ;
• le débit global ;
• la précision prise en charge ;
• la pile logicielle ;
• le coût.

Au lieu de demander :

De combien de TOPS ai-je besoin ?

demandez :

Quel modèle dois-je exécuter, et sous quelles contraintes de latence, de mémoire, d'énergie et de coût ?

Ensuite, évaluez le matériel approprié.

Quelle mesure de performance IA est la plus importante ?

Cela dépend de la charge de travail.

‍

‍

Les TOPS et les FLOPS apparaissent au début de plusieurs de ces décisions.

Ils apparaissent rarement à la fin.

Où situer les chiffres de performance de Hivenet

Hivenet publie des spécifications matérielles car elles aident les utilisateurs à comprendre la capacité de calcul disponible.

Mais les chiffres les plus utiles sont les mesures de charge de travail.

La bibliothèque actuelle de benchmarks Hivenet inclut la virtualisation GPU, la communication multi-GPU, l'inférence IA, l'OCR et les tests d'API.

Pour l'inférence LLM, Hivenet mesure des variables telles que :

• la latence ;
• le débit de jetons ;
• la concurrence ;
• le modèle ;
• la précision ;
• la configuration GPU ;
• le modèle de requête.

C'est ainsi que vous devriez évaluer le matériel que vous prévoyez de louer via Compute avec Hivenet, également.

Si la charge de travail est suffisamment légère pour le processeur (CPU), utilisez le CPU.

Si un NPU intégré à l'appareil gère bien la tâche, utilisez le NPU.

Si une charge de travail plus importante ou variable tire profit d'une infrastructure GPU, effectuez un test de performance sur un GPU.

Si vous avez uniquement besoin d'un point de terminaison de modèle géré, l' API d'inférence Hivenet déplace la décision à un niveau supérieur, où la latence du point de terminaison, le débit, la qualité du modèle, la région et le coût deviennent plus importants que les spécifications du processeur.

La mesure doit correspondre à ce que vous achetez réellement.

FAQ sur les TOPS, les FLOPS et les performances en IA

Que signifie TOPS dans le domaine de l'IA ?

TOPS signifie « trillions of operations per second » (trillions d'opérations par seconde). Ce terme décrit la capacité théorique d'un processeur à effectuer des milliers de milliards d'opérations numériques par seconde dans des conditions données.

Que signifie 40 TOPS ?

Quarante TOPS correspondent à un pic théorique de 40 000 milliards d'opérations par seconde dans les conditions utilisées pour calculer cette spécification. Microsoft exige actuellement plus de 40 TOPS NPU pour de nombreuses fonctionnalités d'IA des PC Copilot+, ce qui explique pourquoi ce chiffre apparaît fréquemment dans le marketing des PC IA.

50 TOPS, est-ce suffisant pour l'IA ?

Cela peut être largement suffisant pour les charges de travail IA locales prises en charge. Le chiffre seul ne permet pas de déterminer si un modèle spécifique fonctionnera correctement. Vérifiez la mémoire, la précision, la prise en charge logicielle, la latence, les performances soutenues et la compatibilité du modèle.

Plus de TOPS, est-ce toujours mieux ?

Des TOPS plus élevés signifient une plus grande capacité arithmétique théorique lorsque les chiffres sont calculés sur des bases comparables. Cela ne garantit pas proportionnellement de meilleures performances applicatives.

Quelle est la différence entre TOPS et TFLOPS ?

Les TOPS comptent les opérations de manière plus générale et sont souvent utilisés pour l'accélération IA en basse précision. Les TFLOPS comptent les milliers de milliards d'opérations en virgule flottante par seconde. Aucune de ces mesures n'est significative sans connaître la précision et les conditions d'exécution.

Puis-je comparer les TOPS d'un GPU avec ceux d'un NPU ?

Uniquement avec beaucoup de précaution. Les GPU et les NPU peuvent utiliser des architectures, des formats numériques, des hypothèses de calcul, des systèmes de mémoire et des logiciels différents. Exécuter la même charge de travail de référence sur les deux est bien plus utile que de comparer directement leurs spécifications maximales.

Les TOPS mesurent-ils les performances des LLM ?

Non. Pour l'inférence des LLM, mesurez des indicateurs tels que le temps jusqu'au premier jeton, le temps par jeton de sortie, le nombre de jetons par seconde, la concurrence, l'utilisation de la mémoire et le coût. Les TOPS peuvent décrire une capacité matérielle impliquée dans l'obtention de ces résultats.

Les FLOPS mesurent-ils les performances d'entraînement de l'IA ?

Les FLOPS décrivent le débit de calcul en virgule flottante et peuvent aider à caractériser le matériel d'entraînement. Les performances réelles d'entraînement dépendent également de la mémoire, de la communication, des logiciels, de l'architecture du modèle, de l'utilisation et de la mise à l'échelle. Le temps nécessaire pour atteindre un objectif de qualité défini est souvent plus utile.

Quelle est la différence entre FLOP et FLOPS ?

Un FLOP peut désigner une opération en virgule flottante ou, dans l'analyse de modèles, une quantité de travail de calcul. FLOPS signifie opérations en virgule flottante par seconde et décrit une vitesse de traitement.

Pourquoi les formats de précision inférieure produisent-ils des chiffres de performance IA plus élevés ?

Les formats numériques plus petits nécessitent moins de bits, ce qui permet au matériel de stocker, déplacer et souvent traiter davantage de valeurs avec les mêmes ressources physiques. La traduction de cela en une performance applicative plus rapide dépend du matériel et des noyaux logiciels disponibles.

Pourquoi la bande passante mémoire est-elle importante pour l'IA ?

Les processeurs ont besoin d'un approvisionnement continu en poids de modèles, en activations et en autres données. Si le calcul attend la mémoire, une capacité arithmétique supplémentaire peut rester inutilisée. Les charges de travail limitées par la mémoire, comme certaines parties du décodage LLM, peuvent donc dépendre fortement de la bande passante.

Quelle métrique dois-je utiliser pour comparer les GPU pour LLM ?

Commencez avec le même modèle et la même précision, puis comparez le TTFT, le TPOT, le débit de jetons par requête unique et global, la concurrence, l'utilisation de la mémoire et le coût selon l'objectif de latence que vous prévoyez en production.

Quel est le meilleur benchmark pour l'IA ?

Il n'existe pas de benchmark unique pour toutes les charges de travail IA. MLPerf propose des suites de tests standardisées pour l'entraînement, l'inférence, les systèmes clients et d'autres classes de déploiement. Votre décision matérielle finale devrait toujours inclure un test utilisant votre propre modèle et votre propre profil de trafic.

Mesurez le travail, pas l'étiquette sur la boîte

Les TOPS et les FLOPS résolvent un problème utile.

Ils compressent des architectures de processeurs complexes en chiffres qui aident à décrire la capacité de calcul théorique.

Le problème survient lorsque le chiffre devient un substitut aux tests.

Les applications d'IA sont des systèmes complets.

Ils incluent les modèles, la mémoire, les logiciels, les formats numériques, les files d'attente, les utilisateurs, les réseaux, le stockage, les limites de puissance et les contraintes de coût.

Un processeur peut avoir un débit théorique énorme et rester le mauvais matériel.

Un accélérateur modeste peut être exactement ce qu'il faut s'il exécute le modèle requis en respectant le budget de latence et de consommation électrique.

Pour l'inférence LLM, les utilisateurs font l'expérience du TTFT et de la vitesse de génération des jetons.

Les équipes d'infrastructure font l'expérience du débit, de la pression sur la mémoire, des files d'attente, de l'utilisation et du coût.

Les équipes de formation font l'expérience du temps de convergence et de la mise à l'échelle.

Les systèmes en périphérie (edge) font l'expérience de la latence, de la chaleur, de l'énergie et des contraintes physiques.

Ce sont ces mesures qui déterminent si le matériel remplit sa mission.

Utilisez les TOPS et les FLOPS pour comprendre les capacités potentielles d'un processeur.

Utilisez un benchmark de charge de travail pour découvrir ce qu'il peut réellement faire.

Poursuivez avec NPU vs GPU pour les charges de travail IA, ce qu'est un NPU, le guide pratique des accélérateurs IA, CPU vs GPU vs NPU, Accélérateurs IA vs GPU pour l'inférence, matériel d'IA en périphérie, et matériel d'entraînement vs d'inférence.

‍