Un guide pratique des accélérateurs d'IA

Le matériel dédié à l'IA a accumulé suffisamment d'acronymes pour rendre une question simple inutilement complexe.

GPU. NPU. TPU. FPGA. ASIC. Accélérateur d'IA. Puce IA.

Ces noms sont souvent présentés comme s'ils décrivaient des alternatives parfaitement distinctes. Ce n'est pas le cas.

Un GPU est un accélérateur d'IA lorsqu'il est utilisé pour accélérer l'IA. Le TPU de Google est un type d' ASIC. Un NPU peut lui-même être implémenté sous forme de silicium fixe ou même en tant qu'IP programmable au sein d'un FPGA ou d'un système adaptatif. La plateforme Vitis AI actuelle d'AMD, par exemple, implémente son NPU en utilisant une logique programmable et des ressources AI Engine sur du matériel adaptatif.

Ainsi, une liste vous demandant de choisir entre « GPU, NPU, TPU, FPGA ou ASIC » est utile pour discuter des familles de matériel, mais il ne s'agit pas d'une taxonomie stricte.

La distinction la plus pertinente réside dans le degré de spécialisation du matériel, le type de travail qu'il accélère, les logiciels qu'il requiert et la liberté dont vous disposez lorsque la charge de travail évolue.

Cela mène à une meilleure question :

Quel accélérateur d'IA correspond au modèle et au déploiement dont vous disposez réellement ?

Qu'est-ce qu'un accélérateur d'IA ?

Un accélérateur d'IA est un matériel conçu pour accélérer les opérations de calcul utilisées par les charges de travail d'intelligence artificielle et d'apprentissage automatique.

La plupart des réseaux neuronaux modernes consacrent une grande partie de leur temps à effectuer des opérations numériques hautement parallèles, telles que la multiplication de matrices et les opérations de multiplication-accumulation. Les processeurs polyvalents (CPU) peuvent effectuer ce travail, mais les processeurs conçus pour le calcul parallèle ou matriciel intensif peuvent généralement en traiter une quantité bien plus importante simultanément.

Les accélérateurs d'IA déchargent donc une partie du travail de calcul du CPU vers un matériel mieux adapté à cette tâche.

Ce terme recouvre plusieurs types de matériel :

‍

‍

Ces catégories sont volontairement imparfaites.

Une TPU est un ASIC. De nombreuses NPU sont également des ASIC. Les GPU intègrent du matériel d'IA spécialisé, comme les Tensor Cores, tout en restant suffisamment programmables pour gérer de nombreuses charges de travail en dehors de l'apprentissage automatique. La documentation CUDA de NVIDIA décrit les GPU comme des dispositifs de calcul parallèle généralistes utilisés dans l'IA, le calcul scientifique, l'analytique et d'autres applications intensives en calcul. (Guide de programmation NVIDIA CUDA)

Il est préférable de concevoir le paysage matériel comme un spectre allant de la flexibilité généraliste vers l'efficacité spécifique à une charge de travail.

Pourquoi l'IA a besoin d'accélérateurs

Un réseau de neurones moderne peut nécessiter un nombre colossal d'opérations numériques relativement simples.

Prenons la multiplication matricielle. Au lieu de résoudre un calcul complexe de manière séquentielle, le processeur effectue un grand nombre d'opérations de multiplication et d'addition sur des tableaux de valeurs.

Ce type de travail tire profit d'un matériel parallèle.

Un processeur (CPU) consacre une part importante de son silicium à des fonctions telles que les caches, la prédiction de branchement, le flux de contrôle et l'exécution généraliste à faible latence. Ces fonctionnalités sont utiles car un CPU doit gérer des logiciels imprévisibles.

Un GPU fait un choix différent. Il dédie une bien plus grande partie de son matériel au traitement simultané de nombreuses opérations. La documentation actuelle de NVIDIA sur CUDA décrit les GPU comme étant conçus pour exécuter des milliers de threads simultanément, plutôt que d'optimiser en priorité l'exécution la plus rapide possible de threads sériels individuels.

Les accélérateurs spécifiques à l'IA peuvent encore restreindre le champ d'application.

Les TPU de Google, par exemple, contiennent des unités de multiplication matricielle composées de vastes réseaux d'unités de multiplication-accumulation. Google les décrit comme des circuits intégrés spécifiques à une application, conçus expressément pour accélérer les charges de travail liées à l'apprentissage automatique. (Architecture Google Cloud TPU)

Plus le matériel est spécialisé, moins il a besoin de consacrer de silicium et d'énergie à des capacités que la charge de travail cible n'utilise pas.

La contrainte est que la charge de travail doit correspondre à ces hypothèses.

La distinction la plus importante réside dans l'opposition entre spécialisation et flexibilité.

Imaginez deux processeurs.

L'un peut exécuter presque n'importe quelle charge de travail parallèle que vous lui soumettez. Il prend en charge plusieurs frameworks, des noyaux personnalisés, des architectures de modèles changeantes, le rendu, la simulation et le calcul numérique général.

L'autre est conçu autour d'un ensemble plus restreint d'opérations de réseaux neuronaux et de formats numériques. Il se trouve que votre modèle correspond parfaitement à ces opérations.

Le second processeur peut exécuter cette charge de travail plus efficacement.

Puis, vous changez de modèle.

Peut-être introduit-il un opérateur non pris en charge. Peut-être avez-vous besoin d'un format numérique différent. Peut-être passez-vous de l'inférence au réglage fin, ajoutez-vous un noyau personnalisé ou avez-vous besoin de beaucoup plus de mémoire.

Le processeur flexible fonctionne toujours.

Le processeur spécialisé peut nécessiter un nouveau chemin de compilation, une conversion de modèle, un recours au processeur central (CPU), une mise à jour logicielle ou un matériel totalement différent.

Ce compromis apparaît de manière répétée dans les accélérateurs d'IA.

C'est aussi la raison pour laquelle les spécifications matérielles ne devraient jamais être évaluées sans la pile logicielle qui les accompagne.

Les GPU en tant qu'accélérateurs d'IA

Les GPU sont devenus essentiels à l'IA moderne car les réseaux neuronaux et les graphismes partagent une caractéristique computationnelle importante : des quantités énormes d'opérations arithmétiques parallèles.

Le GPU a évolué d'un matériel dédié aux graphismes vers un processeur parallèle programmable. CUDA, introduit par NVIDIA en 2006, a permis d'utiliser la puissance de traitement du GPU sans passer par des API graphiques, et la pile logicielle environnante s'est depuis étendue à des bibliothèques et des outils pour l'apprentissage profond, le calcul scientifique, la simulation, l'analyse et d'autres charges de travail. (Guide de programmation CUDA)

Les GPU NVIDIA modernes contiennent également des Tensor Cores conçus spécifiquement pour accélérer les opérations matricielles à différentes précisions numériques. Cela signifie que le GPU lui-même combine désormais un calcul parallèle relativement général avec un matériel d'IA plus spécialisé. (NVIDIA Tensor Cores)

Les GPU sont performants lorsque la charge de travail évolue

L'avantage majeur d'un GPU n'est pas de toujours remporter chaque comparaison de performances.

C'est qu'un GPU peut généralement accomplir de nombreuses tâches différentes.

Vous pouvez :

• entraîner un réseau de neurones ;
• ajuster un LLM ;
• gérer l'inférence ;
• écrire des noyaux personnalisés ;
• tester de nouvelles architectures ;
• exécuter de la vision par ordinateur ;
• effectuer du rendu d'images ;
• réaliser des simulations scientifiques ;
• traiter de la vidéo ;
• changer de framework ;
• exécuter plusieurs modèles sur la même infrastructure.

Cette flexibilité est primordiale lors de la recherche, du développement et dans tout environnement de production où les modèles changent fréquemment.

Cela explique pourquoi les GPU restent essentiels, même avec l'émergence de puces IA plus spécialisées.

Notre article sur la raison pour laquelle les GPU ne sont plus vraiment des « cartes graphiques » explore cette transition du processeur graphique vers l'accélérateur de calcul généraliste.

Les limites des GPU

La flexibilité a un coût en silicium et en énergie.

Un GPU intègre du matériel et des capacités de programmation qu'une charge de travail d'inférence spécifique n'utilisera peut-être jamais. Un accélérateur conçu sur mesure pour une catégorie de modèles peut donc offrir un meilleur rendement énergétique ou une meilleure rentabilité pour cette tâche précise.

Cela ne rend pas le GPU inefficace pour autant. L'efficacité doit être mesurée en fonction du travail accompli.

Un GPU qui consomme plus de puissance peut néanmoins consommer moins d'énergie par tâche terminée s'il effectue le travail beaucoup plus rapidement. Cette distinction devient importante lors de la comparaison entre les accélérateurs d'IA et les GPU pour l'inférence en production.

Les NPU en tant qu'accélérateurs d'IA

Une unité de traitement neuronal (NPU) spécialise le processeur pour les charges de travail liées aux réseaux neuronaux.

Sur les PC modernes, un NPU coexiste souvent avec le CPU et le GPU pour gérer les tâches d'IA locales en continu, évitant ainsi de solliciter inutilement les processeurs plus gourmands en énergie.

Cela rend le NPU particulièrement utile pour le traitement vocal, les effets de caméra, la vision par ordinateur, la transcription, l'amélioration d'image et l'IA générative locale prise en charge.

Mais, comme nous l'avons vu dans ce qu'est un NPU et ses domaines d'excellence, le terme NPU ne désigne pas une classe de performance unique.

Le NPU intégré dans un ordinateur portable et un système NPU pour centre de données diffèrent par leurs architectures mémoire, leurs budgets énergétiques, leurs environnements logiciels et leurs objectifs de déploiement.

Même le matériel programmable complexifie cette définition. La plateforme Vitis AI d'AMD fournit désormais de la propriété intellectuelle NPU pour les dispositifs adaptatifs Versal AI Edge, utilisant une logique programmable et des matrices AI Engine pour mettre en œuvre l'accélération de l'inférence. (AMD Vitis AI)

C'est une raison supplémentaire de ne pas considérer les « NPU » et les « FPGA » comme des catégories mutuellement exclusives.

Quand le choix d'un NPU est pertinent

Un NPU devient particulièrement intéressant lorsque :

• le modèle est pris en charge ;
• la charge de travail est fréquente ;
• la consommation d'énergie est un facteur clé ;
• l'exécution locale est nécessaire ;
• la latence doit être prévisible ;
• le modèle évolue relativement peu ;
• la pile logicielle est déjà mature pour le périphérique.

Un ordinateur portable effectuant un traitement audio en continu pose un problème matériel différent de celui d'un laboratoire de recherche entraînant un transformeur.

Le premier peut tirer un immense profit d'un petit NPU.

Le second privilégiera probablement la programmabilité et la mémoire.

Pour une comparaison directe, consultez NPU vs GPU pour les charges de travail IA.

Les TPU comme accélérateurs d'IA

Un TPU, ou Tensor Processing Unit, est la gamme d'accélérateurs d'apprentissage automatique personnalisés de Google.

Contrairement au GPU et au NPU, TPU est un nom de produit spécifique à Google plutôt qu'une catégorie de processeur générale.

Google décrit explicitement les Cloud TPU comme des circuits intégrés spécifiques à une application, ou ASIC, conçus pour accélérer les charges de travail liées à l'apprentissage automatique. Les systèmes TPU actuels peuvent être utilisés via Compute Engine, Google Kubernetes Engine et Vertex AI. (Documentation Cloud TPU)

Leur architecture est largement axée sur le traitement matriciel.

Les TensorCores des TPU actuels contiennent des unités de multiplication matricielle composées de réseaux systoliques d'unités de multiplication-accumulation. Google prend également en charge les frameworks de ML, notamment JAX et PyTorch, sur le matériel TPU.

Quand les TPU sont adaptés

Les recommandations de Google privilégient les charges de travail dominées par de grandes opérations matricielles, des modèles et des lots volumineux, des tâches d'entraînement de longue durée, ainsi que les charges de travail compatibles avec l'environnement de compilation TPU. (Introduction au Cloud TPU)

Les TPU peuvent prendre en charge à la fois l'entraînement et l'inférence.

L'infrastructure Google Cloud actuelle comprend de grandes configurations TPU multi-puces ainsi que des systèmes destinés aux charges de travail d'inférence.

Le compromis réside dans un couplage plus étroit avec l'environnement TPU.

Le code destiné à être exécuté sur des TPU est compilé via XLA, et la disponibilité du matériel est naturellement liée à l'infrastructure de Google.

Cela peut être tout à fait justifié lorsque la charge de travail est adaptée.

C'est moins intéressant si la portabilité entre plusieurs fournisseurs de matériel est une exigence majeure.

FPGA et matériel adaptatif pour l'IA

Un FPGA, ou réseau de portes programmables in situ, est fondamentalement différent d'un processeur fixe.

Sa logique matérielle peut être reconfigurée après la fabrication.

Au lieu de se contenter de l'architecture processeur fournie par l'usine, les développeurs peuvent créer des pipelines matériels adaptés à leur application.

Cela peut s'avérer précieux lorsqu'une charge de travail nécessite :

• une latence prévisible ;
• des chemins de données personnalisés ;
• un prétraitement spécialisé ;
• des formats numériques inhabituels ;
• une intégration directe des capteurs ;
• une exécution en périphérie étroitement contrôlée.

Les systèmes adaptatifs modernes estompent de plus en plus la frontière entre FPGA, moteur d'IA dédié, CPU et NPU.

La plateforme Vitis AI actuelle d'AMD combine une logique programmable avec des ressources de moteur d'IA dédiées et une propriété intellectuelle NPU pour exécuter l'inférence de réseaux neuronaux sur ses SoC adaptatifs. (Hub des développeurs AMD Vitis AI)

Cette flexibilité opère à un niveau différent de la programmabilité des GPU.

Un développeur GPU écrit généralement des logiciels pour une architecture de processeur existante.

Un développeur FPGA peut modifier des parties de l'architecture matérielle elle-même.

Cette puissance a un coût de développement. Les flux de travail FPGA peuvent nécessiter des connaissances matérielles plus approfondies, de la synthèse, de l'analyse temporelle, une co-conception matériel/logiciel et des outils spécifiques à la plateforme.

Pour une application web standardisée qui change de modèle chaque mois, ce travail peut ne pas être pertinent.

Pour un système embarqué à haut volume avec des exigences strictes en matière de latence et de consommation d'énergie, il peut s'agir du compromis idéal.

Cela devient particulièrement pertinent dans le domaine du matériel d'IA en périphérie.

ASIC et puces IA spécialisées

ASIC signifie circuit intégré spécifique à une application.

Contrairement à un FPGA, dont la logique peut être reconfigurée après la fabrication, un ASIC intègre sa conception matérielle principale de manière permanente dans le silicium.

Cela rend les ASIC potentiellement efficaces, car la puce peut être construite autour de la charge de travail exacte que les concepteurs prévoient de lui confier.

Cela rend également les comparaisons du type « ASIC vs TPU » ou « ASIC vs NPU » légèrement trompeuses.

Un TPU est un ASIC. De nombreuses conceptions de NPU dédiées sont des ASIC. Le terme ASIC décrit la manière dont le matériel fixe spécialisé est construit, tandis que TPU et NPU décrivent des objectifs particuliers ou des familles de produits.

Plusieurs fournisseurs de cloud conçoivent désormais leurs propres ASIC dédiés à l'IA.

Google possède ses TPU. AWS propose ses puces spécialisées Trainium et Inferentia. AWS positionne actuellement Trainium pour l'entraînement et l'inférence, tandis qu'Inferentia est conçu spécifiquement pour les charges de travail d'inférence. Les deux utilisent la pile logicielle Neuron d'AWS et s'intègrent à des frameworks et outils tels que PyTorch, JAX, Hugging Face et vLLM. (Puces IA d'AWS)

Cela illustre l'intérêt majeur du silicium conçu spécifiquement pour l'IA.

Si un fournisseur d'infrastructure sait qu'une quantité colossale de tâches d'apprentissage automatique sera exécutée sur sa plateforme, concevoir du matériel adapté à ces charges de travail peut s'avérer plus rentable que d'acheter un accélérateur généraliste pour chaque type de tâche.

Mais l'environnement logiciel devient alors une partie intégrante du produit.

Vous choisissez le compilateur, l'environnement d'exécution, les bibliothèques, l'environnement d'hébergement, la prise en charge des modèles et le chemin de migration en même temps que la puce.

Accélérateur IA vs GPU est techniquement une comparaison erronée

Recherchez du matériel pour l'IA et vous rencontrerez fréquemment l'expression accélérateur IA vs GPU.

Techniquement, un GPU peut être un accélérateur d'IA.

Ce que les gens veulent généralement dire, c'est :

Dois-je utiliser un GPU ou un accélérateur d'IA plus spécialisé ?

C'est une comparaison utile.

‍

‍

Le mot crucial dans la deuxième colonne est potentiellement.

Un matériel plus spécialisé n'est pas automatiquement plus rapide, moins cher ou plus écologique.

Il doit être capable d'exécuter efficacement la charge de travail réelle.

Les cartes accélératrices d'IA sont un facteur de forme, pas un autre type de processeur

Un autre terme de recherche courant est carte accélératrice d'IA.

Une carte accélératrice est un matériel qui ajoute une capacité d'accélération à un système existant, généralement via une interface d'extension telle que PCI Express.

Une carte peut contenir :

• un GPU ;
• une NPU ;
• un FPGA ;
• un ASIC personnalisé ;
• plusieurs puces accélératrices.

Le L4 de NVIDIA, par exemple, est un GPU PCIe compact utilisé pour l'IA, la vidéo, les graphismes et d'autres charges de travail. Il s'agit à la fois d'un GPU, d'un accélérateur d'IA et d'une carte accélératrice. (NVIDIA L4)

Les accélérateurs de périphérie plus petits peuvent utiliser des formats M.2, mini-PCIe, USB ou des modules personnalisés.

Le facteur de forme indique comment le périphérique se connecte au système.

Il n'indique pas quelle architecture se trouve à l'intérieur.

CPU vs accélérateur d'IA

Le CPU n'a pas disparu des systèmes d'IA.

Presque tous les accélérateurs fonctionnent encore au sein d'un ordinateur hétérogène plus vaste.

Le CPU peut :

• charger l'application ;
• tokeniser les entrées ;
• préparer les données ;
• exécuter la logique métier ;
• gérer la mise en réseau ;
• planifier les tâches ;
• traiter les opérations non prises en charge ;
• contrôler l'accélérateur ;
• effectuer le prétraitement et le post-traitement.

Le modèle CUDA actuel de NVIDIA décrit explicitement les applications GPU comme des systèmes hétérogènes dans lesquels le processeur hôte (CPU) lance l'exécution et coordonne le travail effectué sur le GPU.

Certaines charges de travail liées à l'IA ne nécessitent aucun accélérateur.

Un petit modèle, un faible volume de requêtes, un pipeline de prétraitement, une tâche d'intégration ou une application dominée par une logique de programme classique peuvent parfaitement fonctionner sur un CPU.

C'est pourquoi notre guide comparatif CPU vs GPU vs NPU commence par la charge de travail plutôt que de supposer que chaque application d'IA nécessite un matériel spécialisé.

L'entraînement et l'inférence ont des besoins différents

L'une des distinctions matérielles les plus importantes n'a rien à voir avec le nom des processeurs.

Il s'agit de la différence entre l'entraînement et l'inférence.

L'entraînement ajuste les paramètres d'un modèle. Il nécessite des passes avant et arrière, le calcul de gradients, des mises à jour de paramètres et potentiellement des quantités énormes d'états temporaires.

L'inférence utilise un modèle déjà entraîné pour générer des prédictions ou des résultats.

Cela modifie la problématique matérielle.

L'entraînement privilégie généralement :

• une grande capacité de mémoire ;
• une bande passante mémoire élevée ;
• interconnexions d'accélérateurs rapides ;
• calcul distribué ;
• prise en charge de plusieurs formats numériques ;
• logiciel flexible ;
• débogage et profilage matures.

L'inférence peut mettre davantage l'accent sur :

• la latence ;
• le débit ;
• l'efficacité par lots ;
• la mémoire par requête ;
• l'exécution en basse précision ;
• l'efficacité énergétique ;
• le coût par sortie.

Un processeur excellent dans l'un de ces domaines ne domine pas automatiquement l'autre.

AWS rend cette distinction visible dans sa propre stratégie d'accélérateurs : Inferentia a été conçu pour l'inférence, tandis que Trainium est spécifiquement dédié à l'entraînement d'IA à grande échelle et couvre désormais à la fois les charges de travail d'entraînement et d'inférence.

Nous examinons ces différences directement dans matériel d'entraînement vs matériel d'inférence.

Pour les LLM en production, notre guide pratique de l'inférence LLM couvre également le volet « service » du problème.

La précision change l'équation matérielle

Les charges de travail en IA utilisent de plus en plus des formats numériques plus compacts que le traditionnel FP32.

L'entraînement peut s'appuyer sur le BF16, le FP16, le FP8 ou une précision mixte.

L'inférence peut évoluer vers l'INT8, l'INT4, le FP4 ou d'autres formats compacts lorsque le modèle et le matériel les prennent en charge.

Une précision réduite permet de diminuer les besoins en mémoire, de limiter le trafic de données et de permettre au matériel d'effectuer davantage d'opérations en parallèle.

Mais un format n'est utile que si l'accélérateur l'implémente réellement de manière efficace.

C'est une autre raison pour laquelle les spécifications de performance maximale sont trompeuses.

Une puce peut afficher un débit INT8 impressionnant alors que votre charge de travail nécessite du BF16. Une autre peut prendre en charge le FP4, mais uniquement via un environnement d'exécution et un chemin de modèle spécifiques.

Le modèle et le logiciel déterminent les capacités matérielles que vous pouvez réellement exploiter.

Notre guide de quantification des LLM explique pourquoi la réduction de la largeur de bit modifie principalement la capacité et le transfert de données, tandis que les gains de vitesse réels dépendent toujours des noyaux, du matériel et de la structure de la charge de travail.

La mémoire peut primer sur l'arithmétique

Les comparaisons d'accélérateurs mettent souvent en avant la puissance de calcul.

Pour les grands modèles d'IA, la mémoire est souvent le facteur déterminant.

L'accélérateur doit disposer d'espace pour les poids du modèle. L'inférence ajoute des tampons d'exécution et, pour les modèles de type transformer, l'état du cache KV. L'entraînement peut nécessiter des gradients, des états d'optimiseur, des activations et d'autres données temporaires.

Si le modèle ne tient pas en mémoire, le débit arithmétique théorique perd tout son intérêt.

Le transfert de données est tout aussi crucial.

Un processeur peut exécuter des multiplications de matrices extrêmement rapidement tout en passant une grande partie de son temps à attendre l'arrivée des poids ou des activations.

Les conceptions d'accélérateurs modernes combinent donc le calcul avec différentes architectures de mémoire : VRAM de GPU dédiée, mémoire à large bande passante, mémoire système partagée, SRAM sur puce, mémoire locale FPGA et interconnexions multi-accélérateurs.

C'est pourquoi il est rarement justifié de choisir un matériel d'IA en se basant uniquement sur un chiffre de TOPS ou de FLOPS.

Les TOPS et les FLOPS ne permettent pas de déterminer quel accélérateur est le plus performant

Les fournisseurs de matériel ont besoin de spécifications concises.

Les charges de travail réelles ne le sont pas.

Les TOPS mesurent les billions d'opérations par seconde. Les FLOPS mesurent les opérations en virgule flottante par seconde. Tous deux peuvent décrire une capacité arithmétique théorique dans des conditions définies.

Aucun des deux ne vous indique la rapidité d'exécution de votre application.

Vous devez également connaître :

• la précision ;
• l'architecture du modèle ;
• la capacité mémoire ;
• la bande passante mémoire ;
• la taille des lots ;
• la longueur de séquence ;
• la prise en charge des opérateurs ;
• la qualité du compilateur ;
• la surcharge du framework ;
• le taux d'utilisation ;
• l'objectif de latence ;
• les performances d'interconnexion ;
• comportement de repli.

Deux accélérateurs peuvent afficher des performances arithmétiques de pointe similaires tout en offrant des performances applicatives radicalement différentes.

L'inverse est également vrai.

Notre prochain guide sur les TOPS, les FLOPS et les indicateurs de performance en IA traite précisément de ce problème.

Pour les tests comparatifs, les benchmarks de charge de travail sont bien plus instructifs. MLPerf Inference, par exemple, définit des charges de travail complètes couvrant les LLM, la génération d'images, la détection d'objets, les systèmes de recommandation et d'autres tâches, plutôt que de classer les accélérateurs selon un seul chiffre théorique maximal. (MLPerf Inference)

Le support logiciel fait partie intégrante de l'accélérateur

Lors du choix d'un matériel dédié à l'IA, les développeurs comparent souvent la puce en premier et le logiciel en second.

En pratique, les deux sont indissociables.

Les GPU NVIDIA sont fournis avec CUDA et une vaste collection de bibliothèques accélérées.

Les TPU de Google reposent sur l'environnement TPU et la compilation XLA.

AWS Trainium et Inferentia utilisent Neuron.

Les accélérateurs adaptatifs d'AMD utilisent Vitis AI.

Les différents fournisseurs de NPU proposent des runtimes et des fournisseurs d'exécution distincts.

Ces piles logicielles déterminent quels modèles peuvent être exécutés, comment ils sont compilés, quels opérateurs sont disponibles, quels formats numériques sont pris en charge et la facilité avec laquelle la charge de travail peut être déboguée.

Les recommandations de Google concernant ses propres TPU illustrent bien ce problème. L'entreprise préconise l'utilisation de GPU plutôt que de TPU pour les charges de travail contenant des opérations non prises en charge ou des opérations personnalisées complexes qui ne s'adaptent pas naturellement à l'exécution sur TPU.

C'est une leçon utile qui dépasse le cadre de Google.

Un accélérateur qui ne prend pas en charge votre modèle n'est pas une stratégie d'accélération.

L'IA en périphérie change les priorités

Un centre de données et une caméra installée dans une usine ne devraient pas utiliser la même matrice de décision.

En périphérie, la consommation électrique, le refroidissement, l'espace physique, la connectivité, la confidentialité et la latence déterministe peuvent devenir plus importants que le débit maximal.

Un système embarqué peut avoir besoin de traiter un flux vidéo en continu sans rien transférer vers le cloud.

Un ordinateur portable peut avoir besoin de transcrire de l'audio pendant des heures sans épuiser sa batterie.

Un robot peut avoir besoin de réponses à la milliseconde près, même lorsque le réseau est indisponible.

Ces conditions favorisent un matériel conçu pour une exécution locale efficace.

Les NPU, FPGA, SoC adaptatifs, petits GPU et modules d'accélération dédiés ont tous leur place dans ce domaine.

Le choix dépend du degré de fixité du modèle, de la puissance disponible, des logiciels devant tourner localement et de la nécessité pour le matériel de prendre en charge d'autres charges de travail.

Nous traitons cela comme un problème de déploiement à part entière dans notre guide sur le matériel d'IA en périphérie.

L'IA en centre de données change à nouveau la donne

Déplacez le même modèle dans un centre de données et les contraintes changent.

La consommation électrique reste importante, mais elle est désormais mesurée par rapport à des milliers ou des millions de requêtes.

Le réseau est important.

La communication entre accélérateurs est importante.

La capacité mémoire est importante.

Le taux d'utilisation est important.

Le temps de l'équipe logicielle est précieux.

Un accélérateur conçu sur mesure, capable d'économiser une fraction du coût par inférence, peut devenir économiquement significatif à très grande échelle.

Cependant, la spécialisation entraîne également des coûts de migration et d'exploitation.

Si une équipe change de modèle chaque mois, utilise plusieurs frameworks, écrit des noyaux personnalisés ou gère des charges de travail imprévisibles, la flexibilité des GPU peut s'avérer plus précieuse qu'un avantage théorique en termes d'efficacité ailleurs.

C'est pourquoi le coût doit être calculé en fonction de la charge de travail complète, plutôt que du prix d'achat ou du tarif horaire de la puce.

Comment choisir un accélérateur d'IA

Commencez par l'application et éliminez le matériel qui ne répond pas à ses exigences.

1. Déterminez si vous effectuez de l'entraînement ou de l'inférence

Les exigences diffèrent suffisamment pour que ce soit la première étape de votre décision.

Si vous faites les deux, donnez la priorité à l'étape qui domine vos coûts de calcul ou déterminez si l'utilisation de matériel distinct est pertinente.

2. Identifiez le modèle

Posez-vous les questions suivantes :

• Quelle est son architecture ?
• Combien de paramètres comporte-t-il ?
• Quelle est sa précision numérique ?
• Quels opérateurs utilise-t-il ?
• Peut-il être quantifié ?
• Quelle quantité de mémoire nécessite-t-il ?
• À quelle fréquence cela changera-t-il ?

Un modèle de vision fixe et un pipeline de recherche testant des transformeurs expérimentaux ne devraient pas conduire au même choix matériel.

3. Vérifiez la compatibilité logicielle

Avant de consulter les tableaux de benchmarks, vérifiez que le runtime et le framework prennent en charge l'accélérateur.

Recherchez l'architecture exacte du modèle et les opérateurs importants.

Vérifiez ce qui se passe lorsqu'un élément n'est pas pris en charge.

4. Calculez les besoins en mémoire

Incluez la charge de travail complète, pas seulement les poids du modèle.

Pour l'inférence LLM, cela peut inclure le cache KV, les buffers de runtime, la surcharge liée au traitement par lots et plusieurs requêtes simultanées.

5. Définissez la latence et le débit

« Rapide » n'est pas une exigence.

Avez-vous besoin d'une réponse en 20 millisecondes ?

Dix mille prédictions par seconde ?

Mille utilisateurs LLM simultanés ?

Un débit d'entraînement maximal sur six semaines ?

Des réponses différentes favorisent des architectures différentes.

6. Définissez les contraintes d'alimentation et de déploiement

Un ordinateur portable possède une batterie.

Un boîtier edge a une enveloppe thermique.

Un déploiement cloud a une facture énergétique et un objectif d'utilisation.

Pour une station de travail dédiée à la recherche, la flexibilité est souvent bien plus importante que la puissance.

7. Incluez les coûts d'ingénierie

Évaluez la charge de travail nécessaire pour :

• porter le modèle ;
• le compiler ;
• l'optimiser ;
• le maintenir ;
• le déboguer ;
• le migrer lors des mises à jour du modèle ;
• former les développeurs à la pile technologique.

Un matériel qui permet d'économiser 5 000 $ mais qui mobilise trois mois de travail d'ingénierie n'est pas nécessairement plus rentable.

8. Évaluez la charge de travail réelle

Utilisez le modèle, la précision, la longueur de contexte, la taille de lot, la concurrence, l'environnement d'exécution et les exigences de qualité prévus.

Comparez ensuite :

• la latence ;
• le débit ;
• l'utilisation de la mémoire ;
• la consommation électrique ;
• le coût ;
• l'effort de développement.

Tout le reste n'est qu'une estimation.

Matrice de décision pour accélérateurs d'IA

Voici une version améliorée du tableau simple « NPU ou GPU ? » qui a inspiré cette série.

‍

‍

Ce point de départ n'est délibérément pas une réponse définitive.

Le matériel doit réussir les tests de performance avant de passer à l'étape de l'approvisionnement.

Quand l'accès aux GPU dans le cloud est le choix pragmatique

Le matériel conçu spécifiquement pour l'IA est tout à fait pertinent dans le bon environnement.

Si vous fabriquez des millions d'appareils exécutant le même modèle, l'intégration de silicium spécialisé peut être rationnelle.

Si vous gérez un service d'inférence massif avec des exigences de modèle stables, concevoir ou s'engager sur une pile d'accélérateurs spécialisés peut également s'avérer rentable.

La plupart des équipes sont confrontées à une réalité plus complexe.

Le modèle évolue encore.

Quelqu'un souhaite essayer une méthode de quantification différente.

Un nouveau modèle open source arrive la semaine prochaine.

L'application nécessite soudainement deux fois plus de longueur de contexte.

Une équipe de recherche souhaite utiliser du code PyTorch personnalisé.

La production nécessite une architecture tandis que le développement en exige une autre.

Dans ces situations, la flexibilité a une valeur économique.

Calculez avec Hivenet fournit une infrastructure GPU et CPU aux équipes souhaitant garder le contrôle sur leur environnement, leurs bibliothèques, leur runtime et leur pile de service. Les charges de travail actuelles incluent l'inférence de modèles, le développement, le réglage fin, le rendu, les traitements par lots, les notebooks et le calcul général sur GPU ou CPU.

Hivenet utilise actuellement une infrastructure GPU de classe RTX plutôt que d'imposer aux utilisateurs une pile d'accélérateurs IA propriétaires. La RTX 5090, par exemple, offre 32 Go de mémoire GPU sur les configurations de calcul actuelles, et Hivenet a publié des benchmarks d'inférence réels basés sur des charges de travail RTX 5090.

Si vous ne souhaitez pas gérer l'infrastructure vous-même, l' API d'inférence Hivenet propose une alternative : des points de terminaison de modèles dédiés, compatibles avec OpenAI, avec une couche de service entièrement gérée pour vous.

L'idée n'est pas de dire que les GPU sont supérieurs aux accélérateurs spécialisés.

C'est que la flexibilité matérielle peut s'avérer précieuse tant que la charge de travail est en constante évolution.

FAQ sur les accélérateurs IA

Qu'est-ce qu'un accélérateur IA ?

Un accélérateur IA est un matériel conçu pour accélérer les opérations de calcul utilisées par les charges de travail d'intelligence artificielle et d'apprentissage automatique. Les GPU, NPU, TPU, FPGA et les ASIC conçus spécifiquement pour l'IA peuvent tous agir comme des accélérateurs IA.

Un GPU est-il un accélérateur IA ?

Oui. Un GPU utilisé pour l'apprentissage automatique est un accélérateur IA. Les GPU modernes intègrent également du matériel de traitement matriciel dédié, conçu spécifiquement pour les charges de travail IA.

Un accélérateur IA est-il meilleur qu'un GPU ?

Cette question revient généralement à demander si un accélérateur IA spécialisé est meilleur qu'un GPU. Un accélérateur spécialisé peut être plus efficace pour une charge de travail stable et compatible. Les GPU offrent généralement une plus grande flexibilité en termes de modèles, de frameworks, d'entraînement, d'inférence et de calcul non lié à l'IA.

Qu'est-ce qu'une carte accélératrice IA ?

Une carte accélératrice IA est une carte d'extension contenant du matériel destiné à accélérer les charges de travail IA. Elle peut intégrer un GPU, un NPU, un FPGA, un ASIC ou un autre processeur. Le format PCIe est courant, tandis que les accélérateurs pour périphérie de réseau (edge) plus petits peuvent utiliser des interfaces M.2 ou autres.

Quelle est la différence entre un NPU et un accélérateur IA ?

Un NPU est un type d'accélérateur IA. La catégorie plus large des accélérateurs IA inclut également les GPU, TPU, FPGA et autres puces conçues à cet effet.

Quelle est la différence entre une TPU et un ASIC ?

Une TPU est un type d'ASIC conçu par Google pour les charges de travail liées à l'apprentissage automatique. ASIC désigne la catégorie plus large des circuits intégrés spécifiques à une application ; TPU est la famille d'accélérateurs propre à Google.

Un FPGA est-il un accélérateur d'IA ?

Un FPGA peut être utilisé comme accélérateur d'IA lorsque son matériel programmable est configuré pour accélérer les réseaux de neurones ou d'autres opérations d'apprentissage automatique. Les dispositifs adaptatifs modernes peuvent combiner une logique programmable avec des moteurs d'IA dédiés et des IP de NPU.

Quel accélérateur d'IA est le meilleur pour les LLM ?

Il n'y a pas de solution universelle. Les GPU offrent une grande flexibilité et une prise en charge étendue. Les TPU et les ASIC conçus sur mesure peuvent être très performants à grande échelle lorsque le modèle est adapté à leur environnement logiciel. Les NPU clients peuvent exécuter des LLM locaux plus petits. Le matériel idéal dépend de la taille du modèle, de la mémoire, de la précision, du contexte, du débit, de la latence, de la prise en charge logicielle et de l'échelle de déploiement.

Quel accélérateur d'IA est le meilleur pour l'inférence ?

Pour les modèles qui changent fréquemment, les GPU constituent un excellent point de départ général. Un accélérateur spécialisé peut devenir intéressant pour une inférence stable à haut volume lorsque son logiciel prend en charge le modèle et que les tests de performance démontrent une meilleure rentabilité. Consultez notre guide détaillé sur Accélérateurs d'IA vs GPU pour l'inférence.

Quel accélérateur d'IA est le meilleur pour l'entraînement ?

Les GPU restent un point de départ flexible pour la plupart des développements et entraînements de modèles. Les TPU et autres ASIC orientés vers l'entraînement peuvent constituer des alternatives solides pour les charges de travail à grande échelle prises en charge. La réponse dépend de l'architecture du modèle, du logiciel, de la mémoire, des interconnexions, de la précision et de l'échelle.

Ai-je besoin d'un accélérateur d'IA ?

Pas toujours. Les CPU peuvent gérer de nombreux petits modèles et des charges de travail à faible volume. Un accélérateur devient utile lorsque le calcul parallèle d'IA est suffisamment important pour que la complexité matérielle et logicielle supplémentaire apporte un gain significatif en termes de performance ou d'efficacité.

Choisissez la charge de travail avant de choisir l'acronyme

Les catégories de matériel d'IA sont utiles jusqu'à ce qu'elles deviennent des raccourcis simplistes.

GPU ne signifie pas « puce d'entraînement ».

NPU ne signifie pas « petite puce d'inférence ».

TPU n'est pas une catégorie générique parallèle à ASIC.

FPGA ne vous indique pas quel accélérateur a été implémenté à l'intérieur.

Et le terme « accélérateur d'IA » ne désigne pas quelque chose de distinct d'un GPU.

Les processeurs se chevauchent parce que les systèmes modernes se chevauchent.

Ce qui compte, c'est le travail à accomplir.

Commencez par le modèle. Déterminez si vous l'entraînez ou si vous le déployez. Évaluez les besoins en mémoire, la précision numérique, la latence, le débit, l'environnement de déploiement, l'enveloppe énergétique et la pile logicielle.

Demandez-vous ensuite jusqu'à quel point le matériel peut être spécialisé sans risque.

Si vous avez besoin d'une large compatibilité, d'une expérimentation fréquente et de la capacité à modifier vos charges de travail, il est difficile de remplacer un GPU.

Si la charge de travail devient suffisamment prévisible, la spécialisation commence à devenir plus intéressante.

C'est le fil conducteur de toute cette série.

Lire NPU vs GPU pour les charges de travail IA, ce qu'est un NPU, CPU vs GPU vs NPU, Accélérateurs d'IA vs GPU pour l'inférence, matériel pour l'IA en périphérie, TOPS vs FLOPS, et matériel d'entraînement vs matériel d'inférence pour suivre chaque décision plus en détail.

‍