Qu'est-ce qu'un NPU et à quoi sert-il ?

Si vous avez acheté un ordinateur portable récent, il est fort probable qu'il contienne un processeur que vous n'aviez pas il y a quelques années : une NPU.

Une NPU, ou unité de traitement neuronal, est un processeur spécialisé conçu pour exécuter efficacement les opérations de réseaux de neurones. Elle gère les tâches mathématiques répétitives telles que la multiplication de matrices et d'autres opérations tensorielles présentes dans tous les modèles d'apprentissage automatique.

Cela ressemble à ce que fait un GPU, et il existe un chevauchement important. La différence réside dans la spécialisation.

Un GPU moderne est un processeur hautement parallèle capable de gérer l'IA en plus des graphismes, de la simulation, du rendu, du calcul scientifique et d'autres charges de travail. Une NPU restreint le champ d'action. Elle dédie son matériel et ses logiciels aux opérations courantes de l'apprentissage automatique, souvent avec l'efficacité énergétique comme objectif de conception majeur.

Sur les PC IA actuels, cela signifie généralement exécuter les fonctionnalités d'IA prises en charge localement sans solliciter le CPU ou le GPU. Intel décrit sa NPU intégrée comme le processeur dédié aux charges de travail IA soutenues et à faible consommation, aux côtés d'un CPU pour les tâches générales et réactives, et d'un GPU pour les tâches à haut débit. AMD utilise une configuration similaire CPU, GPU et NPU dans ses systèmes Ryzen AI.

Mais il existe une complication importante.

La NPU d'un ordinateur portable n'est qu'un type de NPU parmi d'autres. Le même terme est également utilisé pour les accélérateurs en périphérie et les processeurs IA de classe serveur. La plateforme Ascend de Huawei, par exemple, prend en charge à la fois l'entraînement et l'inférence sur des serveurs équipés de NPU. Ainsi, le terme « NPU » décrit une vaste catégorie de processeurs IA plutôt qu'une classe de performance particulière.

Cette distinction est importante chaque fois que quelqu'un vous dit qu'une NPU est plus rapide, plus lente, moins chère ou plus efficace qu'un GPU. Avant de les comparer, vous devez savoir de quelle NPU et de quelle charge de travail il s'agit.

Signification de NPU

NPU signifie unité de traitement neuronal (Neural Processing Unit).

Elle appartient à la famille plus large des accélérateurs d'IA: des processeurs ou blocs de traitement conçus pour accélérer les calculs d'apprentissage automatique.

Un réseau de neurones typique applique de manière répétée des opérations mathématiques à de grands tableaux de nombres. Ces tableaux sont généralement représentés sous forme de tenseurs, c'est pourquoi les opérations tensorielles, la multiplication de matrices, les opérations de multiplication-accumulation, les convolutions et les calculs associés apparaissent si fréquemment dans le matériel dédié à l'IA.

Les CPU polyvalents peuvent effectuer ces calculs. Les GPU peuvent les exécuter beaucoup plus rapidement en parallèle. Les NPU vont plus loin en consacrant une plus grande partie de leur architecture spécifiquement à l'exécution des réseaux de neurones.

Cela peut rendre une NPU efficace lorsque le modèle correspond bien aux opérations, aux types de données, à la disposition de la mémoire et à l'environnement d'exécution pris en charge par le processeur.

La NPU en un coup d'œil

‍

‍

Pourquoi les NPU existent-ils si les CPU et les GPU font déjà tourner l'IA ?

La réponse tient à la spécialisation.

Un CPU doit être capable de gérer presque tout ce qu'un ordinateur lui demande. Il exécute la logique du système d'exploitation, les applications, les bases de données, la mise en réseau, les opérations sur les fichiers, le flux de contrôle et d'innombrables autres tâches. Les CPU modernes intègrent également des instructions vectorielles et matricielles capables d'accélérer l'apprentissage automatique, mais l'IA ne représente qu'une partie de leur travail.

Les GPU occupent une place différente sur le spectre. Leur architecture est conçue pour traiter de grandes quantités de tâches en parallèle. Il se trouve que cela correspond parfaitement aux calculs utilisés dans les réseaux neuronaux, ce qui a fait des GPU le matériel de prédilection pour l'apprentissage profond moderne.

Les NPU restreignent encore davantage le champ d'action.

Ils peuvent consacrer plus de silicium aux calculs, aux transferts de données, à l'arithmétique de faible précision et aux modèles de planification courants dans les réseaux neuronaux. Cela permet de réduire l'énergie nécessaire à l'exécution des modèles pris en charge, ce qui devient crucial lorsque l'IA doit fonctionner en continu sur un ordinateur portable ou tout autre appareil à consommation limitée.

L'architecture actuelle Core Ultra d'Intel rend cette division explicite. L'entreprise destine le CPU aux tâches générales réactives, le GPU aux charges de travail à haut débit et le NPU à l'IA durable à faible consommation.

Les trois processeurs peuvent donc se compléter au lieu de se disputer chaque tâche.

Nous examinons ce choix au niveau du système plus en détail dans CPU vs GPU vs NPU pour l'IA et le calcul général.

Comment fonctionne un NPU ?

Il n'existe pas d'architecture NPU universelle ; il est donc plus prudent de comprendre les principes de conception communs plutôt que d'imaginer une puce standard.

La plupart des NPU contiennent du matériel conçu pour effectuer efficacement un grand nombre d'opérations arithmétiques liées aux réseaux neuronaux. Les opérations de multiplication-accumulation sont particulièrement importantes, car les réseaux neuronaux multiplient et accumulent les résultats de manière répétée lors du traitement des couches.

L'implémentation actuelle du NPU d'Intel nous en donne un exemple concret.

Le NPU de la série Core Ultra 200 contient des tuiles « Neural Compute Engine » articulées autour de moteurs de multiplication-accumulation conçus à cet effet, ainsi qu'une mémoire locale et des processeurs pour gérer des opérations d'apprentissage profond supplémentaires. La documentation actuelle d'Intel répertorie l'INT8 et le FP16 parmi les types de données d'inférence pris en charge par l'implémentation du NPU.

D'autres NPU font des choix différents.

La quantité de mémoire locale peut varier. Les formats numériques pris en charge peuvent différer. Certaines architectures se concentrent fortement sur les opérations matricielles denses, tandis que d'autres ajoutent du matériel spécialisé pour des modèles particuliers. Le planificateur, le compilateur, le système de mémoire et la manière dont le travail est réparti sur la puce peuvent tous varier.

C'est pourquoi savoir qu'un ordinateur possède « une NPU » est moins informatif que de connaître son architecture réelle, les logiciels pris en charge, la mémoire et les performances mesurées.

Les NPU utilisent souvent une arithmétique de précision inférieure

Les modèles d'apprentissage automatique n'ont pas toujours besoin de nombres à virgule flottante 32 bits pour chaque opération.

L'utilisation de formats numériques plus petits peut réduire les besoins en mémoire et permettre d'effectuer davantage de calculs avec la même quantité de matériel. Les formats INT8, FP16, BF16, INT4 et d'autres formats basse précision plus récents sont donc omniprésents dans les systèmes d'IA modernes.

Les NPU pour clients exploitent largement ce concept.

L'exemple d'Intel ci-dessus prend en charge les primitives d'inférence INT8 et FP16. Le logiciel Ryzen AI d'AMD inclut également la quantification de modèles dans son flux de déploiement NPU et prend en charge le déploiement de modèles pré-entraînés via ONNX Runtime.

Les grands modèles de langage peuvent aller encore plus loin. Passer un modèle de poids 16 bits à des représentations 8 bits ou 4 bits peut réduire considérablement la mémoire nécessaire à son stockage.

C'est l'une des raisons pour lesquelles la quantification est devenue si importante pour l'IA locale. Notre guide sur la quantification des LLM explique les compromis entre des formats comme INT8 et INT4, et pourquoi les modèles plus petits ne s'exécutent pas automatiquement plus rapidement.

À quoi sert une NPU ?

Les NPU sont particulièrement pertinentes lorsque la charge de travail est intensive en réseaux neuronaux, prise en charge par les logiciels disponibles et bénéficie d'une exécution spécialisée.

Sur les appareils clients, cela concerne souvent les tâches d'IA qui s'exécutent fréquemment ou en continu.

Traitement vidéo et caméra

La segmentation d'arrière-plan, le suivi de sujet, le cadrage automatique, la correction du contact visuel, l'amélioration d'image, la réduction du bruit et d'autres fonctionnalités de caméra peuvent impliquer des réseaux neuronaux fonctionnant tout au long d'un appel ou d'une session d'enregistrement.

Ces charges de travail sont parfaitement adaptées à une NPU intégrée car elles sont répétitives et persistantes. Les décharger du CPU ou du GPU permet de libérer ces processeurs pour d'autres tâches.

Traitement de la parole et de l'audio

La suppression du bruit, la reconnaissance vocale, la transcription, la détection d'activité vocale et d'autres fonctionnalités audio peuvent également s'exécuter localement sur les NPU compatibles.

Encore une fois, le traitement soutenu est déterminant. Un petit réseau neuronal s'exécutant pendant toute la durée d'une réunion est différent d'une charge de travail GPU qui se termine en quelques secondes.

Vision par ordinateur

La détection d'objets, la classification d'images, la segmentation, l'estimation de pose et d'autres modèles similaires sont depuis longtemps les cibles privilégiées des accélérateurs d'IA spécialisés.

En périphérie (edge), ces modèles peuvent fonctionner au sein de caméras, de passerelles, de systèmes industriels et d'autres appareils sans avoir à envoyer continuellement des données brutes vers un serveur distant.

Notre guide sur le matériel d'IA en périphérie examine la place des NPU, GPU, CPU et cartes accélératrices spécialisées lorsque la latence, la connectivité, la confidentialité ou la consommation d'énergie limitent le déploiement.

IA générative

Les NPU modernes sont de plus en plus capables d'exécuter des modèles génératifs.

La pile Windows ML actuelle de Microsoft peut exécuter des modèles ONNX locaux sur des NPU, GPU et CPU en utilisant des fournisseurs d'exécution spécifiques au matériel. Le logiciel Ryzen AI d'AMD prend en charge les charges de travail génératives, y compris les grands modèles de langage et la génération d'images, via son NPU et sa pile GPU intégrée.

Le mot important est pris en charge.

Une unité de traitement neuronal (NPU) n'est pas une solution miracle où n'importe quel modèle d'IA peut être inséré. Le moteur d'exécution, l'architecture du modèle, les opérateurs, la précision numérique et la mémoire disponible doivent toujours être compatibles.

Un NPU peut-il exécuter un LLM ?

Oui. Certains NPU actuels peuvent exécuter des grands modèles de langage localement.

Le benchmark MLPerf Client actuel de MLCommons inclut des chemins d'accélération NPU et des charges de travail LLM basées sur des modèles tels que Llama 3.1 8B Instruct et Phi 3.5 Mini Instruct. Le benchmark prend en charge les plateformes NPU actuelles d'AMD, Intel et Qualcomm, ainsi que les configurations GPU.

Cela nous apprend quelque chose d'important : l'inférence LLM locale sur un NPU n'est plus une simple démonstration.

Cela ne signifie pas pour autant que chaque NPU peut exécuter chaque LLM.

La taille du modèle reste une contrainte majeure, tout comme la mémoire. Le moteur d'exécution doit disposer d'implémentations pour les opérateurs utilisés par le modèle, et celui-ci doit souvent être quantifié ou optimisé pour le processeur cible.

Le benchmark client de MLPerf utilise des poids LLM quantifiés, car les modèles en pleine précision sont souvent trop volumineux pour les systèmes clients. Il note également que des charges de travail expérimentales plus importantes peuvent échouer sur des systèmes ne disposant pas de suffisamment de mémoire.

La longueur du contexte ajoute une pression supplémentaire, car le modèle doit maintenir un état croissant à mesure qu'il génère du texte.

Pour un modèle compact et optimisé devant fonctionner localement sur un ordinateur portable, un NPU peut donc s'avérer utile.

Pour un modèle beaucoup plus volumineux, un contexte étendu, une forte concurrence ou un déploiement à l'échelle de la production, la balance penche souvent vers les GPU ou d'autres accélérateurs de classe serveur. Notre comparaison NPU vs GPU examine cette limite plus en détail.

Un NPU ne fonctionne pas seul

Le matériel ne représente que la moitié de l'équation.

Votre application nécessite une passerelle logicielle entre le modèle et le NPU.

L'une des solutions courantes est ONNX Runtime. Son architecture de fournisseur d'exécution permet au moteur d'assigner des parties d'un modèle ONNX à des bibliothèques d'accélération spécifiques au matériel pour les CPU, GPU, FPGA et NPU. Les fournisseurs actuels incluent Intel OpenVINO, AMD Vitis AI, Qualcomm QNN et Huawei CANN.

Cette abstraction permet aux développeurs de cibler différents matériels sans avoir à réécrire toute l'application pour chaque accélérateur.

Le matériel sous-jacent reste déterminant.

Si un fournisseur d'exécution ne peut pas exécuter une opération utilisée par le modèle, la charge de travail devra peut-être être répartie entre les processeurs ou basculer vers un autre périphérique. ONNX Runtime avertit que le partitionnement du modèle causé par des opérateurs non pris en charge peut nuire aux performances sur les systèmes mobiles et en périphérie.

Le fournisseur OpenVINO d'Intel illustre le fonctionnement de l'exécution hétérogène. Il peut cibler le matériel CPU, GPU ou NPU et répartir les charges de travail entre plusieurs périphériques si nécessaire.

Windows évolue dans une direction similaire. Windows ML gère désormais les fournisseurs d'exécution pour le matériel pris en charge, permettant aux applications d'accéder à l'accélération CPU, GPU et NPU via le même framework d'inférence local.

Cela facilite l'utilisation des NPU, mais n'élimine pas les différences matérielles.

La pile logicielle peut être plus importante que les spécifications du NPU

Imaginons deux processeurs affichant des performances IA similaires.

L'un prend en charge votre modèle directement. L'autre nécessite la conversion de plusieurs opérateurs, le changement du schéma de quantification, l'utilisation d'un compilateur inconnu et le recours au CPU pour une partie du graphe.

La fiche technique ne reflétera pas cette différence.

Le support logiciel influence :

• Les architectures de modèles prises en charge
• Quels opérateurs sont accélérés
• Quels formats numériques sont pris en charge
• Si les formes dynamiques fonctionnent
• Comment les modèles sont compilés
• Si des opérations personnalisées sont possibles
• À quel point les performances sont faciles à profiler
• Ce qui se passe lorsqu'un opérateur n'est pas pris en charge
• Quels systèmes d'exploitation et frameworks peuvent cibler le périphérique
• Quelle charge de travail d'ingénierie est nécessaire lors de la modification du modèle

AMD, par exemple, permet aux développeurs de partir de modèles entraînés dans PyTorch ou TensorFlow et de les déployer via ONNX Runtime sur le matériel Ryzen AI pris en charge. Huawei utilise sa pile CANN et une torch_npu intégration pour adapter les charges de travail PyTorch au matériel Ascend.

Huawei fournit même des outils de migration, car on ne peut pas simplement supposer que le code PyTorch orienté GPU fonctionnera sans modification sur les NPU Ascend. Sa documentation souligne explicitement les différences architecturales entre les GPU et les NPU comme raison justifiant la nécessité d'une migration.

Ce coût d'ingénierie doit être pris en compte dans toute comparaison matérielle sérieuse.

C'est l'un des principaux sujets que nous examinerons dans accélérateurs d'IA spécialisés vs GPU pour l'inférence.

Tous les NPU sont-ils intégrés aux ordinateurs portables ?

Non.

La vague actuelle de PC IA a rendu le terme familier, mais le matériel de traitement neuronal existe sous plusieurs formes.

NPU client intégrées

Elles sont intégrées au sein d'un système sur puce ou d'un processeur, aux côtés du CPU et du GPU.

Leurs principaux avantages sont la proximité avec le reste du système, une faible consommation d'énergie et la capacité d'exécuter l'IA localement sans nécessiter d'accélérateur dédié.

Intel Core Ultra et AMD Ryzen AI en sont des exemples actuels.

NPU mobiles et embarquées

Les téléphones, tablettes, caméras, véhicules et systèmes embarqués peuvent inclure une accélération dédiée aux réseaux neuronaux.

La consommation électrique, les limites thermiques, l'encombrement physique, la latence prévisible et l'exécution hors ligne deviennent ici particulièrement critiques.

Accélérateurs de périphérie (Edge)

Certaines NPU se présentent sous forme de modules dédiés ou de matériel d'accélération au sein de systèmes industriels et de périphérie.

Un réseau de caméras, un système robotique, une ligne de production ou un déploiement de capteurs distants peuvent nécessiter des performances d'IA nettement supérieures à celles d'une petite NPU intégrée, tout en fonctionnant en dehors d'un centre de données conventionnel.

NPU pour centres de données

Le terme s'applique également au matériel serveur.

La plateforme Ascend de Huawei inclut des systèmes équipés de NPU pour l'entraînement et l'inférence, ainsi que sa pile de développement CANN et son intégration PyTorch.

Cela rend inexactes des affirmations telles que « les NPU sont réservées aux ordinateurs portables » ou « les NPU ne peuvent pas entraîner de modèles ».

La catégorie de matériel doit être précisée.

Une NPU peut-elle entraîner des modèles d'IA ?

Pour la plupart des NPU client, l'entraînement n'est pas la fonction principale.

Le flux de développement actuel d'AMD Ryzen AI commence par un modèle pré-entraîné avant son optimisation et son déploiement sur la NPU. De même, Intel décrit sa NPU client principalement comme un moteur d'accélération pour l'inférence et l'apprentissage profond destiné aux PC soucieux de leur consommation énergétique.

Le matériel de classe serveur change la donne.

Huawei documente l'entraînement PyTorch sur ses serveurs NPU Ascend, incluant la migration de modèles et des progiciels distincts pour l'entraînement et l'inférence.

D'autres familles d'accélérateurs font leurs propres compromis.

C'est pourquoi nous distinguons la taxonomie des processeurs de la question de la charge de travail dans matériel d'entraînement vs matériel d'inférence. Un matériel excellent pour servir de manière répétée un modèle fixe ne constitue pas nécessairement le meilleur environnement de développement ou d'entraînement.

Comment mesure-t-on les performances d'un NPU ?

Le chiffre que vous rencontrerez le plus souvent est le TOPS, ou billions d'opérations par seconde.

Le TOPS estime le nombre théorique d'opérations qu'un processeur peut effectuer chaque seconde dans des conditions spécifiées.

Intel, AMD, Qualcomm, Microsoft et les fabricants de PC utilisent désormais fréquemment les TOPS pour décrire les PC IA et leurs NPU.

C'est une spécification matérielle utile, mais un piètre benchmark universel.

Un chiffre TOPS dépend de facteurs tels que la précision numérique, la prise en compte de la sparsité, la définition d'une opération et la partie du processeur mesurée. La documentation actuelle d'Intel sur les PC IA, par exemple, distingue les TOPS fournis par le NPU, le GPU et le CPU lors du calcul de la performance IA globale de la plateforme.

Par conséquent, vous ne pouvez pas comparer deux appareils en divisant simplement un nombre de TOPS par un autre.

Un NPU de 50 TOPS n'est pas automatiquement deux fois plus rapide qu'un NPU de 25 TOPS pour votre modèle. Un GPU affichant beaucoup plus de TOPS IA n'est pas non plus garanti d'exécuter votre application proportionnellement plus vite.

Le logiciel, la bande passante mémoire, la précision, la prise en charge des opérateurs, l'architecture du modèle, la gestion thermique et le taux d'utilisation interviennent tous entre la performance théorique de pointe et le résultat utile.

Nous abordons directement ce problème de mesure dans TOPS vs FLOPS et les métriques de performance IA qui comptent.

Pour des décisions matérielles concrètes, les benchmarks de charge de travail standardisés sont plus utiles. MLPerf Client, par exemple, mesure des charges de travail LLM complètes sur les chemins d'exécution NPU et GPU pris en charge, plutôt que de se limiter à comparer les spécifications arithmétiques de pointe.

Le même principe guide nos propres benchmarks Hivenet: mesurer la charge de travail plutôt que d'essayer de déduire les performances d'une application à partir d'une seule spécification.

NPU vs CPU

Un CPU est un processeur polyvalent. Un NPU est spécialisé dans les calculs de réseaux neuronaux.

Cette spécialisation peut offrir au NPU une meilleure performance par watt sur les modèles d'IA pris en charge, tandis que le CPU reste beaucoup plus flexible.

Le CPU continue de gérer les tâches du système d'exploitation, la logique de contrôle, le code applicatif, le prétraitement, le transfert de données, la mise en réseau, les bases de données et de nombreuses opérations gravitant autour du modèle d'IA lui-même.

Une application s'exécutant sur un NPU a donc toujours besoin d'un CPU.

La question intéressante est de savoir quelles parties de la charge de travail doivent être exécutées à quel endroit.

NPU vs GPU

Un NPU se spécialise plus intensément dans l'apprentissage automatique. Un GPU offre un calcul parallèle à haut débit plus étendu.

Pour une tâche d'IA soutenue et prise en charge sur un ordinateur portable, le NPU peut offrir la meilleure efficacité.

Pour les grands modèles, le développement de modèles, l'entraînement, le réglage fin, l'inférence à haut débit, le rendu, la simulation ou les charges de travail qui évoluent fréquemment, un GPU offre généralement aux développeurs une plus grande marge de manœuvre.

Certaines applications utilisent les deux.

Pour une comparaison complète, incluant la mémoire, la consommation, le coût, le support logiciel, l'entraînement, l'inférence et les LLM locaux, consultez NPU vs GPU pour les charges de travail d'IA.

NPU vs TPU, ASIC et autres accélérateurs d'IA

Un NPU fait partie d'une famille de matériel beaucoup plus vaste.

Le TPU de Google est un autre processeur spécialisé conçu pour les charges de travail liées à l'apprentissage automatique. Les ASIC peuvent être conçus pour des usages encore plus restreints. Les FPGA privilégient la reconfigurabilité au matériel fixe. Les cartes accélératrices d'IA ajoutent une capacité de traitement dédiée aux serveurs ou aux systèmes en périphérie.

Les appellations deviennent confuses car ces catégories se chevauchent.

Certains NPU sont des ASIC au sens large de l'ingénierie. Certains fournisseurs utilisent des noms propriétaires pour du matériel effectuant un travail similaire à ce qu'un autre fournisseur appelle un NPU. « Accélérateur d'IA » est donc souvent le terme générique le plus sûr.

Notre guide pratique des accélérateurs d'IA compare ces catégories par architecture et par charge de travail plutôt que d'essayer de transformer la terminologie des fournisseurs en frontières rigides.

Quelles sont les limites d'un NPU ?

Les avantages de la spécialisation s'accompagnent de contraintes.

Compatibilité des modèles

Un modèle peut contenir des opérations que le NPU ou son environnement d'exécution ne peut pas accélérer.

Cela peut forcer une partie du modèle à s'exécuter sur le CPU ou un autre accélérateur, modifiant ainsi considérablement les performances.

Mémoire

Les NPU intégrés fonctionnent généralement au sein de l'architecture mémoire du système hôte plutôt que de disposer de larges volumes de VRAM ou de HBM dédiés.

Cela peut limiter les grands modèles, même lorsque le NPU possède une capacité de calcul suffisante.

Les LLM rendent cela particulièrement visible. Les poids du modèle, les tampons d'exécution et l'état lié au contexte consomment tous de la mémoire.

Support logiciel

Le matériel nécessite des pilotes, des environnements d'exécution, des fournisseurs d'exécution, des compilateurs, des outils de conversion de modèles, une intégration aux frameworks et un support de débogage.

Un accélérateur récent aux spécifications impressionnantes peut s'avérer moins utile qu'un matériel plus ancien doté d'un environnement logiciel mature.

Prise en charge de la précision

Un NPU peut être optimisé pour des formats numériques particuliers. Un modèle nécessitant une précision différente peut requérir une conversion ou une quantification.

Flexibilité

Le matériel spécialisé est plus performant lorsque la charge de travail correspond aux attentes de ses concepteurs.

La recherche et le développement sont moins prévisibles. De nouvelles architectures de modèles apparaissent, les opérateurs changent, les frameworks évoluent et des noyaux personnalisés peuvent s'avérer nécessaires.

Cette incertitude favorise souvent un matériel plus programmable.

Comparabilité

Le terme « NPU » ne vous renseigne pratiquement pas sur les performances en soi.

Un petit accélérateur intégré et un processeur Ascend de classe serveur peuvent tous deux être qualifiés de NPU, tout en appartenant à des catégories totalement différentes en termes de performances, de mémoire, de consommation d'énergie et de déploiement.

Avez-vous besoin d'un NPU ?

Pour beaucoup, la réponse est toujours non.

Un NPU devient utile lorsque vous disposez de logiciels capables d'en tirer parti.

Si vous possédez déjà un appareil équipé d'un NPU, il n'y a guère de raison de ne pas l'utiliser lorsque l'application le prend en charge. Le processeur peut décharger les tâches d'IA qui occuperaient autrement le CPU ou le GPU.

‍

‍

L'achat d'une machine spécifiquement pour son NPU mérite une attention particulière.

Vérifiez quelles applications l'utilisent réellement, quels modèles et runtimes sont pris en charge, quelle est la mémoire disponible sur le système et ce que révèlent les benchmarks indépendants.

Quand le NPU n'est plus la solution pratique

L'exécution locale présente de réels avantages.

Elle permet de travailler hors ligne, de conserver les données sur l'appareil, d'éviter la latence réseau et d'utiliser efficacement le matériel dont vous disposez déjà. Pour les petits modèles pris en charge, c'est peut-être exactement ce dont l'application a besoin.

Le calcul change à mesure que la charge de travail augmente.

Vous pourriez avoir besoin de plus de mémoire que ce que l'appareil propose. Le modèle pourrait ne pas être pris en charge par le runtime local. Vous pourriez être en phase d'entraînement ou de réglage fin plutôt que de simple exécution d'inférence. Plusieurs utilisateurs pourraient avoir besoin du modèle simultanément. Vous pourriez avoir besoin de tester cinq familles de modèles plutôt que de vous engager sur une seule.

À ce stade, l'accès à une puissance de calcul plus flexible devient utile.

Calcul avec Hivenet fournit des instances GPU et CPU dédiées aux équipes qui souhaitent garder le contrôle sur leur propre modèle, leur environnement d'exécution, leurs bibliothèques et leur environnement. Si vous avez besoin d'un point de terminaison pour votre modèle plutôt que de l'infrastructure sous-jacente, l' API d'inférence Hivenet propose des points de terminaison gérés compatibles avec OpenAI.

Aucune de ces deux approches ne rend les NPU locaux obsolètes. Elles répondent à des problématiques de déploiement différentes.

Une architecture pertinente peut exécuter un petit modèle sur l'appareil, transférer les requêtes plus lourdes vers un calcul distant, ou combiner les deux en fonction de la latence, de la confidentialité, du coût et des capacités du modèle. Nous explorons cette frontière plus en détail dans le matériel d'IA en périphérie.

Que vérifier avant de choisir un NPU ?

Oubliez la marque un instant et concentrez-vous sur la charge de travail.

Posez-vous les questions suivantes :

1. Quel modèle sera exécuté ?
2. L'environnement d'exécution cible prend-il en charge ce modèle sur ce NPU ?
3. Tous les opérateurs importants sont-ils accélérés ?
4. Quelles précisions le NPU exécute-t-il efficacement ?
5. Le modèle tient-il confortablement dans la mémoire disponible ?
6. Quelle part de prétraitement ou de post-traitement reste à la charge du CPU ?
7. Quelle latence l'application exige-t-elle ?
8. Quel débit est nécessaire ?
9. La charge de travail doit-elle fonctionner hors ligne ?
10. Quelle est l'importance de la consommation électrique ?
11. Le modèle sera-t-il fréquemment modifié ?
12. Que se passe-t-il lorsqu'une opération non prise en charge survient ?
13. Existe-t-il un benchmark utilisant le modèle réel ou un modèle similaire ?

Ces questions en disent bien plus long que le chiffre TOPS annoncé.

Elles aident également à déterminer si la solution idéale est un NPU, un GPU, un CPU, un autre accélérateur spécialisé ou une combinaison de plusieurs processeurs.

FAQ sur les NPU

Qu'est-ce qu'un NPU dans un ordinateur ?

Un NPU (Neural Processing Unit) est un processeur conçu pour accélérer les opérations d'apprentissage automatique et de réseaux neuronaux. Dans les PC IA modernes, il accompagne généralement le CPU et le GPU pour gérer les charges de travail IA prises en charge qui bénéficient d'une exécution locale efficace.

À quoi sert un NPU ?

Un NPU exécute les opérations mathématiques utilisées par les réseaux neuronaux, notamment un grand nombre d'opérations de multiplication-accumulation et de tenseurs. Les applications peuvent l'utiliser pour des tâches telles que la vision par ordinateur, le traitement de la parole, l'amélioration d'image, l'IA générative et l'inférence LLM locale lorsque le modèle et l'environnement d'exécution sont pris en charge.

Un NPU est-il identique à un GPU ?

Non. Tous deux peuvent accélérer l'IA, mais les GPU sont des processeurs parallèles plus polyvalents, tandis que les NPU sont conçus spécifiquement pour les charges de travail liées aux réseaux neuronaux. Leurs capacités se chevauchent et certains systèmes utilisent les deux processeurs conjointement.

Un NPU est-il meilleur qu'un CPU ?

Pour les calculs de réseaux neuronaux pris en charge, un NPU peut offrir une efficacité bien supérieure à celle d'un CPU généraliste. Le CPU reste indispensable pour le reste du système d'exploitation et des applications, et peut exécuter des charges de travail pour lesquelles le NPU n'a pas été conçu.

Un NPU est-il meilleur qu'un GPU ?

Tout dépend de la charge de travail. Les NPU intégrés peuvent être excellents pour une IA locale durable et à faible consommation. Les GPU offrent généralement une plus grande flexibilité, une prise en charge logicielle plus large et une capacité supérieure pour les grands modèles, l'entraînement, le réglage fin et les charges de travail à haut débit. Consultez notre comparatif NPU vs GPU.

Une NPU peut-elle faire fonctionner l'IA sans connexion internet ?

Oui. L'un des principaux usages des NPU grand public est l'inférence locale. Si le modèle et l'application sont installés localement, les tâches d'IA prises en charge peuvent s'exécuter sans envoyer de données vers un service distant. Microsoft et AMD prennent tous deux en charge l'exécution locale de l'IA sur les PC actuels équipés de NPU.

Une NPU peut-elle faire fonctionner un LLM ?

Certaines le peuvent. Les benchmarks actuels incluent l'exécution sur NPU de modèles tels que Llama 3.1 8B et Phi 3.5 Mini. La taille du modèle, la quantification, la mémoire, la prise en charge du runtime et la longueur du contexte déterminent ce qui est réalisable sur un système donné.

Une NPU peut-elle entraîner des modèles d'apprentissage automatique ?

Certaines le peuvent, mais la plupart des NPU intégrées sont principalement conçues pour l'inférence. Les plateformes NPU de classe serveur, comme Huawei Ascend, prennent en charge l'entraînement grâce à des piles logicielles spécialisées.

Que signifie le nombre de TOPS d'une NPU ?

Le nombre de TOPS d'une NPU désigne les billions d'opérations par seconde et décrit un débit théorique maximal de calculs IA dans des conditions définies. Les TOPS peuvent aider à comparer le matériel dans un contexte contrôlé, mais ne doivent pas être considérés comme une mesure directe de la vitesse réelle des applications.

De combien de TOPS ai-je besoin pour ma NPU ?

Il n'existe pas d'objectif universel. Le modèle, la précision numérique, la prise en charge des opérateurs, la mémoire, le runtime et les exigences de latence importent davantage que l'atteinte d'un nombre arbitraire de TOPS. Testez l'application que vous comptez utiliser.

Les NPU vont-elles remplacer les GPU ?

Elles sont plutôt destinées à coexister avec eux. Les CPU, GPU et NPU répondent à des contraintes de calcul différentes, et les PC IA actuels combinent déjà les trois. Les NPU spécialisées peuvent prendre en charge des tâches où leur efficacité est pertinente, tandis que les GPU restent utiles pour des calculs flexibles à haut débit.

La question pertinente est de savoir ce que vous souhaitez faire fonctionner sur la NPU

Une NPU est un matériel spécialisé dans le traitement des réseaux de neurones.

Cette spécialisation peut rendre l'IA locale plus rapide et plus économe en énergie, surtout lorsqu'un modèle pris en charge doit fonctionner en continu sur un appareil client ou en périphérie.

Cela impose également des limites.

Le modèle doit être compatible. Le runtime doit le prendre en charge. Les opérateurs doivent disposer d'implémentations pour l'accélérateur. Le format numérique doit être adapté. Enfin, l'écosystème logiciel autour du processeur doit être suffisamment mature pour que l'utilisation du matériel ne génère pas plus de travail qu'elle n'en épargne.

L'étiquette NPU seule en dit donc étonnamment peu sur les capacités réelles.

Commencez par le modèle et la charge de travail, puis examinez la mémoire, le support logiciel, les performances mesurées, la latence, la consommation d'énergie et le coût.

À partir de là, le choix entre une NPU, un GPU, un CPU ou un autre accélérateur devient beaucoup plus facile à justifier.

Dans la suite de cette série, nous élargissons notre comparaison avec un guide pratique des accélérateurs d'IA, puis nous examinons CPU vs GPU vs NPU, les accélérateurs d'IA spécialisés par rapport aux GPU pour l'inférence, le matériel d'IA en périphérie (edge AI), TOPS vs FLOPS, et le matériel pour l'entraînement par rapport à celui pour l'inférence.