Qu'est-ce que le NVFP4 ? L'inférence IA 4 bits sur NVIDIA Blackwell expliquée

NVFP4 est un format à virgule flottante 4 bits conçu par NVIDIA pour les GPU Blackwell.

Son objectif est simple : rendre les grands modèles d'IA plus compacts et moins coûteux à exécuter, sans pour autant perdre trop d'informations numériques au point de rendre le modèle inexploitable.

Cependant, qualifier NVFP4 de simple « quantification 4 bits » occulte l'essentiel de ce qui le rend intéressant.

Le nombre sous-jacent n'utilise que quatre bits. NVIDIA combine ensuite ces valeurs avec une mise à l'échelle fine, utilisant une échelle FP8 pour de petits groupes de valeurs et une échelle globale de plus haute précision pour le tenseur. Cela permet aux valeurs 4 bits de s'adapter à la plage numérique des différentes parties d'un modèle, plutôt que d'imposer une échelle grossière à l'ensemble d'un tenseur.

Sur l'architecture Blackwell, ces valeurs peuvent également être traitées par des Tensor Cores bénéficiant d'une prise en charge native du FP4. La RTX 5090, par exemple, est un GPU Blackwell doté de Tensor Cores de cinquième génération et de 32 Go de mémoire vidéo GDDR7. L'architecture RTX Blackwell de NVIDIA ajoute une prise en charge matérielle pour les opérations Tensor Core en FP4.

Cette combinaison est déterminante.

Un modèle de 27 milliards de paramètres, trop volumineux pour un seul GPU de 32 Go en BF16, peut devenir une charge de travail parfaitement gérable sur un seul GPU après une quantification NVFP4 minutieuse.

Le mot important ici est minutieuse.

Une inférence de basse précision efficace ne consiste pas à convertir aveuglément chaque tenseur en 4 bits en espérant que le résultat soit satisfaisant.

Que signifie NVFP4 ?

NVFP4 utilise une représentation à virgule flottante E2M1 .

Cela signifie que chaque valeur de quatre bits contient :

1 bit de signe
2 bits d'exposant
1 bit de mantisse

Le nombre E2M1 brut peut représenter des magnitudes incluant :

0
0,5
1
1,5
2
3
4
6

ainsi que leurs équivalents négatifs.

En soi, il s'agit d'un vocabulaire numérique très restreint.

Les tenseurs des réseaux de neurones modernes contiennent des valeurs aux distributions beaucoup plus variées.

NVFP4 résout ce problème grâce à la mise à l'échelle.

NVIDIA définit conceptuellement une valeur NVFP4 comme suit :

valeur de haute précision
=
Valeur E2M1 4 bits
×
échelle FP8 locale
×
échelle FP32 globale

L'échelle locale est stockée en utilisant FP8 E4M3 et est partagée au sein d'un petit groupe de valeurs. Une seconde échelle FP32 s'applique à l'ensemble du tenseur.

Il est donc plus juste de définir le NVFP4 comme suit :

valeurs 4 bits + un système de mise à l'échelle structuré

plutôt que simplement :

réduire chaque nombre à quatre bits.

Pourquoi la mise à l'échelle est-elle si importante ?

Imaginez ces valeurs :

0,02
0,04
0,07
0,11

et ailleurs dans le même tenseur :

2,1
3,4
4,8
5,7

Une échelle unique de faible précision devant couvrir les deux groupes peut mal représenter une région.

Les petites valeurs pourraient converger vers les mêmes niveaux de quantification, tandis que les grandes valeurs dictent la plage numérique utile.

La mise à l'échelle granulaire permet à des groupes distincts de s'adapter à leurs propres plages locales.

NVFP4 utilise normalement une échelle pour chaque bloc de 16 éléments, associée à l'échelle globale du tenseur. NVIDIA affirme que cette taille de bloc réduite diminue l'erreur de quantification par rapport aux formats utilisant des blocs de mise à l'échelle plus grands.

Pour les poids, l'implémentation actuelle du Transformer Engine de NVIDIA peut utiliser une variante bidimensionnelle où des blocs de poids de 16 × 16 partagent les informations de mise à l'échelle. Les activations et les gradients utilisent la forme unidimensionnelle de 16 éléments.

Il n'est pas nécessaire de mémoriser ce détail d'implémentation pour utiliser un modèle NVFP4.

L'idée essentielle est la suivante :

plus la région partageant une échelle est petite, mieux le quantificateur peut s'adapter aux différences locales du tenseur.

Cette précision a un coût en termes de métadonnées.

Cela explique également pourquoi les modèles NVFP4 réels préservent beaucoup plus d'informations utiles que ce que l'expression « quatre bits » pourrait laisser supposer.

NVFP4 n'est pas identique au format FP4 standard

FP4 décrit la représentation sous-jacente en virgule flottante sur quatre bits.

NVFP4 décrit un format de quantification et une stratégie de mise à l'échelle plus complets.

NVIDIA compare trois approches FP4 pour Blackwell :

Les trois peuvent stocker des données sur quatre bits.

‍

‍

Ils ne conservent pas nécessairement les informations avec la même efficacité.

Les blocs plus petits et la mise à l'échelle de plus haute précision du NVFP4 visent à réduire l'erreur de quantification tout en permettant à Blackwell d'effectuer efficacement des opérations matricielles en basse précision.

C'est pourquoi demander :

Ce modèle est-il en FP4 ?

est moins utile que de demander :

Quel format FP4 et quelle méthode de quantification ce point de contrôle utilise-t-il ?

NVFP4 contre FP8 contre BF16

La hiérarchie de précision de base se présente comme suit :

‍

‍

Le nombre brut de bits est facile à calculer.

La taille réelle des modèles, elle, ne l'est pas.

Le NVFP4 nécessite des données de mise à l'échelle. Certaines couches peuvent rester en FP8 ou en BF16. Les plongements, les couches de normalisation, les têtes de sortie, les composants multimodaux et d'autres parties d'un modèle peuvent ne pas utiliser la même précision.

NVIDIA indique donc une mémoire modèle environ 3,5 fois inférieure à celle du FP16 et environ 1,8 fois inférieure à celle du FP8 dans son analyse publiée sur le NVFP4, plutôt que de revendiquer les réductions théoriques parfaites de 4× et 2×.

Cette distinction est importante lors du dimensionnement des GPU.

Ne calculez pas :

Point de contrôle BF16 de 54 Go
÷ 4
=
13,5 Go

et conclure que le modèle NVFP4 final déployé occupera exactement 13,5 Go.

Ce chiffre ne décrit qu'un stockage idéalisé des paramètres sur quatre bits.

Un point de contrôle réel est un mélange de valeurs quantifiées, d'échelles, de métadonnées et de composants conservés dans une précision supérieure.

FP8 ou NVFP4 ?

Le format FP8 alloue deux fois plus de bits à chaque valeur principale que le NVFP4.

Cela confère au FP8 une résolution et une plage numériques considérablement plus élevées avant même de prendre en compte la mise à l'échelle.

Le NVFP4 sacrifie une partie de cette capacité de représentation au profit de :

• une mémoire modèle réduite
• une pression moindre sur la bande passante mémoire
• plus d'espace pour des modèles plus volumineux
• plus d'espace pour le cache KV
• un débit potentiellement plus élevé des Tensor Cores en basse précision sur Blackwell

Le choix n'est donc pas entre :

un FP8 précis ou un FP4 imprécis.

Il s'agit plutôt de savoir :

Ce modèle spécifique conserve-t-il la qualité requise lorsque ses couches appropriées sont converties en NVFP4 ?

Parfois oui.

Parfois non.

C'est un problème d'évaluation.

Que signifie W4A4 ?

Vous verrez souvent un modèle NVFP4 décrit comme suit :

W4A4

Cette notation signifie :

W4 = poids en 4 bits
A4 = activations en 4 bits

Les poids sont les paramètres appris stockés dans le modèle.

Les activations sont les valeurs intermédiaires produites pendant que le modèle traite une requête.

Un modèle 4 bits à poids uniquement pourrait plutôt ressembler à :

W4A16

où :

poids = 4 bits
activations = 16 bits

W4A4 permet de réduire à la fois le stockage du modèle et la précision des opérations matricielles elles-mêmes, ce qui est particulièrement intéressant sur le matériel doté d'une exécution native par Tensor Core en 4 bits.

Le point de contrôle NVFP4 du modèle Qwen3.6-27B de NVIDIA, par exemple, quantifie les poids et les activations des opérateurs linéaires en NVFP4 et sert le modèle résultant via vLLM.

C'est pourquoi ce format est bien plus qu'une simple astuce de compression de disque.

Le calcul d'inférence lui-même peut tirer parti d'une précision réduite.

La quantification des poids et celle des activations permettent de résoudre des problèmes connexes.

Réduire la précision des poids permet d'optimiser :

• la taille des points de contrôle
• la mémoire GPU
• la bande passante mémoire lors de la lecture des poids

Réduire la précision des activations peut également contribuer à rendre le chemin de calcul réel moins coûteux et mieux adapté aux Tensor Cores basse précision.

C'est pourquoi un modèle NVFP4 W4A4 peut différer d'un point de contrôle quatre bits traditionnel, où les poids sont compressés mais immédiatement combinés avec des activations de plus haute précision.

Encore une fois, le support logiciel est essentiel.

Un point de contrôle utilisant des poids quatre bits ne signifie pas automatiquement que votre environnement d'exécution effectuera des opérations matricielles natives en quatre bits.

Pourquoi Blackwell est important

Le format NVFP4 a été introduit avec l'architecture NVIDIA Blackwell.

Les Tensor Cores de Blackwell ajoutent un support natif du FP4. Sur l'architecture RTX Blackwell, NVIDIA a également intégré le FP6 et un moteur Transformer FP8 plus récent, en plus des chemins existants BF16, FP16, TF32 et INT8.

Ce support matériel est au cœur même du format.

Un modèle peut être stocké dans une représentation quatre bits sur du matériel plus ancien, mais cela ne signifie pas pour autant que le GPU peut exécuter nativement des opérations matricielles NVFP4.

Pour une accélération NVFP4 native, pensez à Blackwell ou plus récent.

Les exemples incluent les GPU Blackwell tels que :

• GeForce RTX 5090
• RTX PRO 6000 Blackwell
• GPU de centre de données de classe B200

La prise en charge exacte du runtime et du noyau dépend toujours de la pile logicielle.

L'architecture GPU est nécessaire.

Ce n'est pas la seule dépendance.

Pourquoi la RTX 5090 est intéressante pour le NVFP4

La RTX 5090 de bureau dispose de :

32 Go de VRAM GDDR7
1 792 Go/s de bande passante mémoire
Architecture Blackwell
Cœurs Tensor de 5e génération
Prise en charge du FP4

selon la documentation d'architecture de NVIDIA.

Trente-deux gigaoctets constituent une quantité de mémoire utile, mais cela ne suffit pas pour tous les modèles modernes en BF16.

Un modèle 27B nécessite environ :

27B × 2 octets
≈
54 Go

rien que pour les poids en BF16.

Ce modèle dépasse les capacités d'une seule RTX 5090 avant même le début de l'inférence.

En déplaçant les opérations appropriées vers le format NVFP4, le calcul est suffisamment modifié pour qu'un modèle de classe 27B devienne une charge de travail réaliste pour un seul GPU.

C'est là toute l'utilité de la relation entre la quantification et le matériel.

La quantification ne se contente pas de réduire l'empreinte mémoire d'un même modèle.

Elle peut faire basculer une charge de travail vers une catégorie de matériel totalement différente.

Un exemple concret avec Qwen3.6-27B

Le Qwen3.6-27B-NVFP4 actuel de NVIDIA est un exemple pertinent, car le modèle original compte 27 milliards de paramètres.

Le point de contrôle NVFP4 publié pèse environ 21,9 Go sur Hugging Face. NVIDIA indique que la quantification des opérateurs linéaires de 16 bits vers le format NVFP4 réduit l'espace disque et les besoins en mémoire GPU d'environ 2,5× pour ce modèle.

Cela démontre immédiatement pourquoi le simple calcul :

27B × 0,5 octets = 13,5 Go

est insuffisant.

Le modèle déployé ne se résume pas à 13,5 Go de poids bruts en quatre bits.

Il contient un mélange de :

• opérations NVFP4
• composants de plus haute précision
• échelles
• composants multimodaux
• métadonnées du modèle
• autres tenseurs

Et une fois en cours d'exécution, il nécessite toujours de la mémoire pour le moteur d'inférence et le cache KV.

C'est pourquoi le guide du cache KV doit être consulté en complément de cet article.

Le NVFP4 réduit la taille du modèle, mais ne fait pas disparaître le reste du processus d'inférence.

HivenetQuant adopte une approche à précision mixte

Notre HivenetQuant Qwen3.6-27B-NVFP4 suit le même principe général : utiliser une faible précision agressive là où le modèle le tolère, et préserver une précision plus élevée là où c'est nécessaire.

Dans notre point de contrôle, le MLP constitue le niveau principal NVFP4 W4A4, tandis que les couches d'attention et DeltaNet récurrentes restent en FP8. La répartition par couche est choisie en fonction de la sensibilité des poids plutôt que de supposer que chaque couche réagit aussi bien à une quantification sur quatre bits.

C'est un principe important pour la quantification en général :

une précision uniforme est simple. Une précision sélective peut être meilleure.

Les couches les plus grandes offrent souvent les économies de mémoire et de calcul les plus importantes.

Il peut ne pas être judicieux de réduire une couche sensible relativement petite à quatre bits si cela nuit de manière disproportionnée au modèle.

Pourquoi certaines couches resteraient-elles en FP8 ?

Différentes parties d'un réseau de neurones présentent des sensibilités aux erreurs différentes.

Supposons que deux couches occupent :

Couche A = 4 Go
Couche B = 200 Mo

et que la quantification de chacune sur quatre bits crée un risque de qualité similaire.

Passer la couche A en NVFP4 permet d'économiser une grande quantité de mémoire.

Maintenir la couche B en FP8 coûte relativement peu.

La carte de précision économiquement judicieuse peut donc être :

grande couche tolérante
→ NVFP4

petite couche sensible
→ FP8

plutôt que de forcer les deux au même format.

C'est pourquoi certains des modèles basse précision les plus utiles sont modèles à précision mixte.

Le titre sur la fiche du modèle peut indiquer NVFP4.

L'ingénierie réelle peut intégrer plusieurs niveaux de précision.

Le format NVFP4 est-il précis ?

Il est impossible de répondre par « oui » sans préciser le modèle et l'évaluation.

Le point de contrôle Qwen3.6-27B de NVIDIA constitue un exemple utile.

Sa comparaison publiée inclut :

‍

‍

Le point de contrôle NVFP4 obtient des résultats légèrement supérieurs sur certaines mesures et légèrement inférieurs sur d'autres.

C'est à cela que devrait ressembler un débat sain sur la quantification.

Pas :

NVFP4 n'entraîne aucune perte de précision.

Mais :

Sur ce modèle, avec cette méthode de quantification, ces évaluations restent proches de la référence en haute précision.

Testez ensuite votre propre application.

Le terme « quasi sans perte » doit être accompagné d'une évaluation.

Les affirmations concernant la quantification doivent toujours répondre à quatre questions :

Quel modèle ?
Un modèle dense de 8B et un MoE de 400B peuvent réagir différemment.

Quelles couches ?
La quantification « weight-only » et la précision mixte W4A4 sont différentes.

Quel benchmark ?
Le MMLU ne vous indique pas si un service d'extraction JSON produit toujours des schémas valides.

Quel runtime ?
Le format du point de contrôle et le chemin d'exécution peuvent modifier le comportement réel.

Une évaluation interne utile pourrait mesurer :

• la justesse du code
• les benchmarks de raisonnement
• la précision des appels d'outils
• la validité des sorties structurées
• les questions spécifiques à un domaine
• les tâches multimodales
• la perplexité
• la latence
• le débit

Si votre application repose sur des appels d'outils, un changement mineur de benchmark qui corrompt 8 % des schémas d'appels d'outils n'est pas « quasi sans perte » pour votre produit.

Évaluez ce qui compte.

Le NVFP4 est-il plus rapide que le FP8 ?

C'est possible.

Mais affirmer que « quatre bits représentent la moitié de huit bits, donc le modèle est deux fois plus rapide » n'est pas un modèle de performance sérieux.

La réduction de la précision peut aider en :

• réduisant le trafic mémoire
• permettant de stocker davantage de données dans les caches
• réduisant l'empreinte VRAM du modèle
• utilisant les cœurs Tensor FP4 natifs de l'architecture Blackwell
• permettant des lots plus importants ou davantage de tâches simultanées

La vitesse réelle de bout en bout dépend toujours de :

• l'architecture du modèle
• l'implémentation du noyau
• la taille des lots
• la longueur de la séquence
• la charge de travail de pré-remplissage par rapport au décodage
• le GPU
• le framework de service
• la méthode de quantification
• la configuration du cache KV

Une opération limitée par la mémoire peut bénéficier considérablement d'un transfert de données réduit.

Une autre charge de travail peut être limitée par d'autres facteurs.

Mesurez le nombre de jetons par seconde et la latence sur la charge de travail que vous prévoyez d'exécuter.

Ne les déduisez pas de la largeur de bit.

Les modèles plus petits peuvent également devenir plus rapides pour une raison indirecte

Supposons qu'un point de contrôle FP8 consomme presque toute la VRAM disponible.

Vous pourriez être contraint d'utiliser :

taille de lot = 1

ou une concurrence très faible.

Si NVFP4 libère suffisamment de mémoire pour :

taille de lot = 4

l'amélioration des performances la plus importante peut provenir de la configuration de service différente rendue possible par la mémoire libérée, et non simplement de l'opération matricielle FP4 brute.

C'est pourquoi l'efficacité de la mémoire et les performances de calcul sont liées.

La VRAM n'est pas un stockage passif.

Elle détermine quelles charges de travail le serveur peut maintenir actives simultanément.

NVFP4 et la précision du cache KV sont distincts

Cette distinction mérite d'être répétée car elle est source de nombreuses confusions.

Vous pouvez avoir :

modèle NVFP4
+
Cache KV FP8

ou toute autre combinaison prise en charge.

La précision utilisée pour les opérations linéaires du modèle ne détermine pas automatiquement la manière dont les clés et les valeurs sont stockées pendant la génération.

NVIDIA et les frameworks d'inférence prennent désormais en charge des options de cache KV en précision réduite en tant que voie d'optimisation distincte. TensorRT-LLM, par exemple, documente la prise en charge du cache KV NVFP4 indépendamment de la quantification des poids et des activations du modèle.

Ainsi, si vous souhaitez connaître les besoins en mémoire d'un modèle NVFP4 avec un contexte de 128 000 jetons, vous devez toujours vous poser la question suivante :

Quelle précision est utilisée pour le cache KV ?

Notre guide du cache KV montre comment calculer cette partie.

NVFP4 contre INT4

Les deux peuvent utiliser quatre bits.

Ils représentent les nombres différemment.

INT4 représente des niveaux entiers.

NVFP4 représente un format à virgule flottante miniature avec :

un signe
un exposant
une mantisse

et combine ces valeurs avec une mise à l'échelle hiérarchique.

Le format à virgule flottante rend les valeurs représentables non uniformes.

Cela peut être utile pour les tenseurs de réseaux de neurones dont les valeurs couvrent différentes magnitudes.

Mais affirmer que « la virgule flottante est meilleure que les entiers » est trop simpliste.

Les méthodes de quantification INT4 de haute qualité peuvent très bien fonctionner.

Le format approprié dépend de :

• modèle
• matériel
• moteur d'exécution
• étalonnage
• précision cible
• débit cible

L'avantage particulier du NVFP4 réside dans sa conception conjointe avec le chemin d'exécution FP4 natif de Blackwell.

NVFP4 face à GPTQ et AWQ

Ces noms appartiennent à des catégories légèrement différentes.

Le NVFP4 est avant tout un format numérique et une méthode de quantification.

GPTQ et AWQ sont des méthodes ou des familles de méthodes de quantification.

GPTQ et AWQ sont généralement associés aux poids de modèles en entiers de faible précision, mais la distinction conceptuelle importante est la suivante :

format
=
la manière dont les nombres sont représentés

méthode de quantification
=
la manière dont vous déterminez les valeurs, échelles ou paramètres
que le modèle en basse précision doit utiliser

Ces concepts peuvent interagir.

Vous devriez donc éviter de comparer :

NVFP4 et GPTQ

comme s'il s'agissait exactement du même type de comparaison que :

NVFP4 et FP8

Le premier associe un format ou une recette à une approche algorithmique.

Le second compare plus directement des formats de précision numérique.

Cette distinction est importante lors de la lecture des fiches techniques des modèles.

NVFP4 contre MXFP4

MXFP4 est un autre format à virgule flottante sur quatre bits pris en charge par Blackwell.

La principale différence d'échelle est la suivante :

MXFP4 :
1 échelle partagée pour 32 valeurs

NVFP4 :
une échelle FP8 plus fine pour 16 valeurs
+
échelle de tenseur globale

NVIDIA présente la mise à l'échelle plus fine et plus expressive du NVFP4 comme un moyen de réduire l'erreur de quantification par rapport au MXFP4.

Le MXFP4 peut toujours s'avérer utile.

La vraie question n'est pas de savoir quel acronyme semble le plus sophistiqué.

Il s'agit de déterminer quel format est pris en charge efficacement par votre modèle, votre moteur d'exécution et votre matériel cible, tout en préservant la qualité requise.

Le NVFP4 permet-il de faire tenir un modèle sur un seul GPU ?

Parfois, c'est précisément là tout l'intérêt.

Reprenons l'exemple approximatif du modèle 27B :

Poids bruts BF16
≈ 54 Go

Une RTX 5090 ne peut pas contenir ces poids BF16.

Un point de contrôle NVFP4 bien conçu peut permettre à ce modèle d'intégrer la catégorie de matériel 32 Go, tout en laissant de la marge pour l'état d'exécution et le cache.

Notre guide des GPU cloud pour Qwen3.6-27B détaille ce modèle de déploiement.

C'est l'une des utilisations les plus déterminantes de la quantification.

Un modèle ne devient pas simplement « 30 % moins cher ».

Il peut passer de :

multi-GPU requis

vers :

GPU unique possible

Cela modifie la complexité du déploiement ainsi que les coûts.

La quantification peut s'avérer plus rentable que l'achat d'un GPU supplémentaire

Supposons que votre modèle BF16 nécessite deux GPU car les poids ne tiennent pas sur un seul.

Vous avez au moins deux options :

conserver le BF16
+
ajouter un autre GPU

ou :

quantifier le modèle
+
exécuter sur un seul GPU

La première option préserve la précision d'origine.

La seconde réduit les besoins matériels et supprime la communication multi-GPU du processus de service.

Aucune n'est universellement meilleure.

Mais c'est la comparaison économique pertinente.

La quantification est une décision d'infrastructure.

Sa valeur se mesure souvent au nombre de GPU économisés, et non simplement aux gigaoctets gagnés.

Parfois, il est tout simplement préférable d'utiliser un autre GPU.

Ne quantifiez pas un modèle de manière excessive sous prétexte que la réduction du nombre de GPU est devenue un objectif idéologique.

Un GPU doté d'une mémoire plus importante peut s'avérer être la meilleure solution lorsque :

• la perte de qualité est inacceptable
• la prise en charge de la quantification est encore immature
• l'architecture du modèle réagit mal au format quatre bits
• la latence est plus importante que le nombre de composants matériels
• vous avez de toute façon besoin d'une capacité de cache KV bien plus élevée
• la gestion technique autour du point de contrôle quantifié devient trop fragile

L'infrastructure a pour but d'exécuter la charge de travail de manière fiable.

Si le format FP8 sur un GPU à plus grande mémoire est manifestement préférable pour le produit, utilisez le FP8 sur ce GPU.

Quels GPU prennent en charge NVFP4 ?

L'accélération native NVFP4 est associée à NVIDIA Blackwell et les architectures ultérieures. La documentation mathématique CUDA actuelle de NVIDIA exige une capacité de calcul Blackwell ou supérieure pour la multiplication matricielle NVFP4, et l'architecture RTX Blackwell ajoute une prise en charge native des Tensor Cores FP4.

Pour le cluster Hivenet, l'exemple le plus pertinent est le :

RTX 5090

avec :

• l'architecture Blackwell
• les Tensor Cores de 5e génération
• 32 Go de GDDR7
• prise en charge native du FP4

L'ensemble exact des formats de modèles pris en charge peut encore varier entre vLLM, TensorRT-LLM, Transformer Engine et d'autres environnements d'exécution.

« GPU Blackwell » répond à la question matérielle.

Cela ne garantit pas que chaque point de contrôle NVFP4 fonctionne avec tous les logiciels d'inférence.

Comment exécuter un modèle NVFP4 ?

La méthode la plus simple consiste généralement à utiliser un point de contrôle pré-quantifié conçu pour votre moteur de service.

Par exemple, NVIDIA publie des points de contrôle NVFP4 via Model Optimizer qui peuvent être chargés par des piles d'inférence compatibles telles que vLLM et TensorRT-LLM. La fiche du modèle Qwen3.6 fournit une configuration de service vLLM compatible avec OpenAI.

Pour notre déploiement Qwen, nous conservons les instructions de service complètes dans le guide Qwen3.6-27B plutôt que de dupliquer ici une commande sensible à la version.

C'est intentionnel.

Cet article devrait expliquer la précision.

Le tutoriel sur le modèle doit contenir la commande de déploiement.

Pouvez-vous quantifier vous-même un modèle en NVFP4 ?

Oui, pour les modèles et les chaînes d'outils pris en charge.

NVIDIA Model Optimizer fournit une quantification post-entraînement ainsi que d'autres flux de travail d'optimisation de modèles, et TensorRT-LLM peut utiliser des points de contrôle Model Optimizer pré-quantifiés compatibles. Les outils actuels de NVIDIA prennent en charge le NVFP4 aux côtés du FP8 et de plusieurs recettes de quantification entière.

Mais bien quantifier un modèle implique plus que simplement exécuter :

--quantize-to-4-bits

Un flux de travail sérieux peut impliquer :

• données de calibration
• sensibilité par couche
• choix des modules à exclure
• quantification des activations
• précision du cache KV
• évaluation de la précision
• compatibilité à l'exécution
• prise en charge par le noyau

C'est pourquoi la publication d'un modèle quantifié doit inclure une fiche descriptive expliquant ce qui a été quantifié et comment le résultat a été évalué.

Il est difficile de faire confiance à un fichier quatre bits sans méthodologie associée.

Que devrait contenir une bonne fiche descriptive de modèle NVFP4 ?

Au minimum, je souhaiterais :

Modèle de base
Quel point de contrôle a été quantifié ?

Format de quantification
S'agit-il de W4A4, W4A16 ou d'une configuration mixte ?

Politique de couche
Quels modules utilisent NVFP4, FP8 ou BF16 ?

Matériel cible
Est-ce prévu pour Blackwell ?

Moteur d'exécution
vLLM ? TensorRT-LLM ? Autre chose ?

Calibration
Quelles données ou méthodes ont été utilisées ?

Empreinte mémoire
Quelle est la taille réelle du point de contrôle et du déploiement ?

Évaluation
Comment se compare-t-il au modèle de référence ?

Limites
Quelles tâches ou configurations sont connues pour entraîner une dégradation ?

Ces informations sont bien plus utiles que :

Quantifié en quatre bits pour une inférence ultra-rapide.

La deuxième phrase ne vous apprend pratiquement rien.

NVFP4 est-il réservé aux LLM ?

Non.

L'inférence FP4 s'applique plus largement aux charges de travail de réseaux neuronaux pouvant utiliser des opérations compatibles en basse précision.

NVIDIA prend également en charge les chemins FP4 pour l'IA générative visuelle, notamment pour des modèles comme FLUX sur les GPU Blackwell. Sa matrice de prise en charge actuelle pour la génération visuelle inclut des configurations FP4 et FP8 pour la RTX 5090.

Nous avons abordé cet aspect du point de vue applicatif dans notre Guide FLUX.1 [dev].

Le même principe matériel s'applique :

réduire la précision là où le modèle le permet afin qu'une plus grande partie de la charge de travail s'adapte et soit traitée efficacement par le GPU.

Qu'est-ce que NVFP4 change pour l'économie de l'inférence ?

Supposons que la quantification vous permette de passer de :

2 GPU

à :

1 GPU

pour le même modèle.

L'avantage est supérieur à la simple réduction de la taille des points de contrôle.

Vous pouvez également supprimer :

• la communication parallèle par tenseur
• le coût horaire d'un autre GPU
• une autre source de surcharge de synchronisation
• une partie de la complexité de configuration multi-GPU

Ou supposons que le modèle tienne déjà sur une seule carte.

La réduction de la mémoire dédiée aux poids peut libérer de l'espace pour :

• des contextes plus longs
• plus de cache KV
• concurrence accrue
• lots plus importants
• composants de modèle supplémentaires

La quantification vous donne un budget mémoire.

La façon dont vous utilisez ce budget détermine la valeur réelle.

Quand utiliser NVFP4 ?

NVFP4 est particulièrement intéressant lorsque toutes les conditions suivantes sont réunies :

Vous utilisez du matériel Blackwell.

Le chemin matériel natif est une raison majeure d'utiliser ce format.

Les poids du modèle constituent une contrainte mémoire significative.

Si un modèle 8B occupe déjà une faible fraction de votre GPU, une quantification agressive pourrait résoudre un problème que vous n'avez pas.

Un point de contrôle NVFP4 de haute qualité existe ou vous pouvez en valider un.

Le format seul ne garantit pas la qualité.

Votre framework de service prend correctement en charge le modèle.

Un format théoriquement efficace est inutile si votre environnement d'exécution revient à un chemin lent ou ne peut pas le charger.

L'évaluation est concluante.

C'est le test décisif.

Quand éviter NVFP4 ?

Je ne le choisirais pas automatiquement si :

• le GPU cible est antérieur à Blackwell
• le modèle s'exécute confortablement en FP8 ou BF16
• la quantification sur quatre bits entraîne une dégradation significative des performances
• la pile de service offre un support limité
• le modèle dépend fortement de couches qui ne peuvent pas être quantifiées sans risque
• une configuration de plus haute précision respecte déjà l'objectif de coût

La « basse précision » n'est pas une exigence produit.

C'est un outil parmi d'autres pour répondre aux contraintes de mémoire, de performance et de coût.

Le NVFP4 ne remplace pas une bonne sélection de modèle

Un modèle de 70B mal choisi, même brillamment quantifié, peut s'avérer moins performant qu'un modèle robuste de 27B fonctionnant à une précision supérieure.

La taille du modèle, la précision et le nombre de GPU doivent être déterminés conjointement.

Un ordre de décision pertinent est le suivant :

1. Quel modèle réussit l'évaluation de la tâche ?

2. Quelle précision permet de préserver ce résultat ?

3. De quelle quantité de mémoire le point de contrôle résultant a-t-il besoin ?

4. De quel niveau de contexte et de concurrence avons-nous besoin ?

5. Quelle configuration GPU permet de le servir efficacement ?

Ne renversez pas ce processus en choisissant le modèle simplement parce que vous avez découvert un format de quantification intéressant.

La manière utile d'envisager le NVFP4

Le NVFP4 se comprend mieux comme un moyen d'allouer la précision en tenant compte du matériel.

Les valeurs sur quatre bits permettent de réduire la taille du modèle.

Les échelles à granularité fine permettent de retrouver une grande partie de la flexibilité numérique qu'une représentation naïve sur quatre bits aurait perdue.

La précision mixte permet aux parties sensibles de rester en FP8 ou BF16.

Les cœurs Tensor Blackwell rendent les opérations à faible précision qui en résultent utiles pour l'inférence réelle, plutôt que pour un simple stockage compressé.

Le résultat peut être substantiel.

Un modèle qui nécessitait auparavant plusieurs GPU peut parfois tenir sur un seul.

Un modèle déjà présent sur un seul GPU peut laisser beaucoup plus de mémoire disponible pour le cache et les requêtes simultanées.

Mais rien de tout cela ne signifie que quatre bits sont magiquement équivalents à seize.

La question pertinente reste :

Ce modèle quantifié a-t-il préservé le comportement attendu tout en améliorant suffisamment l'infrastructure pour que cela en vaille la peine ?

Si la réponse est oui, le NVFP4 peut s'avérer être un compromis très efficace.

FAQ NVFP4

Qu'est-ce que le NVFP4 ?

Le NVFP4 est le format à virgule flottante 4 bits de NVIDIA pour les GPU Blackwell. Il combine des valeurs 4 bits E2M1 avec une mise à l'échelle par bloc FP8 à granularité fine et un facteur d'échelle global pour réduire l'erreur de quantification à faible précision.

Que signifie FP4 ?

FP4 désigne une représentation à virgule flottante sur quatre bits. Dans le NVFP4, la valeur centrale utilise le format E2M1 : un bit de signe, deux bits d'exposant et un bit de mantisse.

Que signifie NVFP4 E2M1 ?

E2M1 décrit la disposition des bits de la valeur sur quatre bits : deux bits d'exposant et un bit de mantisse, plus un bit de signe. Le format brut peut représenter des magnitudes allant jusqu'à 6 avant l'application de la mise à l'échelle.

Quelle est la taille de bloc du NVFP4 ?

NVFP4 utilise une mise à l'échelle par blocs à granularité fine. La forme unidimensionnelle standard partage une échelle FP8 E4M3 sur 16 valeurs consécutives. Le moteur Transformer de NVIDIA prend également en charge une mise à l'échelle bidimensionnelle 16 × 16 pour les tenseurs de poids.

Que signifie W4A4 ?

W4A4 signifie poids sur quatre bits et activations sur quatre bits. Un modèle NVFP4 W4A4 effectue des opérations matricielles compatibles en utilisant des valeurs de faible précision pour les deux.

NVFP4 est-il identique à INT4 ?

Non. INT4 représente des entiers sur quatre bits. NVFP4 utilise des valeurs à virgule flottante E2M1 sur quatre bits combinées à une mise à l'échelle hiérarchique.

NVFP4 est-il identique à GPTQ ?

Non. NVFP4 décrit un format numérique et une méthode de quantification, tandis que GPTQ est une méthode de quantification. Une fiche de modèle peut donc impliquer à la fois un format numérique et un algorithme utilisé pour décider de la manière dont la quantification est appliquée.

Quelle est la différence entre NVFP4 et FP8 ?

Le FP8 utilise huit bits pour la valeur numérique principale, tandis que le NVFP4 en utilise quatre avec une mise à l'échelle à granularité fine. Le NVFP4 peut utiliser beaucoup moins de mémoire, tandis que le FP8 offre une résolution numérique intrinsèque supérieure.

Combien de mémoire le NVFP4 permet-il d'économiser ?

NVIDIA rapporte une mémoire modèle environ 3,5 fois inférieure à celle du FP16 et 1,8 fois inférieure à celle du FP8 dans son analyse publiée sur le NVFP4. Les économies réelles varient car les modèles conservent souvent certaines couches et métadonnées à une précision supérieure.

Le NVFP4 réduit-il la précision ?

C'est possible. Le degré dépend du modèle et de la méthode de quantification. L'évaluation NVFP4 du modèle Qwen3.6-27B publiée par NVIDIA reste proche de sa référence FP8 sur les benchmarks rapportés, mais ce résultat ne doit pas être généralisé à tous les modèles.

Le NVFP4 est-il plus rapide que le FP8 ?

Il peut améliorer les performances d'inférence sur le matériel Blackwell pris en charge en réduisant le trafic mémoire et en utilisant des opérations natives FP4 Tensor Core. La vitesse réelle de bout en bout dépend de l'architecture du modèle, des noyaux, de la taille des lots, du contexte et du framework de service.

Quels GPU prennent en charge le NVFP4 ?

L'exécution native NVFP4 nécessite du matériel de classe NVIDIA Blackwell ou plus récent dans les piles logicielles prises en charge. La RTX 5090 est un GPU Blackwell doté de Tensor Cores de cinquième génération et d'une prise en charge native du FP4.

La RTX 5090 prend-elle en charge le NVFP4 ?

Oui. La RTX 5090 utilise l'architecture Blackwell et ses Tensor Cores de cinquième génération prennent en charge les opérations FP4. Elle dispose de 32 Go de VRAM GDDR7.

Le NVFP4 permet-il de faire tenir un modèle de 27B sur une RTX 5090 ?

Oui, selon le modèle et la méthode de quantification. Un modèle 27B en BF16 nécessite environ 54 Go pour les poids bruts, tandis que les points de contrôle NVFP4 Qwen3.6-27B existants tiennent dans la catégorie matérielle des 32 Go.

Un modèle NVFP4 fait-il exactement un quart de la taille d'un modèle BF16 ?

Non. Les valeurs sur quatre bits nécessitent théoriquement un quart du stockage brut des valeurs sur 16 bits, mais les points de contrôle réels incluent des échelles, des métadonnées et des composants conservés dans une précision supérieure. NVIDIA rapporte des réductions réelles inférieures au maximum théorique de 4×.

Un modèle NVFP4 utilise-t-il un cache KV NVFP4 ?

Pas automatiquement. La précision du modèle et celle du cache KV sont des choix de configuration distincts. Certaines piles de service prennent en charge les formats de cache FP8 ou NVFP4 indépendamment.

vLLM peut-il exécuter des modèles NVFP4 ?

Oui, pour les points de contrôle et les formats de quantification compatibles. NVIDIA publie des modèles NVFP4 destinés au déploiement vLLM, notamment Qwen3.6-27B.

Puis-je quantifier mon propre modèle en NVFP4 ?

Oui, pour les modèles et environnements pris en charge. NVIDIA Model Optimizer propose des flux de travail de quantification post-entraînement et exporte des points de contrôle pour les frameworks de service compatibles.

Le NVFP4 n'est-il utile que pour les très grands modèles ?

Non, mais son intérêt devient plus évident lorsque la mémoire, la bande passante ou la concurrence du modèle deviennent une contrainte réelle. Si le modèle tient déjà confortablement dans une précision supérieure, le gain peut être moindre.

‍