NVIDIA DGX H100 : caractéristiques, coûts et alternatives cloud

NVIDIA DGX H100 est un serveur intégré équipé de huit GPU H100, pour une capacité totale de 640 Go de mémoire GPU. Il est conçu pour l’entraînement de modèles d’IA, l’inférence et d’autres calculs accélérés pouvant exploiter plusieurs GPU. Son intérêt dépend de la charge de travail, des communications entre GPU et de l’équipe chargée de son exploitation.

Pour évaluer un DGX H100, commencez par un devis correspondant à la configuration exacte et par un test représentatif. Le nombre de GPU ou une performance théorique maximale ne suffisent pas à déterminer la vitesse de votre application, son coût ou la capacité d’un système plus petit à atteindre le même objectif.

Que contient un DGX H100 ?

Le guide NVIDIA DGX H100/H200 décrit le matériel. Les configurations H100 et H200 partagent le même manuel : vérifiez le modèle associé à chaque caractéristique.

Composant	Caractéristique du DGX H100
GPU	8 GPU NVIDIA H100 ; 80 Go par GPU, 640 Go au total
Interconnexion des GPU	NVLink et NVSwitch ; bande passante annoncée de 900 Go/s entre GPU
Processeurs	2 Intel Xeon Platinum 8480C, avec 56 cœurs chacun
Mémoire système	2 To
Stockage du système d’exploitation	2 SSD NVMe de 1,92 To en RAID 1
Cache de données	8 SSD NVMe de 3,84 To en RAID 0
Réseau du cluster	8 interfaces ConnectX-7, jusqu’à 400 Gb/s chacune
Format	Serveur en rack 8U ; poids maximal de 130,45 kg
Puissance électrique du système	10,2 kW au maximum

La mémoire GPU totale est répartie entre huit appareils. Le logiciel doit distribuer le modèle ou les tâches pour exploiter cette capacité. La mémoire système est distincte de celle des GPU, et le cache local ne doit pas constituer votre seule copie durable des données ou des points de contrôle.

Pourquoi NVLink et NVSwitch comptent

Certaines applications répartissent un modèle entre plusieurs GPU et échangent des données à chaque étape. D’autres exécutent des tâches indépendantes sur des appareils distincts. Les premières peuvent être beaucoup plus sensibles aux performances des interconnexions. Pour comparer deux machines à huit GPU, examinez donc leur topologie et leurs communications, au-delà du nombre d’accélérateurs.

Le parallélisme tensoriel, par exemple, répartit les calculs d’un modèle entre plusieurs appareils. Son intérêt dépend de l’implémentation et du temps consacré aux échanges de résultats intermédiaires. Mesurez le débit utile et la latence avec le modèle réel, sans supposer que huit GPU offrent une accélération de huit fois.

Quelles charges peuvent justifier un DGX H100 ?

Un DGX H100 mérite d’être évalué lorsqu’une équipe a besoin de beaucoup de mémoire GPU, de communications fréquentes entre appareils ou d’un système partagé pour une demande soutenue. L’entraînement de grands modèles est un cas d’usage, mais l’inférence, l’analyse de données et le calcul scientifique peuvent aussi justifier plusieurs GPU. Ce sont les besoins de l’application qui déterminent le choix.

• Entraînement distribué : mesurez le temps nécessaire pour atteindre le même niveau de qualité, en incluant le chargement des données, les points de contrôle et la reprise après incident.
• Inférence de grands modèles : testez ensemble la mémoire, la longueur du contexte, les requêtes simultanées et la latence.
• Tâches indépendantes par lots : comparez leur exécution sur un serveur partagé avec la location d’instances plus petites.
• Calcul scientifique : vérifiez la précision numérique, les bibliothèques et les échanges nécessaires à l’application.

Aucune règle fiable ne permet d’affirmer que tous les modèles sous un certain nombre de paramètres tiennent sur un GPU, ou que l’ajustement fin nécessite toujours moins de 48 Go. La précision, l’état de l’optimiseur, les activations, la taille des lots et la longueur des séquences influencent la mémoire requise. Un résultat d’inférence ne permet pas de déduire les besoins de l’entraînement.

Quand une configuration plus petite suffit

Commencez par la plus petite configuration capable d’exécuter le travail complet dans les limites de mémoire et de temps fixées. Si un GPU atteint l’objectif et que la demande est intermittente, un serveur à huit GPU risque de rester largement inutilisé. Le calcul change si plusieurs équipes peuvent l’occuper ou si le modèle nécessite des échanges rapides entre GPU.

Mesurez aussi le temps d’attente. Une machine partagée rapide peut retarder un projet lorsque son accès est limité. À l’inverse, la location à la demande n’est utile que si la configuration nécessaire est disponible au moment voulu.

Combien coûte un DGX H100 ?

Demandez un devis récent précisant le système, l’assistance, les droits d’utilisation des logiciels, le lieu et les conditions de livraison. Ce guide ne donne pas de prix d’achat universel : une ancienne annonce de revendeur ou une fourchette sans source ne constitue pas un budget fiable pour un nouvel achat.

Faites distinguer le prix du serveur de l’installation, des renouvellements de support, du réseau, du stockage, des taxes et des travaux sur le site. Pour du matériel d’occasion, vérifiez aussi le transfert de garantie, l’éligibilité à l’assistance, la configuration et la disponibilité des pièces. Un prix d’achat inférieur peut s’accompagner de responsabilités d’exploitation différentes.

Calculer le coût total de possession

Établissez un modèle sur la durée d’utilisation prévue. Incluez :

1. L’achat du matériel, son financement éventuel et sa valeur de revente estimée.
2. Les commutateurs, les câbles, le stockage partagé et les sauvegardes.
3. L’électricité, le refroidissement, l’espace en baie et l’installation.
4. L’assistance, les renouvellements logiciels, la maintenance et le temps de travail des équipes.
5. La capacité inutilisée, les tâches en échec, la maintenance planifiée et la reprise après incident.

Rapportez ce total au travail utile réalisé sur la même période. Pour une comparaison horaire, conservez les mêmes unités : une heure de serveur complet diffère d’une heure-GPU. Un serveur à huit GPU utilisé pendant une heure représente huit heures-GPU allouées, même si l’application laisse certains appareils inactifs.

L’utilisation compte, car les coûts fixes continuent lorsque le système est inoccupé. À titre d’exemple, répartir le même coût fixe annuel sur 2 000 heures de serveur productives plutôt que sur 4 000 double sa contribution au coût horaire. L’électricité et les autres dépenses variables nécessitent leurs propres hypothèses.

Alimentation, refroidissement et installation

Le guide de déploiement du DGX H100 indique un refroidissement par air et une puissance électrique maximale de 10,2 kW. Cette valeur sert à dimensionner l’installation ; elle ne signifie pas que chaque application consomme constamment 10,2 kW.

Avant la commande, faites vérifier la charge admissible des baies, la distribution électrique, la circulation de l’air, l’accès pour la maintenance et la redondance. Le fait qu’un serveur entre dans une baie ne prouve pas que la salle peut l’alimenter et le refroidir. Utilisez des mesures de consommation pour estimer l’énergie d’une application et les exigences du fabricant pour préparer l’installation.

Pour plusieurs serveurs, dimensionnez le stockage et le réseau avec le calcul. Des lectures de données ou des écritures de points de contrôle trop lentes peuvent laisser les GPU en attente. Le guide des clusters GPU présente les relations entre nœuds de calcul, stockage partagé, réseau et ordonnancement.

DGX H100, DGX A100 et systèmes plus récents

Le DGX H100 appartient à la génération Hopper de NVIDIA. Il ne faut pas le présenter comme le modèle phare actuel : le catalogue de documentation DGX couvre aussi des systèmes plus récents. Comparez les modèles réellement disponibles, leurs conditions d’assistance et leurs délais de livraison.

Pour remplacer une installation A100, consultez le guide du DGX A100, puis testez le matériel proposé avec vos logiciels et votre charge actuelle. Distinguez les gains liés au matériel, à la précision numérique et aux changements logiciels. Un facteur d’accélération annoncé dans les meilleures conditions ne prédit pas le résultat de chaque application.

Un matériel plus récent peut apporter davantage de mémoire ou de débit, tout en modifiant les besoins du site et les logiciels à valider. Intégrez l’effort de migration au calcul. Conserver un système fonctionnel peut être raisonnable s’il répond encore aux exigences du projet.

Les alternatives cloud à l’achat d’un DGX H100

Louer une capacité H100 peut éviter l’achat et l’exploitation d’un serveur physique. Comparez le modèle de GPU, la mémoire, les interconnexions, les ressources CPU, le réseau, le stockage et l’assistance. Une instance cloud équipée de GPU H100 n’est pas automatiquement un système DGX H100. Le guide du H100 sur AWS présente une option propre à ce fournisseur.

Demandez une estimation pour la même charge et le même niveau de service. Incluez l’exécution, les transferts, le stockage persistant, les ressources inactives, les réservations de capacité et l’exploitation. Vérifiez les quotas, la capacité régionale, les conditions d’interruption et la conservation des points de contrôle après la défaillance d’une instance.

La place de Compute with Hivenet

La référence des GPU Hivenet décrit des instances RTX 5090 avec 32 Go de VRAM par GPU et des configurations allant jusqu’à huit GPU selon la capacité disponible. La flotte RTX 4090 de Hivenet a été retirée. La mémoire et les interconnexions de ces instances RTX diffèrent de celles d’un DGX H100.

Évaluez Compute with Hivenet pour les charges compatibles avec la configuration choisie et validées par un test représentatif. Le nombre de GPU ne suffit pas à établir des performances équivalentes, et une instance RTX ne remplace pas un DGX pour toutes les tâches. Consultez la page des tarifs actuels, puis confirmez la configuration, la région, la disponibilité et le prix actif dans la console avant d’établir votre budget.

Une liste de vérifications pour décider

• Définissez le modèle, les données, la précision, la taille des lots, la simultanéité et le délai requis.
• Mesurez la mémoire utilisée et les performances sur une configuration représentative.
• Testez le chargement des données, les points de contrôle, la reprise après incident et une demande soutenue.
• Comparez les coûts complets d’achat et de location avec les mêmes unités et hypothèses.
• Confirmez les exigences d’installation, le support, la compatibilité logicielle et les responsabilités d’exploitation.

Une décision d’achat utile explique le besoin auquel répond le système et les preuves qui justifient ce choix. Si le test révèle une limite de mémoire, de réseau ou de stockage, traitez cette contrainte précise avant d’ajouter du matériel.

Questions fréquentes

Le DGX H100 possède-t-il 640 Go de mémoire GPU partagée ?

Il possède 640 Go au total, répartis entre huit GPU. Les applications doivent distribuer le travail pour exploiter plusieurs appareils. Ce total ne correspond pas à une allocation ordinaire de 640 Go sur un seul GPU.

Le DGX H100 nécessite-t-il un refroidissement liquide ?

NVIDIA décrit le DGX H100 comme un système refroidi par air. Le site doit néanmoins respecter les exigences de circulation d’air, de température, d’alimentation et d’installation.

Le DGX H100 sert-il uniquement à l’entraînement ?

Non. L’inférence et d’autres calculs accélérés peuvent aussi en bénéficier. Évaluez la mémoire, les communications, le débit, la latence et l’utilisation avec l’application réelle.

La location de GPU dans le cloud coûte-t-elle toujours moins cher ?

Non. Le résultat dépend des performances, de la demande, des conditions d’accès à la capacité et de l’ensemble des coûts d’exploitation. Comparez le travail réalisé sur une période réaliste, en incluant les moments où la capacité achetée ou réservée reste inutilisée.