NVIDIA DGX A100 : architecture, caractéristiques et alternatives cloud

Le NVIDIA DGX A100 est un serveur de génération Ampere qui réunit huit GPU A100, une interconnexion NVLink et NVSwitch, des processeurs hôtes et une pile logicielle intégrée. Il répond notamment aux besoins des traitements qui échangent beaucoup de données entre plusieurs GPU. Son intérêt dépend donc de la charge de travail, de l’utilisation prévue et des moyens disponibles pour exploiter le système.

Ce guide porte sur le serveur complet. Pour comprendre les caractéristiques de l’accélérateur seul, consultez notre guide du GPU NVIDIA A100. Louer un GPU A100, assembler un serveur multi-GPU et acheter un DGX A100 correspondent à des choix d’infrastructure différents.

Ce que comprend un DGX A100

Le système associe les GPU au format SXM, les processeurs, la mémoire système, le stockage local, les cartes réseau et les outils d’administration. Les modèles 320 Go et 640 Go disposent respectivement de huit GPU de 40 Go et de huit GPU de 80 Go. Ces capacités s’additionnent à l’échelle du serveur ; leur utilisation par un même modèle dépend de la façon dont le logiciel répartit le travail et les données.

Le DGX A100 n’est plus la génération la plus récente de DGX. Pour un nouvel achat, comparez-le aux systèmes actuellement présentés par NVIDIA, aux serveurs partenaires et aux configurations cloud compatibles. Un système existant peut rester adapté à un traitement bien défini, sans constituer le meilleur choix pour tous les nouveaux projets.

Les caractéristiques à vérifier avant un déploiement

Les configurations d’usine diffèrent selon le modèle. Le tableau reprend les éléments utiles de la documentation du DGX A100 ; confirmez les composants, les extensions et l’état du matériel dans le devis.

Chaque A100 comporte 6 912 cœurs CUDA FP32 et 432 cœurs Tensor. Ces chiffres correspondent au GPU commercialisé, et non à la configuration complète théorique de la puce GA100 décrite dans le livre blanc de l’architecture Ampere.

Le cache de données utilise le RAID 0 par défaut, sans redondance des disques. Prévoyez un stockage durable distinct et des sauvegardes pour les jeux de données et les points de contrôle. Le RAID 1 des disques du système d’exploitation ne protège pas les données conservées dans le cache.

Vérifiez aussi le modèle exact des cartes réseau. Dans ce système, NVIDIA documente les cartes ConnectX-7 à un port comme compatibles uniquement avec InfiniBand. Le nom de la gamme ne suffit donc pas pour déduire le protocole disponible ou choisir les câbles et les commutateurs.

Quand NVLink et NVSwitch changent les performances

L’interconnexion fournit jusqu’à 600 Go/s de bande passante bidirectionnelle par GPU. Cette valeur s’exprime en gigaoctets par seconde, à distinguer des gigabits par seconde utilisés pour les ports réseau. Elle décrit une capacité de communication, pas le débit garanti d’un entraînement.

Un entraînement qui échange fréquemment des gradients, des activations ou des partitions de modèle peut bénéficier de cette interconnexion. Le résultat dépend toutefois du modèle, de la précision numérique, de la taille des lots, de la bibliothèque de communication et de l’alimentation en données.

Pour des expériences indépendantes, des réplicas d’inférence ou des tâches de rendu séparées, les GPU peuvent travailler avec peu d’échanges entre eux. Dans ce cas, la mémoire disponible, le taux d’utilisation et le coût par tâche terminée peuvent peser davantage que la bande passante entre GPU. Notre guide des clusters GPU explique les autres éléments à examiner lorsque plusieurs machines participent au calcul.

Évitez de comparer des chiffres de calcul annoncés dans des précisions différentes ou avec des hypothèses de parcimonie différentes. Un débit théorique en TF32 ou en FP16 ne permet pas de prédire directement le temps nécessaire à votre application. Testez le traitement complet, y compris le chargement des données et l’enregistrement des résultats.

Logiciels, partage des ressources et exploitation

DGX OS s’appuie sur Ubuntu et intègre les pilotes et outils nécessaires à la plateforme. Les ressources NVIDIA comprennent notamment des conteneurs NGC, NVIDIA System Management et Data Center GPU Manager. Vérifiez les versions compatibles avec vos applications, ainsi que les droits d’usage et l’assistance inclus dans l’offre proposée.

La technologie Multi-Instance GPU, ou MIG, permet de partitionner chaque A100 en sept instances au maximum. Chaque instance dispose de ressources de calcul, de mémoire et de cache dédiées. Le profil choisi détermine les ressources disponibles ; toutes les partitions ne peuvent pas accueillir les mêmes modèles.

MIG ne remplace pas l’ordonnancement des tâches, les contrôles d’accès, la surveillance ou les sauvegardes. L’équipe doit aussi attribuer la responsabilité des mises à jour, des images de conteneurs, du stockage et de la reprise après incident. Une plateforme intégrée réduit une partie du travail d’assemblage, mais son exploitation demande toujours des compétences et du temps.

Évaluer le coût total et les contraintes du site

Demandez un devis pour la configuration envisagée, en précisant si le matériel est neuf, reconditionné ou d’occasion. Faites détailler l’assistance, la garantie applicable, les pièces couvertes et les conditions de renouvellement. Une durée générique de garantie ou un ancien prix catalogue ne suffit pas à établir le budget.

Ajoutez au prix d’achat l’électricité, le refroidissement, le rack, le réseau, le stockage durable, les sauvegardes et le travail d’exploitation. Vérifiez que le site peut accueillir un serveur de 6U dont la puissance maximale atteint 6,5 kW. Les besoins d’installation doivent être évalués avec les responsables des infrastructures.

À titre d’exemple de calcul, une consommation constante de 6,5 kW pendant 8 760 heures à 0,10 dollar par kWh coûterait 5 694 dollars par an en électricité, hors refroidissement. Il s’agit d’une hypothèse à puissance maximale, pas d’une mesure de consommation moyenne. Utilisez la consommation réelle et le tarif local pour votre estimation.

Comparez ensuite les options sur une même période et pour un même volume de travail. Un matériel acheté continue de générer des coûts lorsqu’il est peu utilisé. Une location cloud évite l’achat initial, mais ses coûts dépendent du temps facturé, du stockage, des transferts et des conditions du service. Aucune option n’est systématiquement la moins chère.

Quand envisager une configuration GPU cloud

Le cloud peut être adapté à une demande variable, à un projet limité dans le temps ou à une équipe qui ne souhaite pas exploiter le matériel. Certaines offres proposent des GPU de centre de données reliés par une interconnexion rapide ; d’autres répondent plutôt à des tâches sur un seul GPU ou à des traitements indépendants.

Avant de choisir, vérifiez le modèle de GPU, la VRAM par GPU, la topologie, les ressources hôtes, les règles d’interruption, les coûts associés et la capacité disponible dans la région souhaitée. La mention « huit GPU » ne garantit pas une communication équivalente à celle d’un DGX A100. Demandez aussi les conditions d’assistance et les éventuels engagements de service.

Ce que propose Compute with Hivenet

La documentation actuelle de Compute with Hivenet décrit des instances RTX 5090 avec 32 Go de VRAM par GPU, et des configurations allant jusqu’à huit GPU lorsque la capacité est disponible. La flotte RTX 4090 a été retirée et n’est plus disponible pour de nouveaux traitements. Consultez la console pour connaître les configurations, les localisations et les prix actifs au moment de votre choix.

La VRAM reste attachée à chaque GPU : plusieurs cartes ne deviennent pas automatiquement une réserve de mémoire unique. Le logiciel doit prendre en charge leur utilisation conjointe. Une instance RTX 5090 ne doit pas être présentée comme un remplacement équivalent de la mémoire HBM, des fonctions MIG ou de l’interconnexion NVSwitch d’un DGX A100.

Selon les règles de facturation de Hivenet, l’usage Compute éligible est facturé à la seconde, sans minimum horaire. Les frais commencent quand l’instance atteint l’état Running et s’arrêtent lorsqu’elle quitte cet état. Une instance laissée en fonctionnement peut donc être facturée même si votre application ne calcule pas. Vérifiez le prix affiché et arrêtez les ressources dont vous n’avez plus besoin.

Une méthode de comparaison fondée sur votre traitement

1. Définissez les besoins. Notez la taille du modèle, la précision, les données à traiter, les objectifs de latence et la fréquence des exécutions.
2. Mesurez une configuration simple. Relevez l’usage de la mémoire, le débit et le temps passé à attendre les données avant d’ajouter des GPU.
3. Testez le passage à plusieurs GPU. Comparez les résultats avec un, deux, quatre ou huit GPU lorsque le logiciel le permet. Mesurez le temps de communication et le travail effectivement terminé.
4. Évaluez les incidents. Vérifiez les points de contrôle, la restauration, les sauvegardes et les conséquences d’une indisponibilité.
5. Calculez le coût complet. Utilisez des devis et des prix actuels, avec une estimation réaliste du taux d’utilisation.
6. Préparez la suite. Définissez comment transférer les données, les conteneurs et les traitements si la capacité, le fournisseur ou le besoin change.

Un DGX A100 peut être pertinent si un traitement exploite son interconnexion et si l’organisation peut le faire fonctionner régulièrement. Pour un besoin plus ponctuel, une configuration cloud compatible peut constituer un point de départ plus souple. La décision doit reposer sur les contraintes mesurées du traitement et sur le coût de son exploitation.

Questions fréquentes

Un GPU A100 et un DGX A100 désignent-ils la même chose ?

Non. L’A100 est un accélérateur. Le DGX A100 est un serveur complet qui en contient huit, avec les composants et les logiciels nécessaires à leur fonctionnement.

Peut-on partager le système entre plusieurs utilisateurs ?

Oui. Un ordonnanceur peut attribuer des GPU entiers, et MIG peut partitionner les ressources d’un A100. L’administration doit définir les règles d’allocation, d’accès aux données et de surveillance ; le partage ne garantit pas à chaque utilisateur les ressources du GPU complet.

Faut-il un DGX pour entraîner un grand modèle ?

Pas nécessairement. La mémoire requise, la méthode d’entraînement, la précision et les échanges entre GPU déterminent la configuration appropriée. Plusieurs architectures locales ou cloud peuvent convenir. Testez une configuration représentative avant de conclure qu’un serveur DGX est indispensable.

Le DGX A100 reste-t-il un choix pertinent ?

Un système existant peut continuer à répondre aux besoins d’une équipe. Pour un nouvel investissement, comparez les performances mesurées, les coûts, la compatibilité logicielle et les conditions d’assistance aux offres actuelles. L’âge du matériel ne suffit ni à l’écarter ni à justifier son achat.