RTX 3090 pour le deep learning : mémoire, entraînement et évolution

La NVIDIA GeForce RTX 3090 peut encore servir au deep learning si la charge complète tient dans ses 24 Go de VRAM et si vos logiciels prennent la carte en charge. Elle mérite une évaluation lorsque vous en possédez déjà une ou envisagez une offre d'occasion. Son intérêt dépend du temps d'entraînement mesuré, de la marge mémoire, de l'état du matériel et du coût du système complet.

Ce guide concerne la RTX 3090 d'origine, pas la RTX 3090 Ti. Il explique quelles charges peuvent tenir en mémoire, comment évaluer les performances et dans quels cas un GPU plus récent ou doté de davantage de mémoire résout une contrainte réelle.

Les caractéristiques de la RTX 3090 utiles au deep learning

Caractéristique	Valeur de référence RTX 3090	Conséquence pratique
Architecture	Ampere ; capacité de calcul CUDA 8.6	Vérifiez la prise en charge dans votre version du framework et vos extensions CUDA.
Mémoire GPU	24 Go de GDDR6X	La mémoire doit accueillir davantage que les poids du modèle.
Bande passante mémoire	936 Go/s	Il s'agit d'un débit théorique de transfert mémoire, pas du débit de l'application.
Unités de calcul	10 496 cœurs CUDA ; 328 Tensor Cores de troisième génération	Le nombre de cœurs ne suffit pas à comparer la vitesse entre architectures.
Puissance de la carte graphique	350 W	Dimensionnez le refroidissement et l'alimentation selon la carte et le système complet.
Connectivité	PCIe 4.0 ; prise en charge de NVLink	Les performances multi-GPU dépendent aussi de la topologie et des logiciels.

Sources : les caractéristiques NVIDIA de la RTX 3090 et le livre blanc sur l'architecture GA102, vérifiés le 19 octobre 2026. Les cartes de fabricants partenaires peuvent différer. La puissance indiquée n'est pas une mesure prise pendant un entraînement particulier.

Quelles charges tiennent dans 24 Go de VRAM ?

Partez de la charge la plus exigeante que vous prévoyez d'exécuter. Pour les modèles d'image, incluez la résolution, la taille des lots, l'augmentation des données et la validation. Pour les modèles de langage, incluez la longueur de séquence, la taille des lots et le cache de génération. Le chargement réussi d'un modèle ne prouve pas que son entraînement ou une inférence réaliste tiendra en mémoire.

Le calcul suivant concerne uniquement le stockage idéal des poids : nombre de paramètres multiplié par le nombre de bits par paramètre, puis divisé par huit. Les Go représentent ici des milliards d'octets. Les facteurs de quantification, les couches non quantifiées, les buffers temporaires et les surcoûts d'exécution s'y ajoutent.

Exemple	Stockage idéal des poids	Ce que le calcul établit
7 milliards de paramètres sur 16 bits	14 Go	Les poids peuvent tenir ; l'entraînement complet exige aussi gradients, états de l'optimiseur, activations et autres allocations.
7 milliards de paramètres sur 4 bits	3,5 Go	Des poids plus compacts peuvent laisser davantage de marge, selon l'implémentation.
70 milliards de paramètres sur 4 bits	35 Go	Les poids seuls dépassent la capacité d'une carte de 24 Go ; le modèle complet nécessite une autre organisation.

Ces exemples ne définissent pas une limite universelle de taille de modèle. Le déport vers le CPU, le partitionnement, d'autres formats de quantification et les choix propres à l'architecture modifient le calcul, parfois avec un effet sur la vitesse ou la qualité. Mesurez le pic mémoire pendant l'exécution réelle.

Entraînement, ajustement fin et inférence ont des besoins différents

L'entraînement complet met à jour les paramètres du modèle et nécessite les états d'entraînement associés. L'ajustement fin économe en paramètres ne modifie qu'un ensemble plus restreint, mais conserve le modèle de base et sa mémoire de travail. L'inférence évite les états de l'optimiseur ; les longs contextes et les requêtes simultanées peuvent toutefois occuper beaucoup de mémoire cache.

Si une tâche dépasse légèrement la capacité disponible, réduisez d'abord le microlot ou la taille des entrées. L'accumulation des gradients permet de constituer un lot effectif plus grand sur plusieurs étapes ; elle ne retire pas le modèle ni l'optimiseur de la mémoire. Le recalcul des activations, ou activation checkpointing, réduit les activations conservées au prix de calculs supplémentaires. Évaluez les effets sur la durée et l'objectif d'entraînement.

Précision et quantification sur la RTX 3090

Les Tensor Cores GA102 prennent en charge les modes FP16, BF16 et TF32. Ils ne disposent pas du chemin de calcul FP8 natif des Tensor Cores d'architectures ultérieures. Cela n'empêche pas la RTX 3090 d'utiliser des modèles quantifiés sur peu de bits.

Le guide bitsandbytes de Hugging Face indique une prise en charge de NF4/FP4 sur les GPU NVIDIA Pascal ou ultérieurs, dont Ampere. L'entraînement sur 4 ou 8 bits y concerne des paramètres supplémentaires, pas un entraînement arbitraire de tous les paramètres de la base quantifiée. Vérifiez bibliothèque, version CUDA et exigences du modèle.

Pour l'entraînement FP16 avec PyTorch, suivez le guide de précision mixte automatique, notamment ses indications sur la mise à l'échelle des gradients. Contrôlez la fonction de perte et les résultats de validation. La précision mixte peut améliorer le débit et l'usage mémoire ; le gain dépend des opérations et des contraintes de la tâche.

Consignez séparément les réglages TF32. La documentation CUDA de PyTorch décrit le contrôle de la précision interne sur Ampere et les GPU ultérieurs. Un tenseur d'entrée FP32 ne prouve pas à lui seul que toutes les opérations matricielles ont utilisé la précision IEEE FP32 complète. Cette distinction compte pour reproduire un benchmark ou comparer les résultats numériques.

Interpréter les benchmarks de deep learning

Un benchmark utile précise le modèle, la forme des entrées, la précision, la taille des lots, les versions logicielles, le nombre de GPU et la méthode de mesure. Un débit en images par seconde dépourvu de ce contexte ne permet pas de prévoir les performances de votre charge.

Le benchmark d'entraînement RTX 4090 contre RTX 3090 de Lambda, publié en octobre 2022 et mis à jour en novembre 2023, fournit un repère historique. Avec le conteneur NGC pytorch:22.09-py3, Lambda rapportait pour la RTX 4090 un débit FP16 d'environ 1,3 à 1,8 fois celui de la RTX 3090 selon les modèles testés. Ce résultat daté ne garantit pas un gain similaire et ne constitue pas une comparaison des prix actuels.

Ce guide ne présente pas de nouveau benchmark matériel. Pour décider d'un achat ou d'une mise à niveau, comparez votre tâche de bout en bout et une qualité de validation acceptable. Des étapes d'entraînement plus rapides ne raccourcissent pas forcément l'ensemble du processus si le chargement, le prétraitement, l'évaluation ou les sauvegardes dominent.

Un test limité et reproductible

1. Notez la carte exacte, le pilote, le framework, la version CUDA, les extensions et les réglages de précision.
2. Utilisez la même révision du modèle, le même échantillon de données, les mêmes dimensions d'entrée, le même microlot et le même lot effectif pour chaque GPU.
3. Effectuez une phase de chauffe, puis chronométrez plusieurs exécutions avec une synchronisation GPU adaptée.
4. Relevez la durée totale, le débit stabilisé, les pics de mémoire allouée et réservée, les échecs et les résultats de validation.
5. Mesurez la consommation à la prise si le coût énergétique compte. La puissance annoncée d'une carte n'est pas celle de l'ordinateur complet.
6. Conservez les résultats avec la configuration afin de pouvoir comparer une exécution ultérieure.

Deux RTX 3090 ne deviennent pas un GPU de 48 Go

NVLink fournit un lien de communication entre cartes compatibles. Il ne fusionne pas automatiquement leur mémoire en une allocation unique accessible à tout programme. Avant d'acheter une seconde carte, vérifiez le pont, l'espacement sur la carte mère, la topologie PCIe et le système de communication logiciel.

Dans une configuration classique PyTorch DistributedDataParallel avec un processus par GPU, chaque carte possède une copie du modèle. Cela peut améliorer le débit d'un modèle qui tient sur chaque GPU. Répartir un modèle plus volumineux ou ses états d'entraînement exige une méthode de partitionnement ou de parallélisme de modèle adaptée.

Il n'existe pas de facteur d'accélération fixe pour deux cartes. Communications, préparation des données, taille des lots et contraintes thermiques interviennent. Exécuter deux expériences indépendantes peut être plus utile que répartir une petite tâche sur les deux GPU.

RTX 3090, RTX 4090 ou RTX 5090 ?

Caractéristique de référence	RTX 3090	RTX 4090	RTX 5090
Architecture	Ampere	Ada Lovelace	Blackwell
Mémoire	24 Go GDDR6X	24 Go GDDR6X	32 Go GDDR7
Cœurs CUDA	10 496	16 384	21 760
Puissance graphique	350 W	450 W	575 W
NVLink	Oui	Non	Non

Les valeurs des cartes plus récentes proviennent des caractéristiques NVIDIA des RTX 4090 et RTX 5090, vérifiées le 19 octobre 2026. La RTX 5090 est un produit commercialisé, pas un modèle futur encore estimé.

Passer d'une 3090 à une 4090 conserve la même capacité mémoire nominale. Une tâche limitée par le calcul peut finir plus vite après vérification, mais ce changement n'ajoute pas de VRAM. La 5090 apporte 8 Go supplémentaires, avec des exigences d'alimentation et de logiciel différentes. Testez les extensions personnalisées et la version du framework avant de déplacer un environnement fonctionnel.

Si la capacité mémoire ou le déploiement serveur est le principal besoin, le comparatif A40 et RTX 3090 examine d'autres compromis. Pour élargir la sélection, consultez le guide des GPU pour le deep learning.

Vérifier une carte d'occasion et le système complet

NVIDIA indique une alimentation système de 750 W pour sa configuration de référence RTX 3090. Cette valeur ne s'applique pas automatiquement à tous les CPU, modèles partenaires ou postes multi-GPU. Suivez les exigences du fabricant concernant l'alimentation, les connecteurs, l'encombrement et la circulation d'air.

Avant un achat d'occasion, demandez le modèle exact, les conditions de retour, l'historique des réparations s'il est connu et des éléments montrant un fonctionnement prolongé. Pendant la période de retour, testez la mémoire, le refroidissement, les ventilateurs, la stabilité et une tâche d'entraînement représentative. Une courte démonstration du bureau ne démontre pas la fiabilité pendant un long entraînement.

Vérifiez aussi la RAM système, la capacité du CPU à préparer les données et le stockage. Si le GPU attend souvent les données, son remplacement peut laisser intact le principal facteur limitant. Toute modification des réglages de puissance doit être testée pour sa stabilité et son effet sur la durée, sans supposer un pourcentage d'économie garanti.

Conserver, remplacer ou louer ?

Conservez une RTX 3090 existante lorsque la charge tient en mémoire, produit les résultats attendus et se termine dans un délai acceptable. Envisagez un remplacement lorsqu'une contrainte mesurée en justifie le coût complet. Pour un usage intermittent, comparez un court essai en location avec l'achat, l'électricité, l'entretien et la capacité inutilisée à l'aide du guide des prix des GPU cloud.

Pour Compute with Hivenet, la référence GPU actuelle présente des instances RTX 5090 et indique le retrait du parc RTX 4090. Elle n'établit pas l'existence d'une offre RTX 3090 ou H100. Vérifiez dans la console la configuration disponible, la localisation, les ressources et le tarif actif avant de planifier une exécution.