GPU cloud
TTFT de 5,4 ms. 9 fois plus rapide qu'un 4090 en période de pointe. Architecture Blackwell. Facturation à la seconde. Aucuns frais de sortie.


TTFT : 45,4 ms (base de référence à demande unique) : 84 % plus rapide qu'un A100 de 80 Go à charge équivalente.
Débit à double processeur graphique : 7 604 jetons/s, soit 2 fois la puissance d'un A100.
Spécification
Valeur
Pourquoi c'est important
L'architecture
Blackwell
Procédé 4NP : efficace sous charge soutenue
Mémoire
32 GO DE MÉMOIRE GDDR7
Suffisant pour les fragments Llama-3 400B sur une seule carte
Bande passante
1,79 To/s
77 % de plus que le RTX 4090 : réduit les goulots d'étranglement sur les charges de travail par lots importants
Débit FP16
0,42 PFLOPS
~2,5 fois les 165 TFLOPS du 4090 : marge de manœuvre pour une diffusion haute résolution à grande échelle
Interface PCIe
Génération 5 × 16
2 fois la bande passante du PCIe 4 : élimine le goulot d'étranglement de l'alimentation en données
TDP
475 WATTS
Plus de jetons par watt que le H100 80 Go
7 604 jetons/s sur une configuration à double processeur graphique. Proposez des chatbots à pleine vitesse sans devoir faire de compromis par lots.
Bande passante mémoire de 1,79 To/s. Traitement d'images 4K sans interruption des E/S.
Le PCIe Gen 5 × 16 élimine le goulot d'étranglement de l'alimentation en données lors des pipelines RL-HF à plusieurs étapes.
Gérez les assemblages à lecture longue sur une seule carte, sans fractionnement de la charge de travail.
1 × - 8 ×
VRAM 32 - 256 GB
RAM 73 - 584 GB
CPU 8 - 64
Espace disque 250 - 2000 GB
Bande passante 1000 Mo/s
Facturation à la seconde. Aucuns frais de sortie. Rangement inclus.
Joignez-nous à support@hivenet.com ou via le chat intégré à l'application.