GPU cloud
5,4 ms TTFT. 9 fois plus rapide qu'une 4090 en charge maximale. Architecture Blackwell. Facturation à la seconde. Aucuns frais de sortie.


TTFT : 45,4 ms (base de référence à demande unique) : 84 % plus rapide qu'un A100 de 80 Go à charge équivalente.
Débit à double processeur graphique : 7 604 jetons/s, soit 2 fois la puissance d'un A100.
Spécification
Valeur
Pourquoi c'est important
Architecture
Blackwell
Procédé 4NP — efficace sous charge soutenue
Mémoire
32 Go GDDR7
Suffisant pour les fragments Llama-3 400B sur une seule carte
Bande passante
1,79 To/s
77 % de plus que la RTX 4090 — réduit les goulots d'étranglement pour les charges de travail par lots volumineux
Débit FP16
0,42 PFLOPS
Environ 2,5 fois les 165 TFLOPS du 4090 — une marge de manœuvre pour la diffusion haute résolution à grande échelle
Interface PCIe
Gen 5 ×16
2 fois la bande passante du PCIe 4 — élimine le goulot d'étranglement de l'alimentation des données
TDP
450 W
Plus de jetons par watt que le H100 80 GB
7 604 jetons/s sur une configuration à double processeur graphique. Proposez des chatbots à pleine vitesse sans devoir faire de compromis par lots.
Bande passante mémoire de 1,79 To/s. Traitement d'images 4K sans interruption des E/S.
Le PCIe Gen 5 × 16 élimine le goulot d'étranglement de l'alimentation en données lors des pipelines RL-HF à plusieurs étapes.
Gérez les assemblages à lecture longue sur une seule carte, sans fractionnement de la charge de travail.
1 × - 8 ×
vCPU - - - GB
RAM - - - GB
Espace disque - - - GB
Bande passante - Mb/s
Inférence de moins de 30 milliards de paramètres, tâches GPU exigeantes, les meilleures performances mono-GPU sur Compute
Facturation à la seconde. Pas de frais de sortie. Stockage inclus.
Joignez-nous à support@hivenet.com ou via le chat intégré à l'application.