GPU cloud
Une performance A100 pour le prix d'une 4090. Facturation à la seconde. Pas de files d'attente. Aucuns frais de sortie.


Benchmark à GPU unique sur l'infrastructure Hivenet :
TTFT : 349,9 ms à 1 reque/s (base de référence pour une seule demande).
Débit maximal : 737 jetons/stout en délivrant 737 jetons/s dans des conditions de charge maintenue.¹
¹ Méthodologie de référence et conditions de test ici.
Spécification
Valeur
Pourquoi c'est important
L'architecture
Ada Lovelace
Procédé 4 nm : efficace sous de fortes charges soutenues
Mémoire
24 GO DE MÉMOIRE GDDR6X
Compatible avec Llama-3 70B (quantification 4 bits) sur une seule carte
Bande passante
1 008 Gbit/s
Empêche le blocage des tenseurs lors de l'inférence de lots importants
Débit FP16
165 TFLOPS
Hauteur libre pour les modèles de diffusion à 1024 × 1024
TDP
450 WATTS
Inférieur à un A100 de 40 Go à débit d'inférence équivalent
Démarrez une course QLoRa en moins de 60 secondes. Faites une pause et reprenez à tout moment, sans frais pour les périodes d'inactivité.
24 Go de VRAM prennent en charge 14 Go de cache KV avec une précision maximale. Aucune quantification n'est requise pour la plupart des modèles de diffusion à 1024 × 1024.
L'inférence reste dans votre compte. Aucun journal d'API tiers.
La bande passante mémoire de 1 008 Gbit/s gère les images 4K sans interruption des E/S.
2 × - 32 ×
RAM 4 - 64 GB
Espace disque 50 - 800 GB
Bande passante 250 - 1000 Mo/s
Facturation à la seconde. Aucuns frais de sortie. Rangement inclus.
Joignez-nous à support@hivenet.com ou via le chat intégré à l'application.