Las RTX 4090 y 5090 pueden igualar (y a veces superar) a la A100

Las GPU de consumo ya no son solo para jugar. Esto es lo que muestran nuestras pruebas.

‍

Las GPU de consumo se están poniendo al día. Nuestros análisis de rendimiento más recientes muestran que la RTX 5090, e incluso la 4090, pueden igualar o superar a una A100 en cuanto a inferencias de LLM pequeñas y medianas. Las respuestas más rápidas, el mayor rendimiento y los costos más bajos las convierten en una opción importante para cualquiera que cree o escale cargas de trabajo de IA.

---

El A100 ha sido durante mucho tiempo el estándar de referencia para la inferencia de alto rendimiento. Sin embargo, en nuestros últimos análisis comparativos, la nueva RTX 5090 (e incluso la antigua 4090) demuestran que las GPU para consumidores pueden valer por sí mismas. En algunos casos, superan a la A100 y cuestan mucho menos.

Realizamos pruebas de inferencia en un modelo LlAMA 3.1 Instruct de 8B utilizando el conjunto de pruebas de referencia vLLM y el conjunto de datos ShareGPT. El objetivo era simple: ver cómo los modelos 4090 y 5090 se comparan con los modelos A100 para despliegues de LLM pequeños y medianos, tanto en escenarios de carga baja (interactivos) como de carga alta (alto rendimiento).

La versión corta

‍

• La RTX 5090 superó a la A100 en latencia y ligeramente en rendimiento en esta configuración.
  • Latencia (1 rps): corte 50/90 TTFT a ~45 ms contra ~296 ms en la A100 (ideal para aplicaciones interactivas) y redujo la latencia de extremo a extremo en ~ 14%.
  • Rendimiento (carga pesada): 5090 entregados ~3802 tokens/s contra ~3748 tokens/s en A100 (~ 1.4% más).
• Dos 5090 prácticamente duplicaron el rendimiento a ~7604 tokens/s, acerca de ~2× un A100 en esta prueba.
• La RTX 4090 siguió a la A100 tanto en latencia como en rendimiento aquí. Es fuerte para su clase, pero no es un sustituto del A100 en estos ajustes.

Si estás sirviendo modelos pequeños y medianos (como un 8B) y te importa primer token rápido y tokens/s permanentes/s, un sencillo 5090 ya se encuentra o supera un A100 en nuestras carreras. Si escalas con dos 5090s, puedes borrar ~2× los tokens de un A100 solitario y, al mismo tiempo, se mantienen flexibles los costos de hardware.

Eso no hace que las GPU de los centros de datos queden obsoletas. La VRAM sigue gobernando para modelos más grandes y contextos más largos, y los A100 brillan cuando el espacio de memoria y la partición de varias instancias son importantes. Sin embargo, para muchas cargas de trabajo de producción de 8 000 millones de dólares, Las GPU de consumo bien configuradas son una alternativa práctica con beneficios en el mundo real, especialmente en TTFT donde vive la percepción del usuario.

Siga leyendo para obtener más información sobre el índice de referencia.

Objetivos de referencia

‍

• Evalúe la latencia y el rendimiento en diferentes clases de GPU.
• Determina si una o varias GPU para consumidores pueden superar o igualar a la A100 para modelos pequeños y medianos.
• Proporcione resultados verificables para la toma de decisiones sobre infraestructura (estrategias de implementación rentables).

‍

Configuración estática

‍

Escenarios de prueba

‍

1. Carga moderada (prueba de latencia)

2. Carga extrema (prueba de rendimiento)

‍

Resultados y análisis

‍

Escenario 1: Latencia bajo carga moderada (1 requerimiento por segundo)

Todas las GPU gestionan los escenarios de carga moderada de forma eficaz. Sin embargo, la RTX 5090 supera significativamente a todas las demás GPU probadas, incluido el A100 de gama alta, en todas las categorías de latencia:

‍

Escenario 2: Rendimiento en condiciones de carga extrema (1100 solicitudes/s)

‍

Qué significa esto para ti

‍

En escenarios de inferencia de carga baja y alta con un modelo de tamaño mediano (8B), las GPU de gama alta para consumidores demuestran rendimiento comparable o superior a la GPU para centros de datos A100.

• Bajo carga moderada (1 requerimiento), la RTX 4090 ofrece latencias cercanas a las prestaciones del A100, y la RTX 5090 ofrece un rendimiento superior.
• Bajo carga extrema (1100 requeridos/s), la RTX 5090 logra rendimiento ligeramente superior que la A100, mientras que se espera que la doble RTX 5090 entregue ~ 100% más de rendimiento de fichas, respectivamente.

Si bien la A100 sigue siendo ventajosa para ciertas cargas de trabajo que requieren una VRAM más grande, estos resultados muestran que, para los modelos de tamaño mediano, algunos Las GPU para el consumidor son alternativas viables, especialmente cuando costo y escalabilidad son consideraciones clave.

Si está implementando LLM de tamaño pequeño a mediano, un 5090 bien configurado (o un clúster pequeño de ellos) puede competir con el hardware de los centros de datos. Cambiará parte del margen de ampliación de la VRAM, pero obtendrá importantes ahorros de costos y opciones de escalabilidad. Para las empresas emergentes, los equipos de investigación o cualquier persona que necesite un alto rendimiento sin recurrir a un hardware caro, las GPU de consumo ya no suponen un compromiso.