CoreWeave y sus partners han proporcionado el primer despliegue en la nube del mundo del sistema GB300 NVL72 de NVIDIA, impulsando un entrenamiento más rápido, una latencia más baja y una infraestructura más eficiente para la IA en tiempo real.
Una orquesta de prestigio es mucho más que un grupo de músicos de talla mundial. Es una única entidad en la que cada sección (cuerdas, metales y percusión) trabaja en perfecta sincronía y armonía para ofrecer una ejecución impecable
Cuando se trata de infraestructura de IA, se aplican los mismos principios. El rendimiento de la IA crítica no se trata solo de añadir más GPU. Se trata de coordinar la computación, la alimentación, la refrigeración y las redes para que funcionen como un sistema, una unidad.
Eso es exactamente lo que Vertiv, CoreWeave y sus partners están planificando con el sistema NVIDIA GB300 NVL72. No se trata de un concepto ni de un producto único personalizado. Es una infraestructura unificada creada para la IA a escala.
Un nuevo estándar para la infraestructura de IA
CoreWeave, el Hyperscaler de IA para GPU y computación en la nube, está llevando a cabo la primera implementación de NVIDIA GB300 NVL72 alojado dentro del sistema de rack integrado de Dell. (Explorar la arquitectura)
CoreWeave ha estado a la vanguardia de la infraestructura de nube de IA, con despliegues anteriores de plataformas NVIDIA HGX H100 y H200. Su despliegue de NVIDIA GB300 NVL72 continúa esa tendencia.
Las ganancias de rendimiento hablan por sí mismas:
- Aumento de hasta 50 veces en la salida de inferencia para cargas de trabajo de razonamiento en comparación con la tolva
- 10 veces mejor capacidad de respuesta del usuario
- 5 veces más rendimiento por vatio
- 1,5 veces más rendimiento FP4 (punto flotante de 4 bits) que Blackwell
- 1,5 veces más memoria para hasta 21TB de memoria de GPU por rack en comparación con Blackwell
- 2 veces más ancho de banda de NVIDIA Quantum InfiniBand por GPU en comparación con los sistemas de la generación anterior
Infraestructura que se escala con silicio
Para que los sistemas funcionen a esta escala, la refrigeración y la alimentación deben diseñarse de forma tan deliberada como la computación. A plena carga, cada rack NVIDIA GB300 NVL72 consumirá ~140 kW y está refrigerado por líquido. Aquí es donde la contribución de Vertiv es clave.
Las unidades de distribución de refrigeración (CDU) Vertiv™ CoolChip están diseñadas específicamente para estas condiciones. El sistema ofrece:
- 121kW de expulsión de calor de líquido a líquido con el tamaño ideal y optimizado para el armario NVIDIA GB300 NVL72
- Compatibilidad con temperaturas de agua de entrada ASHRAE W5
- Bombas redundantes e intercambiadores de calor dobles para tolerancia a fallos
- Control de bucle automatizado para funcionamiento en régimen permanente
Las capacidades de Vertiv también incluyen servicios que agilizan el despliegue y optimizan la eficiencia, incluidos:
- Modelado de CFD (dinámica de fluidos computacional) y simulación térmica para optimizar el flujo de aire y evitar rediseños en etapas avanzadas
- Planificación de integración y whitespace para alinear la refrigeración, la alimentación y el control de bucle con la disposición del rack
- Monitorización en tiempo real y control de bucle para estabilizar el rendimiento con cargas de GPU dinámicas
- Diseños de referencia y activos SimReady para sistemas NVIDIA GB200 y GB300, lo que permite la validación digital antes de la construcción
Vista frontal de un rack NVIDIA GB300 NVL72 desplegado por CoreWeave, que muestra una infraestructura de GPU de alto rendimiento compatible con el sistema de refrigeración líquida Vertiv™ CoolChip CDU (unidad de distribución de refrigerante) diseñado para soportar cargas térmicas extremas. (Foto cortesía de Switch)
Ejecutar la IA a velocidad, juntos
Ofrecer una infraestructura de IA de próxima generación no se trata solo de lo que hay dentro del rack. Se trata de pasar rápidamente del diseño al despliegue y de lo cerca que están alineados tus partners a lo largo de ese proceso.
El despliegue de CoreWeave de NVIDIA GB300 NVL72 muestra ese proceso en la práctica: un esfuerzo colaborativo para poner en marcha una plataforma de IA a escala de rack, creada para cargas de ~140 kW, cargas de trabajo de inferencia densas y refrigeradas por líquido.
Como dice CoreWeave, usando una analogía deportiva en lugar de musical:
“Pioneros en el futuro de la infraestructura para la IA: un trabajo en equipo. Nuestra colaboración conjunta con Dell, Switch y Vertiv en este despliegue de NVIDIA GB300 NVL72 es fundamental para nuestra velocidad y agilidad, proporcionando el soporte crítico que necesitamos para convertir la tecnología revolucionaria en una realidad para nuestros clientes a un ritmo sin precedentes”.
Vertiv respaldó el despliegue con sistemas de refrigeración líquida prevalidados y experiencia en ingeniería, proporcionando a CoreWeave y Dell la alineación de infraestructura necesaria para moverse a velocidad ligera.
Hacia dónde se dirige la infraestructura
El despliegue de NVIDIA GB300 NVL72 por CoreWeave y Dell con el soporte de Vertiv marca un cambio en cómo se diseña y entrega la infraestructura de IA. Dada la tasa de cambio en la IA, una comparación más adecuada podría ser la música electrónica en lugar de la clásica. Pero sea cual sea la forma que adopte, la analogía de una orquesta o grupo unido, en lugar de un conjunto de jugadores solistas, sigue siendo constante. La verdadera integración, cooperación y desarrollo conjunto son fundamentales para un rendimiento de IA sinfónico.
Descubre cómo integrar la alimentación, la refrigeración y la computación para un rendimiento óptimo de la IA en el hub de IA de Vertiv.
