CoreWeave y sus socios han presentado la primera implementación en la nube del mundo del sistema GB300 NVL72 de NVIDIA, el cual permite un entrenamiento más rápido, una menor latencia y una infraestructura más eficiente para la IA en tiempo real.
Una aclamada orquesta no es simplemente un grupo de músicos de primera clase; es una sola entidad donde cada sección (latón, cuerdas, percusión) se cronometra y ajusta con precisión para ofrecer una actuación impecable.
Cuando se trata de infraestructura de IA, se aplican los mismos principios. El rendimiento de IA de misión crítica no solo consiste en añadir más GPU. sino en coordinar la computación, la alimentación, el enfriamiento y las redes para que funcionen como un sistema, como una unidad.
Eso es exactamente lo que Vertiv, CoreWeave y sus socios están planificando con el sistema NVIDIA GB300 NVL72. No se trata de un concepto ni de algo personalizado. Es una infraestructura unificada creada para la IA a escala.
Un nuevo estándar para la infraestructura de IA
CoreWeave, el hiperescalador de IA para GPU y computación en la nube, está llevando a cabo la primera implementación del NVIDIA GB300 NVL72 alojado dentro del sistema de rack integrado de Dell. (Explore la arquitectura)
CoreWeave ha estado a la vanguardia de la infraestructura de nube de IA, con implementaciones anteriores de plataformas NVIDIA HGX H100 y H200. Su implementación del NVIDIA GB300 NVL72 sigue dicha tendencia.
Las ganancias de rendimiento hablan por sí mismas:
- Aumento de hasta 50 veces en la salida de inferencia para cargas de trabajo de razonamiento en comparación con Hopper
- 10 veces mejor respuesta del usuario
- 5 veces más rendimiento por vatio
- 1,5 veces más rendimiento FP4 (punto flotante de 4 bits) que Blackwell
- 1,5 veces más memoria para hasta 21 TB de memoria de GPU por rack en comparación con Blackwell
- 2 veces el ancho de banda de NVIDIA Quantum InfiniBand por GPU en comparación con los sistemas de la generación anterior
Infraestructura que escala con silicio
Para ejecutar sistemas a esta escala, la alimentación y el enfriamiento tienen que diseñarse de forma tan deliberada como la computación. A carga plena, cada rack NVIDIA GB300 NVL72 consumirá ~140 kW y será enfriado por líquido. Aquí es donde la contribución de Vertiv es clave.
Las unidades de distribución de enfriamiento (CDU) Vertiv™CoolChip están diseñadas específicamente para estas condiciones. El sistema ofrece:
- 121 kW de rechazo de calor de líquido a líquido con el tamaño ideal y optimizado para el gabinete GB300 NVL72 de
- Compatibilidad con las temperaturas del agua de entrada según la ASHRAE W5
- Bombas redundantes e intercambiadores de calor dobles para la tolerancia a fallos
- Control de circuito automatizado para un funcionamiento en estado estable
Además, las capacidades de Vertiv incluyen servicios que agilizan la implementación y optimizan la eficiencia, tales como:
- Modelado CFD (Dinámica de fluidos computacional) y simulación térmica para optimizar el flujo de aire y evitar rediseños en etapas avanzadas
- Planificación de la integración y el espacio en blanco para alinear el enfriamiento, la alimentación y el control de circuitos con la disposición del rack
- Monitoreo y control de circuitos en tiempo real para estabilizar el rendimiento bajo cargas dinámicas de GPU
- Diseños de referencia y activos SimReady para los sistemas GB200 y GB300 de NVIDIA, para la validación digital antes de la compilación
Vista delantera de un rack NVIDIA GB300 NVL72 implementado por CoreWeave, que muestra una infraestructura de GPU de alto rendimiento compatible con el sistema de enfriamiento líquido CDU (unidad de distribución de refrigerante) Vertiv™CoolChip diseñado para soportar cargas térmicas extremas. (Foto cortesía de Switch)
Ejecutar la IA a gran velocidad, juntos
Ofrecer una infraestructura de IA de última generación no se trata solo de lo que hay dentro del rack, sino de pasar rápidamente del diseño a la implementación y de lo cerca que están alineados sus socios a lo largo de ese proceso.
La implementación de CoreWeave del NVIDIA GB300 NVL72 muestra ese proceso en la práctica: un esfuerzo colaborativo para poner en línea una plataforma de IA a escala de rack, creada para cargas de ~140 kW, enfriadas por líquido y cargas de trabajo de inferencia densas y siempre activas.
Como indica CoreWeave, usar una analogía deportiva en lugar de musical:
"Ser pioneros del futuro de la infraestructura de IA es un deporte en equipo. Nuestra colaboración conjunta con Dell, Switch y Vertiv en esta implementación de NVIDIA GB300 NVL72 es fundamental para nuestra velocidad y agilidad; proporciona el soporte crítico que necesitamos para convertir la tecnología innovadora en una realidad para nuestros clientes a un ritmo sin precedentes”.
Vertiv apoyó la implementación con sistemas de enfriamiento líquido prevalidados y experiencia en ingeniería, lo cual le proporcionó a CoreWeave y Dell la alineación de infraestructura necesaria para moverse a gran velocidad.
A dónde se dirige la infraestructura
La implementación de NVIDIA GB300 NVL72 por CoreWeave y Dell con el soporte de Vertiv marca un cambio en la manera en la cual se diseña y entrega la infraestructura de IA. Dada la tasa de cambio en IA, una comparación más adecuada podría ser la música electrónica en lugar de la clásica. Sin embargo, independientemente de la forma que adopte, sigue existiendo la analogía de una orquesta o grupo unidos, en lugar de un conjunto de jugadores solitarios. La verdadera integración, cooperación y desarrollo conjunto son fundamentales para un rendimiento de IA sinfónico.
Descubra cómo integrar la alimentación, el enfriamiento y la computación para un rendimiento óptimo de la IA en el hub de IA de Vertiv.