Antrieb und Kühlung von KI und beschleunigtem Computing im Datenraum

Künstliche Intelligenz (KI) ist da und bleibt hier. „Jede Branche wird zu einer Technologiebranche“, so Jensen Huang, Gründer und CEO von NVIDIA. Die Anwendungsfälle für KI sind praktisch unbegrenzt, von Durchbrüchen in der Medizin bis hin zur hochpräzisen Betrugsprävention. KI verändert bereits unser Leben, genauso wie sie jede einzelne Branche verändert. Es beginnt auch, die Infrastruktur des Rechenzentrums grundlegend zu transformieren.

KI-Workloads führen zu erheblichen Veränderungen in der Art und Weise, wie wir die im Rahmen von High-Performance Computing (HPC) verarbeiteten Daten betreiben und kühlen. Ein typisches IT-Rack, das für Workloads von 5 bis 10 Kilowatt (kW) verwendet wird, und Racks, die Lasten von mehr als 20 kW ausführen, wurden als hochdicht angesehen – ein seltener Anblick außerhalb sehr spezifischer Anwendungen mit geringer Reichweite. Die IT wird mit Grafikprozessoren beschleunigt, um die Rechenanforderungen von KI-Modellen zu erfüllen, und diese KI-Chips können etwa fünfmal so viel Leistung und fünfmal so viel Kühlkapazität1 auf demselben Raum wie ein herkömmlicher Server benötigen. Mark Zuckerberg gab bekannt, dass Meta bis Ende 2024 Milliarden für die Bereitstellung von 350.000 H100-Grafikprozessoren von NVIDIA ausgeben wird. Rack-Dichten von 40 kW pro Rack befinden sich jetzt am unteren Ende dessen, was für die KI-Bereitstellung erforderlich ist, wobei Rack-Dichten von mehr als 100 kW pro Rack üblich und in naher Zukunft in großem Maßstab werden.

Dies erfordert umfangreiche Kapazitätssteigerungen über den gesamten Antriebsstrang vom Netz bis zu den Chips in jedem Rack. Die Einführung von Flüssigkeitskühlungstechnologien in den weißen Bereich des Rechenzentrums und schließlich in die Serverräume des Unternehmens wird für die meisten Bereitstellungen eine Voraussetzung sein, da herkömmliche Kühlmethoden nicht in der Lage sein werden, die von Grafikprozessoren erzeugte Wärme zu verarbeiten, die KI-Berechnungen ausführen. Investitionen in die Aufrüstung der Infrastruktur, die für die Versorgung und Kühlung von KI-Hardware erforderlich ist, sind beträchtlich, und die Bewältigung dieser neuen Designherausforderungen ist entscheidend.

Der Übergang zu hoher Dichte

Der Übergang zu beschleunigtem Computing wird nicht über Nacht stattfinden. Rechenzentrums- und Serverraumdesigner müssen nach Möglichkeiten suchen, die Stromversorgungs- und Kühlinfrastruktur zukunftsfähig zu machen, wobei das zukünftige Wachstum ihrer Workloads berücksichtigt werden muss. Um für jedes Rack ausreichend Strom zu erhalten, sind Upgrades vom Netz zum Rack erforderlich. Insbesondere im Weißraum bedeutet dies wahrscheinlich eine Stromschiene mit hoher Stromstärke und Rack-PDUs mit hoher Dichte. Um die massive Wärmemenge, die durch Hardware erzeugt wird, die KI-Workloads ausführt, abzuweisen, entstehen zwei Flüssigkeitskühlungstechnologien als primäre Optionen:

1. Direkte Chip-Flüssigkeitskühlung: Kalte Platten befinden sich auf den wärmeerzeugenden Komponenten (normalerweise Chips wie CPUs und GPUs), um Wärme abzuleiten. Gepumpte ein- oder zweiphasige Flüssigkeit leitet die Wärme von der Kühlplatte ab, um sie aus dem Rechenzentrum zu leiten, wobei sie Wärme, aber keine Flüssigkeiten mit dem Chip austauscht. Dadurch können etwa 70–75 % der von den Geräten im Rack erzeugten Wärme entfernt werden, sodass 25–30 % der Wärme von den Luftkühlsystemen entfernt werden müssen.
2. Rücktür-Wärmetauscher: Passive oder aktive Wärmetauscher ersetzen die hintere Tür des IT-Racks durch Wärmeaustauschspulen, durch die Flüssigkeit die im Rack erzeugte Wärme absorbiert. Diese Systeme werden oft mit anderen Kühlsystemen kombiniert, entweder als Strategie zur Aufrechterhaltung der Raumneutralität oder als Übergangsdesign, das den Weg zur Flüssigkeitskühlung beginnt.

Während die Direct-to-Chip-Flüssigkeitskühlung eine deutlich höhere Dichte der Kühlkapazität als Luft bietet, ist es wichtig zu beachten, dass es immer noch zu viel Wärme gibt, die die kalten Platten nicht erfassen können. Diese Wärme wird in den Datenraum abgeführt, es sei denn, sie wird durch andere Mittel wie Rücktürwärmetauscher oder Raumluftkühlung eingedämmt und entfernt. Weitere Informationen zu Flüssigkeitskühlungslösungen für Rechenzentren finden Sie in unserem Whitepaper.

KI-Starter-Kits für Nachrüstungen und Neubauten

Strom und Kühlung werden zu integralen Bestandteilen des IT-Lösungsdesigns im Datenraum und verwischen die Grenzen zwischen IT- und Facility-Teams. Dies erhöht die Komplexität in Bezug auf Design, Bereitstellung und Betrieb. Partnerschaften und Full-Solution-Know-how sind die wichtigsten Anforderungen für einen reibungslosen Übergang zu höheren Dichten.

Um die Umstellung auf eine hohe Dichte zu vereinfachen, hat Vertiv eine Reihe optimierter Designs eingeführt, einschließlich Energie- und Kühltechnologie, die Workloads von bis zu 100 kW pro Rack in einer Vielzahl von Bereitstellungskonfigurationen unterstützen kann.

Diese Designs bieten Systemintegratoren, Colocation-Anbietern, Cloud-Dienstanbietern oder Unternehmensbenutzern mehrere Wege, um das Rechenzentrum der Zukunft jetzt zu erreichen. Jede spezifische Einrichtung kann Nuancen aufweisen, wobei die Rackanzahl und die Rackdichte durch die Auswahl der IT-Ausrüstung bestimmt werden. Daher bietet diese Designsammlung eine intuitive Möglichkeit, sich definitiv auf ein Basisdesign zu beschränken und es genau auf die Bereitstellungsanforderungen anzupassen.

Bei der Nachrüstung oder Neuverwendung vorhandener Umgebungen für KI helfen unsere optimierten Designs, Störungen bestehender Workloads zu minimieren, indem sie die verfügbare Kühlinfrastruktur und die Wärmeabweisung nutzen, wo möglich. So können wir beispielsweise die Direct-to-Chip-Flüssigkeitskühlung mit einem Rücktürwärmetauscher integrieren, um eine raumneutrale Kühllösung zu erhalten. In diesem Fall verhindert der Rücktürwärmetauscher, dass überschüssige Wärme in den Raum entweicht. Für eine luftgekühlte Anlage, die Flüssigkeitskühlgeräte ohne Änderungen am Standort selbst hinzufügen möchte, bieten wir Flüssig-Luft-Designoptionen an. Diese Strategie kann in einem einzelnen Rack, hintereinander oder in großem Maßstab in einer großen HPC-Bereitstellung eingesetzt werden. Für Multi-Rack-Designs haben wir auch High-Ampereage-Busway- und High-Density-Rack-PDUs integriert, um die Stromversorgung zu jedem Rack zu verteilen.

Diese Optionen sind mit einer Reihe von verschiedenen Wärmeabgabeoptionen kompatibel, die mit Flüssigkeitskühlung gekoppelt werden können. Dadurch wird ein sauberer und kostengünstiger Übergangsweg zur hochdichten Flüssigkeitskühlung etabliert, ohne andere Workloads im Datenraum zu stören. Sehen Sie sich unsere KI-Datenraumlösungen an, um mehr zu erfahren.

Während viele Einrichtungen nicht für Systeme mit hoher Dichte konzipiert sind, verfügt Vertiv über umfangreiche Erfahrung bei der Entwicklung von Bereitstellungsplänen, um reibungslos auf hohe Dichte für KI und HPC umzustellen.

1 Schätzungen des Managements: Vergleich des Stromverbrauchs und der Wärmeleistung auf Rackebene für 5 Nvidia DGX H100-Server und 21 Dell PowerStore 500T- und 9200T-Server in einem standardmäßigen 42U-Rack basierend auf Herstellerspezifikationen