Die Einführung der Flüssigkeitskühlung in Rechenzentren gewinnt weiter an Fahrt, da sie eine effizientere und wirksamere Kühlung von IT-Racks mit hoher Dichte erlaubt. Bisher fehlten den Entwicklern und Betreibern von Rechenzentren jedoch die nötigen Daten, mit denen sie die Auswirkungen der Flüssigkeitskühlung auf die Effizienz von Rechenzentren voraussagen und den Einsatz der Flüssigkeitskühlung im Hinblick auf die Energieeffizienz hätten optimieren können.
Um diese Lücke zu schließen, hat ein Expertenteam von NVIDIA und Vertiv die erste umfassende Analyse der Auswirkungen der Flüssigkeitskühlung auf den PUE-Wert und den Energieverbrauch von Rechenzentren durchgeführt. Die vollständige Analyse wurde von der American Society of Mechanical Engineers (ASME) unter dem Titel Power Usage Effectiveness Analysis of a High-Density Air-Liquid Hybrid°Cooled Data°Center veröffentlicht. In diesem Beitrag werden Methodik, Ergebnisse und die wichtigsten Erkenntnisse aus dieser Analyse zusammengefasst.
Methodik für die Analyse der Energieeffizienz der Flüssigkeitskühlung im Rechenzentrum
Für unsere Analyse haben wir ein mittelgroßes Rechenzentrum der zweiten Riege (1 bis 2 Megawatt) in Baltimore im US-Bundesstaat Maryland ausgewählt. Die Anlage enthält 50 High-Density-Racks, die in zwei Reihen angeordnet sind. Die Basis für die Analyse bildete eine vollständige Luftkühlung über zwei mit gekühltem Wasser betriebene Perimeter Computer Room Air Handler (CRAH) mit Warmgang-Einhausung. Die Kühlgeräte werden durch einen Vertiv™ Liebert® AFC-Kühler mit freier Kühlung, adiabatischer freier Kühlung, Hybridkühlung und adiabatischer mechanischer Kühlung unterstützt.
Die Flüssigkeitskühlung erfolgt durch direkte Chipkühlung über Mikrokanal-Kühlplatten, die an den wichtigsten wärmeerzeugenden IT-Komponenten angebracht sind und von zwei Vertiv™ Liebert® XDU-Kühlmittelverteilern (CDUs) mit Flüssig-Flüssig-Wärmetauschern unterstützt werden.
Schemazeichnung des für die Energieanalyse verwendeten Rechenzentrums mit Vertiv™ Liebert® XDU und Vertiv™ Liebert® PCW.
Für die Analyse wurde ein „Bottom-up“-Ansatz verwendet, bei dem die IT-Verbraucher in Teilsysteme unterteilt wurden, so dass die Auswirkungen einer schrittweisen Erhöhung des Anteils der flüssiggekühlten Verbraucher für jedes Teilsystem genau berechnet werden konnten. Anschließend führten wir vier Studien durch, bei denen wir den Anteil der Flüssigkeitskühlung nach und nach erhöhten und gleichzeitig die Temperatur des gekühlten Wassers, der Zuluft und des sekundären Vorlaufs optimierten, was durch den Einsatz der Flüssigkeitskühlung ermöglicht wurde.
- 1. Studie: 100%ige Luftkühlung mit einer Temperatur des gekühlten Wassers von 7,2 °C, einer Zulufttemperatur von 25 °C und einer sekundären Vorlauftemperatur von 32 °C.
- 2. Studie: 61,4 % der Verbraucher werden mit Flüssigkeit gekühlt, 38,6 % werden luftgekühlt. Die Temperatur des gekühlten Wassers wird auf 18 °C erhöht, die Zulufttemperatur wird bei 25 °C gehalten und die sekundäre Vorlauftemperatur wird bei 32 °C gehalten.
- 3. Studie: 68,6 % der Verbraucher werden mit Flüssigkeit gekühlt, 31,4 % werden luftgekühlt. Die Temperatur des gekühlten Wassers wird auf 25 °C, die Zulufttemperatur auf 35 °C und die sekundäre Vorlauftemperatur auf 32 °C angehoben.
- 4. Studie: 74,9 % der Verbraucher werden mit Flüssigkeit gekühlt, 25,1 % werden luftgekühlt. Die Temperatur des gekühlten Wassers wird auf 25 °C und die Zulufttemperatur auf 35 °C gehalten, die sekundäre Vorlauftemperatur wird auf 45 °C erhöht.
Auswirkung der Einführung der Flüssigkeitskühlung auf den Energieverbrauch und die PUE im Rechenzentrum
Die vollständige Umsetzung der Flüssigkeitskühlung in der vierten Studie (74,9 %) führte im Vergleich zu einer vollständigen Luftkühlung zu einer Senkung des Stromverbrauchs der Anlage um 18,1 % und zu einer Senkung des Gesamtstromverbrauchs des Rechenzentrums um 10,2 %. Dies senkt nicht nur die Energiekosten für die Daten um 10 % jährlich, sondern senkt bei Rechenzentren, die Strom aus fossilen Energieträgern verwenden, auch die Scope-2-Emissionen um den gleichen Betrag.
Der Gesamtenergieverbrauch des Rechenzentrums nahm mit jeder Erhöhung des Anteils der durch direkte Chip-Kühlung gekühlten Verbraucher ab. Von der ersten zur zweiten Studie nahm der Stromverbrauch um 6,4 % ab. Eine weitere Abnahme um 1,8 % wurde von der zweiten zur dritten Studie erreicht, und eine weitere Verbesserung um 2,5 % wurde von der dritten zur vierten Studie beobachtet.
Aufgrund dieser Ergebnisse mag die für jede Studie berechnete PUE für Rechenzentren überraschen. Der PUE-Wert sank nur um 3,3 %, von 1,38 in der ersten auf 1,34 in der vierten Studie, und blieb in der zweiten und dritten Studie mit 1,35 unverändert.
Wer mit der Berechnung des PUE-Wertes vertraut ist, kann den Grund für diese Diskrepanz vielleicht erraten. Die PUE ist im Grunde ein Maß für die Effizienz der Infrastruktur. Sie wird berechnet, indem die Gesamtleistung des Rechenzentrums durch die Leistung der IT-Geräte geteilt wird. Die Flüssigkeitskühlung hat jedoch nicht nur den Verbrauch auf der Anlagenseite gesenkt, sondern auch den Stromverbrauch der IT-Geräte (gemäß der Definition der PUE), indem sie die Leistungsaufnahme der Serverlüfter gesenkt hat.
Der Stromverbrauch der Serverlüfter sank von der ersten zur zweiten Studie um 41 % und von der ersten zur vierten Studie um 80 %. Dies führte zu einer Abnahme der IT-Leistung von der ersten bis zur vierten Studie um 7 %.
Im Unterschied zur Luftkühlung wirkt sich die Flüssigkeitskühlung bei der Berechnung der PUE sowohl auf den Zähler (Gesamtleistung des Rechenzentrums) als auch auf den Nenner (Leistung der IT-Geräte) aus, so dass ein Vergleich der Effizienz von flüssigkeits- und luftgekühlten Systemen anhand dessen wenig aufschlussreich ist.
In unserem Papier schlagen wir zu diesem Zweck den Gesamtwirkungsgrad der Energienutzung (Total Usage Effectiveness – TUE) als besseres Maß vor. In einem späteren Beitrag werde ich erklären, warum diese Entscheidung getroffen wurde. Die TUE für das Rechenzentrum, das Gegenstand unserer Analyse war, verbesserte sich von der ersten zur vierten Studie um 15,5 %. Unserer Meinung nach ist dies ein genaues Maß für den Effizienzgewinn im Rechenzentrum, der durch den Einsatz der optimierten Flüssigkeitskühlung erzielt wurde.
Wichtige Erkenntnisse aus der Analyse der Energieeffizienz der Flüssigkeitskühlung im Rechenzentrum
Die Analyse lieferte zahlreiche Erkenntnisse zur Effizienz der Flüssigkeitskühlung in Rechenzentren und dazu, wie sie optimiert werden kann. Ich möchte insbesondere die Entwickler von Rechenzentren dazu ermutigen, die vollständige Veröffentlichung zu lesen. Diese enthält auch die Daten, aus denen die Ergebnisse im vorherigen Abschnitt ermittelt wurden. Hier sind einige der wichtigsten Erkenntnisse, die für ein breiteres Publikum von Interesse sein könnten.
- In High-Density-Rechenzentren ermöglicht die Flüssigkeitskühlung im Vergleich zur Luftkühlung eine Verbesserung der Energieeffizienz von IT- und Gebäudeanlagen. In unserer vollständig optimierten Studie führte die Flüssigkeitskühlung zu einer Abnahme der Gesamtleistungsaufnahme des Rechenzentrums um 10,2 % und zu einer Verbesserung der TUE um mehr als 15 %.
- Eine Maximierung der Flüssigkeitskühlung im Rechenzentrum, ausgedrückt als der Anteil der flüssigkeitsgekühlten IT-Verbraucher, erlaubt die höchste Effizienz. Bei der direkten Chip-Kühlung ist es nicht möglich, alle Verbraucher mit Flüssigkeit zu kühlen. Jedoch können etwa 75 % der Verbraucher durch Direktkühlung der Chips wirksam mit Flüssigkeit gekühlt werden.
- Die Flüssigkeitskühlung erlaubt u. U. höhere Temperaturen des gekühlten Wassers, der Zuluft und des sekundären Vorlaufs. Das maximiert die Effizienz der Gebäudeinfrastruktur. Vor allem die Warmwasserkühlung sollte in Betracht gezogen werden. In unserer abschließenden Studie wurde die sekundäre Vorlauftemperatur auf 45 °C erhöht. Dies trug zu den erzielten Ergebnissen bei und erhöhte gleichzeitig die Nutzungsmöglichkeiten für die Abwärme.
- Die PUE ist kein gutes Maß für die Effizienz der Flüssigkeitskühlung von Rechenzentren. Alternative Messgrößen wie die TUE dürften sich als nützlicher erweisen, wenn es darum geht, bei der Einführung einer Flüssigkeitskühlung in einem luftgekühlten Rechenzentrum konstruktive Entscheidungen zu treffen.
Schließlich möchte ich meinen Kollegen bei Vertiv und NVIDIA für ihre Arbeit an dieser bahnbrechenden Analyse danken. Die Ergebnisse erfassen nicht nur quantitativ die Energieeinsparungen, die mit der Flüssigkeitskühlung erzielt werden können, sondern liefern den Konstrukteuren auch wertvolle Daten, mit denen die Flüssigkeitskühlung in Rechenzentren optimiert werden kann.
Weitere Informationen zu den Trends, die die Einführung der Flüssigkeitskühlung vorantreiben, finden Sie im Blogbeitrag Liquid Cooling: Data Center Solutions for High-Density Compute. Darin werden die Erkenntnisse einer Gruppe von Fachleuten für Flüssigkeitskühlung auf dem OCP Global Summit 2022 zusammengefasst.
