Operatorzy centrów danych oceniają technologie chłodzenia cieczą w celu zwiększenia efektywności energetycznej w związku z rozwojem aplikacji obliczeniowych wymagających dużej mocy obliczeniowej. Według Dell’Oro Group przychody z rynku chłodzenia cieczą osiągną 2 miliardy dolarów do 2027 roku, przy 60% skumulowanym rocznym tempie wzrostu w latach 2020-2027. Wzrost ten jest spowodowany faktem, że organizacje coraz częściej korzystają z usług chmury, stosują sztuczną inteligencję (AI) do zaawansowanej analizy i automatycznego podejmowania decyzji oraz wdrażają aplikacje blockchain i kryptowaluty.
Wpływ sprzętu AI na zarządzanie temperaturą, © 2023 Dell’Oro Group
Obecnie centra danych zaspokajają wymagania szaf serwerowych o mocy przekraczającej 20 kilowatów (kW), ale rynek zmierza ku jednostkom osiągającym 50 kW lub więcej. Nowsze generacje jednostek centralnych (CPU) i procesorów graficznych (GPU) charakteryzują się wyższą gęstością cieplną niż architektury poprzedniej generacji. Ponadto producenci serwerów umieszczają w pojedynczej szafie coraz więcej jednostek centralnych i procesorów graficznych, by zaspokoić rosnące zapotrzebowanie na wysokowydajne przetwarzanie danych i aplikacje AI.
Zaczynamy dostrzegać ograniczenia związane z chłodzeniem obiektów za pomocą powietrza. Tradycyjne chłodzenie powietrzem nie jest w stanie skutecznie i w sposób zrównoważony chłodzić tak gęsto upakowanych szaf rack.
Dlatego operatorzy centrów danych badają możliwości chłodzenia cieczą. Chłodzenie cieczą wykorzystuje wyższe właściwości przewodzenia ciepła przez wodę lub inne płyny, aby zapewnić wydajne i ekonomiczne chłodzenie szaf o dużej gęstości i może być nawet 3000 razy bardziej skuteczne niż chłodzenie powietrzem. System chłodzenia cieczą sprawdził się dotychczas w zastosowaniach mainframe i gamingowych. Teraz zaczyna być stosowany do ochrony serwerów montowanych w szafach rack w centrach danych na całym świecie. Firma Vertiv opracowała szeroką gamę zasobów, które pomogą Ci zrozumieć wyzwania, możliwości i wymagania techniczne związane z chłodzeniem cieczą. Pomogą Ci one podejmować decyzje na temat sposobów wdrażania i skalowania chłodzenia cieczą w całym centrum danych.
Dowiedz się więcej o opcjach chłodzenia cieczą Vertiv Skontaktuj się z nami
Zrozumienie opcji chłodzenia cieczą i jego wydajności
Operatorzy centrów danych wybierają jedną z trzech ścieżek rozwoju w zakresie chłodzenia cieczą. Rozwijają centra danych wykorzystujące wyłącznie chłodzenie cieczą, dostosowują obiekty chłodzone powietrzem do przyszłych wymagań, wprowadzając nową infrastrukturę umożliwiającą obsługę szaf chłodzonych cieczą, oraz integrują chłodzenie cieczą w obecnych obiektach chłodzonych powietrzem, które nie posiadają infrastruktury umożliwiającej jego obsługę. Większość z nich prawdopodobnie wybierze tę ostatnią ścieżkę, aby uzyskać wydajność spełniającą krótkoterminowe potrzeby biznesowe i zapewniającą szybki zwrot z inwestycji.
Instalacja chłodzenia cieczą może być złożonym procesem. Dlatego operatorzy centrów danych będą decydować się na współpracę z partnerem, który wesprze ich w podejmowaniu decyzji w kluczowych kwestiach dotyczących instalacji hydraulicznych, dystrybucji chłodzenia, równoważenia wydajności, strategii ograniczania ryzyka i systemów odprowadzania ciepła.
Obecnie dostępne są następujące opcje chłodzenia cieczą:
-
Wymienniki ciepła montowane w tylnych drzwiach – pasywne lub aktywne wymienniki ciepła chłodzone cieczą montowane w miejsce tylnych drzwi szafy rackowej. Systemy te mogą być używane w połączeniu z systemami chłodzenia powietrzem i kondycjonować środowiska szaf o różnej gęstości.
-
Chłodzenie cieczą typu direct-to-chip – elementy chłodzące umieszcza się bezpośrednio nad procesorem generującym ciepło, które to jest odprowadzane w drodze procesu jednostopniowego lub dwustopniowego z zastosowaniem parowników. Te technologie chłodzenia mogą usunąć około 70–75% ciepła wytwarzanego przez sprzęt w szafie, pozostawiając 25–30%, które musi zostać usunięte przez systemy chłodzenia powietrzem.
-
Chłodzenie zanurzeniowe – jednofazowe i dwufazowe systemy chłodzenia immersyjnego zanurzają serwery i inne komponenty w szafie w cieczy lub płynie dielektrycznym przewodzącym ciepło, eliminując potrzebę chłodzenia powietrzem. Takie rozwiązanie wykorzystuje optymalnie właściwości termiczne płynu i jest najbardziej efektywną energetycznie formą chłodzenia cieczą na rynku.
6 rzeczy, które warto wziąć pod uwagę przy wprowadzaniu chłodzenia cieczą do centrów danych chłodzonych powietrzem
Chociaż obecnie buduje się centra danych chłodzone wyłącznie cieczą i projektuje nowe centra chłodzone powietrzem z myślą o przyszłym zastosowaniu szaf rack chłodzonych cieczą, najczęstszym wyzwaniem dla operatorów jest integracja chłodzenia cieczą w już działających obiektach chłodzonych powietrzem, które nie mają odpowiedniej infrastruktury.
Jak można się spodziewać, jest to zadanie skomplikowane. Jeżeli zastanawiasz się nad wdrożeniem chłodzenia cieczą w centrum danych chłodzonym powietrzem, istnieje kilka kluczowych zagadnień, które warto przemyśleć.
Decydujący wpływ na projekt hybrydowego systemu chłodzenia ma typ używanej cieczy oraz stosunek obciążenia cieplnego do ilości tej cieczy. Wyższy stosunek obciążenia cieplnego do cieczy zmniejsza zapotrzebowanie na infrastrukturę chłodzenia powietrzem. Zmienne takie jak obciążenie cieplne, natężenie przepływu cieczy i ciśnienie współdziałają ze sobą, wpływając na ogólne rozwiązanie w zakresie chłodzenia cieczą i powinny być brane pod uwagę na wczesnym etapie procesu doprowadzania cieczy do szafy rack.
Najbardziej podstawowy element infrastruktury chłodzenia cieczą – rurociągi transportujące płyn chłodzący do szafy – może być również najtrudniejszy do zainstalowania w istniejącym obiekcie.
W większości przypadków konieczne jest podejście etapowe, aby zminimalizować zakłócenia w działalności. W kolokacji operatorzy wprowadzają instalację hydrauliczną do wybranych pomieszczeń, bazując na konkretnych wymaganiach klienta. W miarę wzrostu tych wymagań, system jest rozbudowywany o dodatkowe pomieszczenia. To samo podejście stosują przedsiębiorstwa, dedykując część przestrzeni w centrum danych dla szaf rack chłodzonych cieczą.
W centrach danych z podniesioną podłogą nieodpowiednio zaprojektowane rurociągi mogą zaburzać przepływ powietrza. W takich miejscach warto przeprowadzić symulacje dynamiki płynów (CFD) w celu optymalizacji układu rurociągów oraz minimalizacji ich wpływu na przepływ powietrza.
W centrach danych bez podniesionej podłogi rury prowadzone są nad korytarzami, podtrzymywane przez konstrukcję sufitu, a wszystkie połączenia są zabezpieczone tacami ociekowymi, by zminimalizować ryzyko szkód spowodowanych ewentualnymi wyciekami. Kluczową kwestią przy wdrażaniu chłodzenia cieczą jest zapewnienie kompatybilności materiałów oraz wybór odpowiednich złączek.
Dystrybucja
W przypadku chłodzenia cieczą konieczne jest utworzenie dodatkowej pętli chłodzącej w obiekcie, która umożliwia precyzyjną kontrolę cieczy dystrybuowanej do szafy. Kluczowym elementem tej pętli jest jednostka dystrybucji chłodziwa (CDU). Jednostka CDU zapewnia sterowanie temperaturą i przepływem oraz możliwość utrzymania czystości cieczy poprzez filtrację zanieczyszczeń.
W przypadku mniejszych projektów CDU z wymiennikiem ciepła ciecz-powietrze może uprościć wdrażanie, przy założeniu, że system chłodzenia powietrzem jest w stanie odprowadzać ciepło z CDU. W większości przypadków CDU wykorzystuje wymiennik ciepła ciecz-ciecz do przechwytywania ciepła wydalanego z szaf rack i odprowadzania go przez układ wody lodowej. Jednostki CDU można umieścić na obwodzie centrum danych, jednak większość z nich jest zaprojektowana do instalacji w rzędach, w sąsiedztwie obsługiwanych szaf rack.
Jednostka dystrybucji chłodziwa Vertiv™ Liebert® XDU funkcjonuje jako wymiennik ciepła typu ciecz-powietrze chłodzący procesory.
Bilansowanie wydajności
Najczęściej stosowane dzisiaj metody chłodzenia cieczą, takie jak wymienniki ciepła w tylnych drzwiach oraz płyty chłodzące montowane bezpośrednio na chipie, nie stanowią niezależnych rozwiązań, ale współpracują z systemami chłodzenia powietrzem. Chłodzenie zanurzeniowe, zarówno jednofazowe, jak i dwufazowe, również zyskuje na popularności.
W przypadku tej metody kluczowe jest określenie całkowitego obciążenia cieplnego każdego systemu, określenie wydajności chłodzenia powietrzem, którą zastąpi chłodzenie cieczą oraz identyfikacja miejsc, w których system chłodzenia cieczą wprowadzi nowe wymagania dla systemów chłodzenia powietrzem. Na przykład wymienniki ciepła w tylnych drzwiach szafy rack odprowadzają schłodzone powietrze do przestrzeni centrum danych, a system chłodzenia powietrzem musi być gotowy na dodatkowe obciążenie, gdy drzwi zostaną otwarte w celu serwisowania szafy rack. W zastosowaniach z tylnymi drzwiami do osiągnięcia pożądanej temperatury wody zazwyczaj stosuje się agregat chłodniczy. Może pojawić się konieczność przekształcenia istniejących central wentylacyjnych w pomieszczeniach IT w chillery wewnętrzne o tej samej powierzchni.
Zaprojektowany do usuwania barier dla chłodzenia cieczą w środowisku chłodzonym powietrzem, dzielony agregat chłodniczy Liebert® XDM to wymiennik ciecz-płyn do zastosowań chłodniczych tylnych drzwi, który oferuje łatwe i ekonomiczne wdrożenie w każdym centrum danych.
Główną przeszkodą w rozwoju chłodzenia cieczą były obawy związane z ryzykiem transportu cieczy do szaf rackowych. Współczesne systemy chłodzenia cieczą zminimalizowały to ryzyko, ograniczając ilość dystrybuowanej cieczy oraz integrując technologie wykrywania wycieków w kluczowych elementach systemu i rurociągach.
Stosowanie płynów dielektrycznych eliminuje ryzyko uszkodzenia sprzętu w wyniku wycieku. Jednak wysoki koszt tych czynników powoduje, że zasadne jest stosowanie systemów detekcji nieszczelności podobnych do rozwiązań wykorzystywanych w systemach wodnych. Organizacja Open Compute Project opublikowała znakomity artykuł poświęcony technologiom i strategiom wykrywania wycieków, zatytułowany „Leak Detection and Integration” (Wykrywanie wycieków i integracja), który jest lekturą obowiązkową dla wszystkich osób wprowadzających ciecze do swoich centrów danych.
Ponadto systemy odprowadzania ciepła muszą być dostosowane do skali zastosowania, rodzaju używanego płynu oraz lokalizacji geograficznej. Istniejące wieże chłodnicze lub chłodnice suche mogą być wykorzystywane do odprowadzania ciepła w systemach chłodzenia cieczą, ale może być konieczne wprowadzenie modyfikacji, takich jak dodanie wspomagania adiabatycznego do systemu chłodnicy suchej, aby utrzymać niskie temperatury zasilania wymagane przez systemy chłodzenia cieczą. Współpracuj z partnerem infrastrukturalnym, aby ocenić istniejące systemy odprowadzania ciepła w odniesieniu do konkretnych wymagań wdrażanego systemu chłodzenia cieczą.
Wprowadzenie chłodzenia cieczą do centrum danych chłodzonego powietrzem wymaga starannego planowania i inżynierii, ale obecnie dostępne są technologie i najlepsze praktyki, które umożliwiają pomyślne wdrożenie przy minimalnych zakłóceniach.
Aby dowiedzieć się więcej, pobierz nasz raport White Paper „Zrozumieć rozwiązania i wymagania infrastrukturalne chłodzenia cieczą w centrum danych” .
Jak obliczyć wpływ chłodzenia cieczą na wydajność
Jak wcześniej wspomniano, zastosowanie chłodzenia cieczą w centrach danych nabiera tempa ze względu na jego zdolność do bardziej wydajnego i skutecznego chłodzenia szaf IT o dużej gęstości. Dotychczas projektanci i operatorzy centrów danych nie dysponowali danymi, które można było wykorzystać do prognozowania wpływu chłodzenia cieczą na efektywność centrum danych i pomóc im optymalizować wdrażanie chłodzenia cieczą w celu zwiększenia oszczędności i efektywności energetycznej obiektów.
Aby wypełnić tę lukę, zespół specjalistów z NVIDIA i Vertiv przeprowadził pierwszą obszerną analizę wpływu chłodzenia cieczą na PUE i zużycie energii w centrach danych. Pełna treść analizy została opublikowana przez American Society of Mechanical Engineers (ASME) w artykule Analiza efektywności wykorzystania energii w hybrydowym centrum danych o wysokiej gęstości chłodzonym cieczą.
Najważniejsze wnioski z analizy efektywności energetycznej chłodzenia cieczą w centrum przetwarzania danych
Efektywność wykorzystania energii
PUE nie jest odpowiednią miarą wydajności chłodzenia cieczą w centrum danych. Chłodzenie cieczą, w przeciwieństwie do chłodzenia powietrzem, wpływa na licznik (całkowite zasilanie centrum danych), jak i na mianownik (zasilanie sprzętu IT) w obliczeniach PUE, co czyni go nieskuteczną miarą porównywania wydajności systemów chłodzenia cieczą i powietrzem.
Całkowita efektywność wykorzystania energii
- Alternatywne metryki, takie jak TUE (Całkowita efektywność wykorzystania energii), będą bardziej przydatne przy podejmowaniu decyzji projektowych dotyczących wdrożenia chłodzenia cieczą w chłodzonym powietrzem centrum danych.
- TUE = ITUE x PUE (ITUE = Całkowita energia dostarczana do sprzętu IT/Całkowita energia dostarczana do elementów przetwarzania danych)
- Lub TUE = Całkowita moc dostarczana do centrum danych/Całkowita moc dostarczana do elementów przetwarzania danych, procesowania i pamięci
W centrach danych o dużej gęstości chłodzenie cieczą poprawia efektywność energetyczną systemów IT i obiektu w porównaniu z chłodzeniem powietrzem. W naszym w pełni zoptymalizowanym badaniu wdrożenie chłodzenia cieczą spowodowało zmniejszenie całkowitego zasilania centrum danych o 10,2% i ponad 15% poprawę TUE.
Wyższa wydajność dzięki technologiom chłodzenia cieczą
Maksymalizacja wdrożenia chłodzenia cieczą w centrum danych — pod względem procentowego udziału obciążenia IT chłodzonego cieczą — zapewnia największą efektywność. W przypadku chłodzenia direct-to-chip nie jest możliwe schłodzenie całego obciążenia za pomocą cieczy, ale około 75% obciążenia może być skutecznie chłodzone tą metodą.
Chłodzenie cieczą umożliwia zastosowanie wyższych temperatur wody lodowej, powietrza nawiewanego i wtórnego powietrza wlotowego, co pozwala zmaksymalizować wydajność infrastruktury obiektu. Należałoby rozważyć w szczególności chłodzenie gorącą wodą. Wtórne temperatury wlotowe w naszym ostatnim badaniu zostały podniesione do 45°C (113°F), co przyczyniło się do uzyskania osiągniętych wyników, jednocześnie zwiększając możliwości ponownego wykorzystania ciepła odpadowego.
Rozwiązania chłodzenia centrum przetwarzania danych: bezpieczne stosowanie cieczy
Jeśli chcesz dowiedzieć się więcej o bezpiecznym wdrażaniu chłodzenia cieczą w centrum danych, obejrzyj ten film
Opcje hybrydowych systemów chłodzenia powietrzem/cieczą oraz centrów danych chłodzonych wyłącznie cieczą
Niezależnie od tego, na jakim etapie jesteś w procesie wdrażania chłodzenia cieczą, Vertiv oferuje rozwiązania i usługi, które pomogą Ci osiągnąć cele biznesowe i spełnić wymagania techniczne.
Vertiv, jako światowy lider w dziedzinie klimatyzacji precyzyjnej, stosuje holistyczne podejście do obiektów chłodzonych cieczą. Nasze rozwiązania są owocem prac badawczych i rozwojowych prowadzonych we współpracy z uczelniami partnerskimi Center for Energy-Smart Electronic Systems (ES2), a także Green Grid i Open Compute Project oraz Green Revolution Cooling.
Dzięki tym wysiłkom oraz intensywnemu programowi badań & rozwoju w dziedzinie chłodzenia cieczą firma Vertiv dotrzymuje kroku zmieniającym się wymaganiom klientów. Oferujemy portfolio rozwiązań, które obsługują hybrydowe chłodzenie powietrzem i cieczą, a także w pełni chłodzone cieczą centra danych, w tym:
- Jednostki dystrybucji chłodziwa (CDU) i wewnętrzne agregaty chłodnicze zaprojektowane w celu zapewnienia kompletnych rozwiązań infrastrukturalnych do chłodzenia cieczą w centrach danych
- Aktywne i pasywne wymienniki ciepła montowane w tylnych drzwiach
- Systemy odprowadzania ciepła zaprojektowane do pracy z jednostkami chłodzenia cieczą CDU i agregatami chłodniczymi
- Rozwiązania modernizacyjne umożliwiające przystosowanie sprzętu chłodzącego do obsługi chłodzenia cieczą
- Ugruntowane praktyki i usługi w zakresie przekazania do eksploatacji, rozruchu i eksploatacji infrastruktury chłodzenia cieczą
Przedruk raportu z analizy rynku globalnego S&P
Vertiv wspiera chłodzenie cieczą w przetwarzaniu danych o dużej gęstości dzięki nowej jednostce dystrybucji chłodziwa
