인공지능(AI) 이 여기에 있으며, 바로 그곳에서 머물 수 있습니다. NVIDIA의 설립자이자 CEO인 Jensen Huang은 “모든 산업이 기술 산업이 될 것입니다.”라고 말합니다. AI의 사용 사례는 의학의 혁신에서 고정밀 사기 방지에 이르기까지 사실상 무제한입니다. AI는 이미 모든 산업을 변화시키는 것처럼 우리의 삶을 변화시키고 있습니다. 또한 데이터 센터 인프라를 근본적으로 변화시키기 시작했습니다.
AI 워크로드는 HPC(고성능 컴퓨팅)의 일부로 처리되는 데이터를 강화하고 냉각하는 방법에 상당한 변화를 일으키고 있습니다. 5~10kW(kW)의 작업 부하를 실행하는 데 사용되는 일반적인 IT 랙과 20kW 이상의 부하를 실행하는 랙은 고밀도로 간주되었으며, 이는 도달 범위가 좁은 매우 특정 애플리케이션 외부에서는 드물게 볼 수 있는 현상입니다. IT는 AI 모델의 컴퓨팅 요구를 지원하기 위해 GPU로 가속화되고 있으며, 이러한 AI 칩은 기존 서버와 동일한 공간에서 약 5배의 전력과 5 배의 냉각 용량1이 필요할 수 있습니다. Mark Zuckerberg는 2024년 말까지 Meta가 NVIDIA에서 350,000개의 H100 GPU를 배포하는 데 수십억 달러를 지출할 것이라고 발표했습니다. 이제 랙당 40kW 의 랙 밀도가 AI 배포를 용이하게 하는 데 필요한 최저치에 도달했습니다. 랙 밀도는 랙당 100kW를 넘어선 것이 일반화되고 있으며 가까운 미래에 대규모로 확대될 예정입니다.
이렇게 하려면 그리드에서 각 랙의 칩까지 전체 파워 트레인에 걸쳐 용량이 크게 증가해야 합니다. 수냉식 기술을 데이터센터의 빈 공간에 도입하고 결국 엔터프라이즈 서버실에 도입하는 것은 대부분의 배포에서 요구 사항이 될 것입니다. 기존의 냉각 방법은 AI 계산을 실행하는 GPU에서 생성된 열을 처리할 수 없기 때문입니다. AI 하드웨어를 구동하고 냉각하는 데 필요한 인프라를 업그레이드하는 데 투자하는 것은 상당하며 이러한 새로운 설계 과제를 해결하는 것은 매우 중요합니다.
고밀도로의 전환
가속 컴퓨팅으로의 전환은 하룻밤 사이에 이루어지지 않습니다. 데이터센터 및 서버실 설계자는 향후 워크로드의 성장을 고려하여 전력 및 냉각 인프라를 미래에 대비할 수 있는 방법을 찾아야 합니다. 각 랙에 충분한 전원을 공급하려면 그리드에서 랙으로 업그레이드해야 합니다. 특히 흰색 공간에서 이는 고암페어 버스웨이와 고밀도 랙 PDU를 의미할 가능성이 높습니다. AI 워크로드를 실행하는 하드웨어에서 발생하는 엄청난 양의 열을 거부하기 위해 두 가지 액체 냉각 기술이 주요 옵션으로 부상하고 있습니다.
- Direct-to-chip 액체 냉각: 열 발생 부품(일반적으로 CPU 및 GPU와 같은 칩) 위에 냉각판이 놓여 열을 제거합니다. 펌핑된 단상 또는 2상 유체는 콜드 플레이트에서 열을 빼서 데이터 센터 밖으로 보내 칩으로 유체가 아닌 열을 교환합니다. 이렇게 하면 랙에 있는 장비에서 발생하는 열의 약 70-75%가 제거되어 공냉 시스템이 제거해야 하는 열의 25-30%가 남게 됩니다.
- 리어 도어 열 교환기: 수동형 또는 능동형 열교환기는 IT 랙의 뒤 도어를 열교환 코일로 교체하여 유체가 랙에서 생성된 열을 흡수합니다. 이러한 시스템은 종종 방 중립성을 유지하기 위한 전략 또는 액체 냉각으로의 여정을 시작하는 전환 설계로서 다른 냉각 시스템과 결합됩니다.
직접 칩 액체 냉각은 공기보다 훨씬 더 높은 밀도의 냉각 용량을 제공하지만, 냉각판이 포착할 수 없는 과도한 열이 여전히 존재한다는 점에 유의하는 것이 중요합니다. 이 열은 리어 도어 열교환기 또는 실내 공기 냉각과 같은 다른 수단을 통해 억제 및 제거되지 않는 한 데이터 룸으로 거부됩니다. 데이터 센터용 액체 냉각 솔루션에 대한 자세한 내용은 백서를 참조하십시오.
개량 및 신규 빌드를 위한 AI 스타터 키트
전력 및 냉각은 데이터 룸에서 IT 솔루션 설계의 필수적인 부분이 되어 IT 팀과 시설 팀 간의 경계를 허물고 있습니다. 이는 설계, 배포 및 운영에 있어서 높은 수준의 복잡성을 추가한다. 파트너십 및 풀 솔루션 전문 지식은 더 높은 밀도로 원활하게 전환하기 위한 최고의 요구 사항입니다.
Vertiv는 고밀도로의 전환을 간소화하기 위해 다양한 배치 구성에서 랙당 최대 100kW 의 작업 부하를 지원할 수 있는 전력 및 냉각 기술을 포함한 다양한 최적화된 설계를 도입했습니다.
| 설계 요약 | 랙 | 밀도/랙 | 녹색/갈색 필드 | 열 제거 | |
|---|---|---|---|---|---|
| 서버에서 | 객실에서 | ||||
|
훈련 모델 파일럿, 대규모 엣지 추론 |
|||||
| 소형 HPC 최소 개조 | 1 | 70kW | 갈색 필드 | 물/글리콜 | 공기 |
| 냉각수 시스템용 소형 HPC 개조 | 1 | 100kW | 갈색 필드 | 물/글리콜 | 물/글리콜 |
|
데이터센터의 엔터프라이즈, AI 코너를 위한 중앙 집중식 교육 |
|||||
| 중간 규모의 HPC 비용 최적화 개조 | 3 | 100kW | 갈색 필드 | 물/글리콜 | 냉매 |
| 열 포집이 증가한 중형 HPC | 4 | 100kW | 갈색 필드 녹색 필드 |
물/글리콜+공기 | 물/글리콜 |
| 공냉식 컴퓨터실을 위한 중간 규모의 HPC 실용 개조 | 5 | 40kW | 갈색 필드 녹색 필드 |
공기 | 냉매 |
| 중형 HPC | 5 | 100kW | 갈색 필드 녹색 필드 |
물/글리콜 | 물/글리콜 |
|
대규모 AI 공장 |
|||||
| 대형 HPC 보존실 중립성 | 12 | 100kW | 갈색 필드 녹색 필드 |
물/글리콜+공기 | 물/글리콜 |
| 대규모 HPC 빌딩 | 14 | 100kW | 갈색 필드 녹색 필드 |
물/글리콜 | 물/글리콜 |
이러한 설계는 시스템 통합업체, 코로케이션 제공업체, 클라우드 서비스 제공업체 또는 엔터프라이즈 사용자가 미래의 데이터센터를 달성할 수 있는 다양한 경로를 제공합니다. 각 특정 시설에는 IT 장비 선택에 따라 랙 수와 랙 밀도가 미묘하게 다를 수 있습니다. 따라서 이 설계 모음은 기본 설계로 명확하게 좁혀 배포 요구에 정확하게 맞출 수 있는 직관적인 방법을 제공합니다.
AI를 위해 기존 환경을 개조하거나 용도를 변경할 때, 당사의 최적화된 설계는 가능한 경우 사용 가능한 냉각 인프라와 열 차단을 활용하여 기존 워크로드의 중단을 최소화하는 데 도움이 됩니다. 예를 들어, 직접 칩 냉각과 리어 도어 열교환기를 통합하여 실내 중립 냉각 솔루션을 유지할 수 있습니다. 이 경우 리어 도어 열 교환기는 과도한 열이 실내로 빠져나가는 것을 방지합니다. 현장 자체를 개조하지 않고 액체 냉각 장비를 추가하려는 공냉식 시설의 경우, 액체-공기 설계 옵션을 사용할 수 있습니다. 이 같은 전략은 단일 랙, 연속 또는 대규모 HPC 배포에서 대규모로 배포할 수 있습니다. 다중 랙 설계의 경우, 각 랙에 전력을 분배할 수 있는 고암페어 버스웨이 및 고밀도 랙 PDU도 포함되어 있습니다.
이러한 옵션은 액체 냉각과 함께 사용할 수 있는 다양한 열 차단 옵션과 호환됩니다. 이를 통해 데이터 룸의 다른 작업 부하를 중단하지 않고 고밀도 액체 냉각으로의 깨끗하고 비용 효율적인 전환 경로를 구축할 수 있습니다. 자세한 내용은 AI 데이터 룸 솔루션을 확인하세요.
많은 시설이 고밀도 시스템을 위해 설계되지는 않았지만, Vertiv는 고객이 AI 및 HPC를 위해 고밀도로 원활하게 전환하기 위한 배포 계획을 개발할 수 있도록 지원하는 폭넓은 경험을 보유하고 있습니다.
1 경영진 추정치: 제조업체 사양서에 기반한 표준 42U 랙에서 5개의 Nvidia DGX H100 서버 및 21개의 Dell PowerStore 500T 및 9200T 서버에 대한 랙 레벨의 전력 소비 및 열 출력 비교