数据中心液冷技术因其能够更高效地冷却高密度IT机架，其应用持续增长。然而，数据中心的设计者和运营商一直缺乏可用于预测液冷对数据中心效率影响的数据，也缺乏帮助他们优化液冷部署以提高能源效率的依据。
为了填补这一空白， NVIDIA 和 Vertiv 的专家团队开展了首个针对液冷对数据中心 PUE 和能耗影响的大型分析。完整的分析报告已由美国机械工程师协会 (ASME) 发表，题为 《高密度空液混合冷却数据中心的电源使用效率分析》。本文将总结该分析的方法、结果和主要结论。
数据中心液冷能效分析方法
为了进行分析，我们选择了位于马里兰州巴尔的摩的一座中型（1-2兆瓦）二级数据中心。该数据中心设有50个高密度机架，排列成两排。分析的基准是采用100%空气冷却，由两台冷水式机房周边空气处理机组（CRAH）提供，并配备热通道封闭系统。冷却机组由一台Vertiv™ Liebert® AFC冷水机组辅助，该冷水机组具备自然冷却、绝热自然冷却、混合冷却和绝热机械冷却功能。
液冷是通过安装在主要发热 IT 组件上的微通道冷板直接对芯片进行冷却来实现的，并由两个带有液-液热交换器的 Vertiv™ Liebert® XDU 冷却剂分配单元 (CDU) 提供支持。
用于能源分析的数据中心示意图，采用 Vertiv™ Liebert® XDU 和 Vertiv™ Liebert® PCW。
该分析采用“自下而上”的方法，将IT负载分解为各个子系统，从而能够精确计算出随着液冷负载比例逐步增加，每个子系统所受到的影响。随后，我们进行了四项研究，在每项研究中逐步提高液冷比例，同时优化冷冻水温度、送风温度和二次进风温度，这些优化均得益于液冷的应用。
- 研究 1：100% 空气冷却，冷冻水温度为 7.2 摄氏度（45 华氏度），送风温度为 25 摄氏度（77 华氏度），二次进气温度为 32 摄氏度（89.6 华氏度）。
- 研究 2：61.4% 的负荷采用液体冷却，38.6% 的负荷采用空气冷却。冷冻水温度升至 18°C (64.4°F)，送风温度保持在 25°C (77°F)，二次进风温度保持在 32°C (89.6°F)。
- 研究 3：68.6% 的负荷采用液体冷却，31.4% 的负荷采用空气冷却。冷冻水温度提高到 25°C (77°F)，送风温度提高到 35°C (95°F)，二次进风温度保持在 32°C (89.6°F)。
- 研究 4：74.9% 的负荷由液体冷却，25.1% 由空气冷却。冷冻水温度保持在 25 摄氏度（77 华氏度），送风温度保持在 35 摄氏度（95 华氏度），二次进风温度提高到 45 摄氏度（113 华氏度）。
引入液冷技术对数据中心能耗和PUE的影响
研究4中液冷技术的全面实施（74.9%）使设施能耗降低了18.1%，数据中心总能耗降低了10.2%（与100%风冷相比）。这不仅每年可降低10%的数据能源成本，而且对于使用碳基能源的数据中心而言，还能减少相同比例的范围2排放。
随着采用芯片直接冷却方式的负载比例增加，数据中心的总功耗也随之降低。从研究 1 到研究 2，功耗降低了 6.4%；从研究 2 到研究 3，功耗又降低了 1.8%；从研究 3 到研究 4，功耗又降低了 2.5%。
根据这些结果，各研究计算出的数据中心PUE值可能出乎意料。PUE值仅下降了3.3%，从研究1的1.38降至研究4的1.34，而研究2和研究3的PUE值实际上保持在1.35不变。
如果您熟悉 PUE 的计算方法，可能已经猜到造成这种差异的原因了。PUE 本质上是衡量基础设施效率的指标，其计算方法是用数据中心总功耗除以 IT 功耗。但液冷不仅降低了设施端的功耗，还通过减少服务器风扇的需求，降低了 IT 端的功耗（根据 PUE 的定义）。
在研究 1 和研究 2 之间，服务器风扇功耗下降了 41%，在研究 1 和研究 4 之间下降了 80%。这使得在研究 1 和研究 4 之间 IT 功耗降低了 7%。
与空气冷却不同，液体冷却会同时影响 PUE 计算中的分子（数据中心总功率）和分母（IT 设备功率），因此无法有效地比较液体冷却系统和空气冷却系统的效率。
在我们的论文中，我们提出使用总使用效率 (TUE) 作为更合适的指标，我将在后续文章中解释做出这一决定的原因。我们分析的数据中心在研究 1 和研究 4 之间 TUE 提高了 15.5%，我们认为这能够准确衡量通过优化液冷部署所实现的数据中心效率提升。
数据中心液冷能效分析的主要结论
该分析从多个角度深入剖析了数据中心液冷系统的效率及其优化方法。我尤其建议数据中心设计人员 阅读全文，其中包含用于推导前文所述结果的支撑数据。以下是一些可能对更广泛读者群体有价值的关键要点。
- 在高密度数据中心中，与风冷相比，液冷能够显著提升IT和设施系统的能源效率。在我们进行的全面优化研究中，引入液冷后，数据中心总功耗降低了10.2%，总使用效率(TUE)提高了15%以上。
- 最大限度地提高数据中心液冷实施效率 — 就液冷式IT负载百分比而言 — 实现最高效率。采用芯片级直接冷却时，虽然无法用液体冷却整个负载，但大约 75% 的负载可以通过芯片级直接液冷有效冷却。
- 液冷可以提高冷冻水、送风和二次进风温度，从而最大限度地提高设施基础设施的效率。尤其值得考虑的是热水冷却。在我们最终的研究中，二次进风温度提高到了 45 摄氏度（113 华氏度），这不仅有助于取得理想的结果，也增加了废热再利用的机会。
- PUE 不是衡量数据中心液冷效率的好指标，而 TUE 等替代指标将更有助于指导与在风冷数据中心引入液冷相关的设计决策。
最后，我要感谢Vertiv和NVIDIA的同事们为这项开创性的分析所做出的贡献。研究结果不仅量化了液冷技术能够实现的节能效果，还为设计人员提供了宝贵的数据，可用于优化数据中心液冷系统的安装。
有关推动液冷技术普及的趋势的更多信息，请参阅博客文章《 液冷：高密度计算的数据中心解决方案》， 该文章总结了 2022 年 OCP 全球峰会上液冷专家小组的见解。
