Как охлаждают AI-датацентр и почему их строят на севере

21 октября на GTC Berlin Дженсен Хуанг объявил, что Vera Rubin в полном производстве. Узел Grace Blackwell был охлаждён жидкостью на 80% и собирался около двух часов, с кабелями повсюду. Vera Rubin охлаждается жидкостью полностью, кабелей в узле нет, сборка занимает меньше пяти минут. Через два дня Хуанг впервые приехал в Астану, а Баладжи Сринивасан написал, что дешёвая энергия, быстрые разрешения и холодный климат делают Казахстан идеальным местом для массовой стройки AI-датацентров.

Обе новости про одно и то же. Почти всё электричество, которое датацентр берёт из сети, превращается в тепло. Инженерный вопрос в том, сколько ещё энергии и воды уходит, чтобы выбросить это тепло на улицу. Климат меняет эту цену, но не решает за площадку всё.

Каждый киловатт становится киловаттом тепла

Сервер почти не запасает энергию. Он берёт из розетки 1 kW и отдаёт в зал примерно 1 kW тепла, это первое правило в разборе систем охлаждения SemiAnalysis. В 2010-х стойка потребляла 5–10 kW, в современном облачном датацентре 15–20 kW. Стойка GB200 NVL72 на 72 GPU выделяет около 120 kW. Meta в посте о кластере Prometheus даёт свои цифры: около 135 kW на стойку GB300 NVL72 и больше 170 kW на будущую стойку Vera Rubin.

Воздухом такую плотность не вывезти. По правилу из того же разбора на каждый киловатт нужно прогонять 165–170 кубических футов воздуха в минуту. Для стойки на 130 kW это около 10 кубометров воздуха в секунду через один шкаф, наш пересчёт. Вода переносит тепло намного лучше: литр воды при нагреве на градус забирает примерно в 3500 раз больше тепла, чем литр воздуха.

Путь тепла от кристалла до улицы

В классическом зале тепло проходит несколько ступеней. Радиатор снимает его с чипа, вентиляторы сервера выдувают горячий воздух в изолированный горячий коридор. Дальше воздух забирает внутренний блок. CRAC работает как обычный кондиционер на фреоне с наружным конденсатором, до 100 kW на блок, такие ставят в старых и маленьких залах. CRAH вместо фреона гоняет через теплообменник воду из общего контура здания. Современный вариант называют вентиляторной стеной, по 500–600 kW на секцию.

Нагретая вода идёт в чиллер. Чиллер работает как холодильник: компрессор переносит тепло из воды в хладагент и выбрасывает его через конденсатор. Крупный чиллер с водяным охлаждением ставят в машинном зале, он снимает до 15–20 MW и на каждый киловатт, потраченный компрессором, переносит около 7 kW тепла. Чиллер с воздушным охлаждением стоит на крыше и справляется хуже: в примере SemiAnalysis он снимает 2 MW и сам потребляет 500 kW при +35 °C на улице.

Последняя ступень отдаёт тепло атмосфере. Градирня охлаждает воду испарением, одна большая снимает 7–8 MW, но расходует много воды и требует её очистки. Сухие охладители, или драйкулеры, работают как радиатор автомобиля и воду не тратят, зато зависят от температуры воздуха: чем жарче на улице, тем меньше они могут.

Почему GPU перевели на жидкость

При прямом жидкостном охлаждении на чип ставят cold plate, металлическую пластину с каналами для жидкости. Жидкость из стойки идёт в CDU, блок с насосами и теплообменником, который отделяет внутренний контур серверов от контура здания. Один CDU обычно рассчитан больше чем на 1 MW. GB200 NVL72 охлаждается только так, а Vera Rubin, по словам Хуанга, уже на 100%: жидкость снимает тепло не только с GPU, но и со всего остального в узле.

Есть второй выигрыш, менее заметный. На CES в январе Хуанг говорил, что стойка Vera Rubin работает на жидкости с температурой 45 °C, и при такой температуре датацентру не нужен чиллер. Чтобы отдать тепло улице без компрессора, жидкость должна быть теплее воздуха. Контур на 45 °C теплее улицы почти всегда, и тепло сбрасывают драйкулеры. В референсных проектах DSX, показанных в Берлине, Nvidia так и делает: замкнутый контур и сухие охладители вместо градирен. По оценке компании, кампус на 2 GW так экономит 54 миллиона литров воды в сутки. Там же оговорка: нужен ли дополнительный механический холод в самые жаркие периоды, решает местный климат.

Что такое PUE и где здесь вода

PUE делит всю мощность площадки на мощность IT-оборудования. При PUE 1,5 на каждый ватт серверов полватта уходит на охлаждение, потери в электрике и свет. При PUE 1,1 только 0,1 ватта. Охлаждение съедает 60–80% этих накладных расходов, электрика 15–30%, остальное освещение и прочее.

По данным Uptime Institute, средний PUE в отрасли около 1,6, но SemiAnalysis считает опрос нерепрезентативным: гиперскейлеры в нём почти не участвуют. У Google и Meta около 1,1, у Meta в среднем по компании 1,08. У Microsoft и AWS около 1,15. На датацентре со 100 MW серверов разница между PUE 1,5 и 1,1 составляет 40 MW, при полной загрузке это больше 350 GWh в год, наш расчёт. У метрики есть ловушка: вентиляторы серверов считаются частью IT-нагрузки, поэтому при переходе на жидкость PUE может улучшиться меньше, чем на самом деле упал расход на охлаждение.

Воду считают метрикой WUE, в литрах на киловатт-час. Системы с градирнями и водяными чиллерами доходят до 2 л/kWh и выше. В примере SemiAnalysis площадка на 50 MW с WUE 2,0 при загрузке 60% и PUE 1,25 расходует 657 миллионов литров в год. У Meta WUE 0,20, у Microsoft в среднем 0,3, но в Финиксе, где жарко и сухо, больше 2. Испарение экономит электричество ценой воды, драйкулеры экономят воду ценой электричества в жару, и каждая площадка выбирает свою точку. Для масштаба: SemiAnalysis в отдельном материале оценила расход воды кампуса xAI Colossus 2 в 1,31 миллиарда литров в год, что примерно в 2,5 раза больше водного следа одного ресторана In-N-Out с учётом выращивания корма для коров.

Чем помогает холодный климат

Холод даёт фрикулинг, охлаждение без компрессора. Можно подавать в зал отфильтрованный уличный воздух. Можно пустить воду из контура мимо чиллера прямо на градирню или драйкулер, это работает, пока вода теплее уличного воздуха с поправкой на влажность. Чем больше часов в году так можно работать, тем ниже PUE и расход воды. Хуже всего фрикулинг работает в жарком и влажном климате вроде Сингапура и Индии. На севере тепло иногда даже продают: SemiAnalysis приводит в пример площадку Nebius в Финляндии, которая отдаёт тепло в городскую сеть отопления.

Но площадку проектируют под самый жаркий час года, а не под среднюю температуру. В континентальном климате, как в Казахстане, холодная зима сочетается с жарким летом, и летний пик определяет, сколько охлаждения нужно поставить. Meta строила свои здания с PUE 1,08 на фрикулинге и всё равно добавила резервное охлаждение на самые жаркие дни. А контур на 45 °C делает фрикулинг доступным почти в любом климате, так что преимущество севера с каждым поколением GPU становится меньше.

Остальные факторы весят больше. При PUE 1,1 охлаждение вместе с остальными накладными расходами добавляет к счёту за электричество около 10%, а цена киловатт-часа влияет на все 100%. Мощность нужно ещё получить от сети: только в США, по данным Nvidia, в очередях на подключение стоят проекты больше чем на 200 GW. Нужны оптика до пользователей, разрешения, вода, а для GPU Nvidia ещё и экспортная лицензия США. По данным Times of Central Asia, компания Firebird получила такую лицензию на 45 000 GPU Grace Blackwell, её первая очередь строится в Data Center Valley в Экибастузе с коммерческим запуском в третьем квартале 2027 года. Хуанг в Астане говорил, что Казахстан может превращать энергию в интеллект и экспортировать его вместо самой энергии. Его аргумент про энергию, а не про мороз.

Как читать новости о датацентрах