La era de las fábricas de IA ha llegado
La era de los centros de datos de fábricas de IA ya está aquí, y trae consigo nuevos retos y oportunidades. La etapa de los servidores basados en Intel X8 para informática empresarial y cloud se prolongó durante aproximadamente tres décadas, con cambios muy leves en el consumo energético. La computación acelerada basada en GPU en las fábricas de IA no ha hecho más que empezar, pero hay algo seguro: cada año plantea nuevos desafíos, ya que la evolución de las GPU avanza en ciclos anuales y el consumo de cada nueva generación de GPU prácticamente se duplica cada año.
A medida que crecen las exigencias térmicas, la refrigeración líquida deja de ser una opción para convertirse en una necesidad. La refrigeración líquida desbloquea ventajas en rendimiento y sostenibilidad, al tiempo que permite avanzar hacia un aumento rápido de los kilovatios por rack. Sin embargo, la evolución de las GPU avanza tan rápido y alcanza niveles tan elevados que está poniendo a prueba las soluciones actuales de alimentación y refrigeración, y exige nuevas innovaciones para seguir el ritmo.
Por qué la refrigeración de una fábrica de IA es fundamentalmente distinta
Empecemos por las diferencias fundamentales entre un centro de datos cloud heredado y una fábrica de IA en lo que respecta a la refrigeración.
- Las fábricas de IA procesan enormes cantidades de datos de forma simultánea y generan tokens, frente al procesamiento de propósito general, el almacenamiento y las cargas transaccionales —como sistemas ERP y CRM— habituales en un centro de datos cloud.
- Las fábricas de IA están llenas de servidores de IA basados en GPU para computación acelerada, frente a los servidores CPU de propósito general de los centros de datos cloud.
- En un centro de datos cloud, el white space destinado a la computación domina la superficie inmobiliaria; en una fábrica de IA, en cambio, el grey space domina la escala del espacio físico.
- Las densidades de potencia por rack en un centro de datos cloud se sitúan en torno a 5-20 kW por rack IT, mientras que las últimas densidades de rack en fábricas de IA alcanzan los 227 kW por rack IT, casi duplicándose cada año y con previsión de superar 1 MW por rack en 2 o 3 años.
- Los centros de datos cloud se refrigeran principalmente por aire, mientras que las fábricas de IA están evolucionando hacia una refrigeración principalmente líquida desde que las densidades superaron los 75 kW por rack IT.
El aumento anual de la densidad dificulta preparar la infraestructura para el futuro
En los centros de datos cloud, la mayoría de los edificios con sistemas de alimentación y refrigeración a nivel de instalación podían acomodar de 3 a 5 ciclos de renovación IT cada 3-7 años. Los chillers y los sistemas de rechazo de calor podían requerir un ligero sobredimensionamiento para tenerlo en cuenta, normalmente del 20-50%. Las fábricas de IA necesitarían un sobredimensionamiento aproximado del 100% en chillers y rechazo de calor para acomodar un único ciclo de renovación IT. Por ejemplo, los Blackwell GB200 NVL 72 en 2025 funcionando a 132 kW por rack IT, si se actualizaran a Vera Rubin NVL 72, requerirían hasta 227 kW por rack IT.
Estos son nuestros diseños de referencia a nivel de centro de datos para Blackwell y Vera Rubin: 10,2-12,7 MW, con una capacidad máxima total de refrigeración de 16.247 kW (Dallas) y 16.931 kW (San Francisco). NVL72 Blackwell: 7,536 MW, con una capacidad máxima total de refrigeración de 9.051 kW (Dallas) y 9.369 kW (San Francisco). La diferencia en consumo energético y en capacidad máxima total de refrigeración en este salto generacional es considerable, y todo apunta a que esta trayectoria continuará.
¿Qué refrigeración se utiliza en las fábricas de IA?
Una fábrica de IA refrigerada por líquido introduce una nueva arquitectura térmica en comparación con los entornos refrigerados por aire. Los principales elementos de la computación acelerada refrigerada por líquido incluyen:
- Servidores refrigerados por líquido, principalmente mediante refrigeración directa al chip.
- Manifolds en rack para distribuir de forma uniforme el líquido/refrigerante a varios servidores a través del circuito de fluido IT.
- Cooling Distribution Units (CDU): la interfaz principal entre el circuito de fluido IT y el circuito de refrigeración de la instalación, proporcionando control de temperatura, caudal y presión, tratamiento del fluido, intercambio de calor y aislamiento.
- Un sistema de rechazo de calor de la instalación que expulsa al exterior el calor de todo el centro de datos, a menudo mediante chillers o free coolers con asistencia de compresión a través del circuito de refrigeración de la instalación.
La realidad de la refrigeración híbrida: por qué las fábricas de IA siguen necesitando aire y líquido
No todo en un clúster de IA de computación acelerada se refrigera por líquido directo al chip. En nuestro Diseño de Referencia Vera Rubin 113, el diseño de refrigeración de la instalación incorpora un sistema de tuberías de doble vía. Para la refrigeración por aire, un circuito de agua fría integra chillers, con capacidades de free cooling, para suministrar agua fría a 68°F a grandes paredes de ventiladores en configuración N+1. Este circuito de agua a menor temperatura cubre las necesidades de refrigeración por aire del centro de datos. La sala de datos incluye hasta sesenta y cuatro racks IT refrigerados por líquido de 227 kW, veinticuatro racks de networking refrigerados por aire de 20 kW y diez racks de networking refrigerados por aire de 40 kW. Los racks refrigerados por líquido eliminan el 96% del calor mediante líquido, mientras que el 4% requiere aire. Aproximadamente un tercio de los racks IT del clúster de IA requieren refrigeración por aire: 34 racks.
El entorno exterior influye en las opciones de rechazo de calor, consumo de agua y electricidad
Determinar el mejor método arquitectónico en una fábrica de IA para expulsar el calor al exterior depende en gran medida de la temperatura y la humedad del entorno, así como del consumo de agua y electricidad deseado. Dado que la refrigeración es una arquitectura, el rechazo de calor puede personalizarse en gran medida.
- Torres de refrigeración: se basan en los principios altamente eficientes de la evaporación y la circulación de agua (mayor uso de agua, menor consumo eléctrico).
- Dry coolers o free coolers: utilizan el aire exterior como principal medio de rechazo de calor de fluidos como agua o glicol, ahorrando energía y agua. Funcionan mediante un circuito cerrado, con ventiladores que hacen pasar aire ambiente sobre serpentines aleteados, manteniendo el fluido totalmente aislado del entorno exterior (uso cero de agua, consumo eléctrico muy bajo).
- Free cooler con asistencia adiabática: cuando aumentan las temperaturas ambiente exteriores, se pulveriza una fina niebla de agua sobre el aire de entrada para enfriarlo antes de que llegue a los serpentines de refrigeración (uso de agua y electricidad dependiente del entorno).
- Free cooler con asistencia de compresión: la asistencia de compresión o refrigeración mecánica se utiliza únicamente cuando aumenta la temperatura ambiente (uso de agua y electricidad dependiente del entorno).
- Chiller estándar de baja temperatura: utiliza un ciclo de refrigeración por compresión de vapor para producir agua fría destinada a la refrigeración por aire (uso de agua bajo o nulo, alto consumo eléctrico).
- Chiller estándar de alta temperatura: similar al chiller de baja temperatura, pero puede ser más eficiente y se utiliza para refrigeración líquida (uso de agua bajo o nulo, consumo eléctrico variable según los puntos de consigna de temperatura).
- Chiller Turbocor: utiliza compresores sin aceite con cojinetes magnéticos y variadores de frecuencia (uso de agua bajo o nulo, más eficiente que un chiller estándar, consumo eléctrico variable según los puntos de consigna de temperatura).
De nuevo, la refrigeración líquida puede configurarse para utilizar muy poca agua, o incluso ninguna, en un sistema de circuito cerrado.
Temperaturas del agua y chillers
Los chillers, utilizados para enfriar agua, se emplean ampliamente tanto en refrigeración basada en aire como en líquido, pero requieren una gran cantidad de electricidad para funcionar debido a su compresión mecánica. La buena noticia es que Rubin podría refrigerarse con agua a 45°C, alrededor de 113°F. Sin embargo, eso no significa que siempre vaya a hacerse así en una fábrica de IA. La realidad es que los operadores de centros de datos prefieren hacer funcionar sus GPU a temperaturas más bajas por motivos de SLA —acuerdos de nivel de servicio—, tolerancia al riesgo y fiabilidad a largo plazo.
Los operadores de centros de datos están empezando a elevar las temperaturas del agua para las GPU. Cuando haya más datos disponibles, podríamos ver la operación a 45°C como estándar, lo que podría dar lugar a centros de datos en los que el chiller sea opcional. La mayoría de los chillers refrigerados por agua incorporan economizadores, denominados waterside economizers, que utilizan un intercambiador de calor para aprovechar el aire exterior frío —a través de una torre de refrigeración o un dry cooler— y enfriar el agua, evitando el compresor del chiller para lograr ahorros energéticos significativos o free cooling. Por tanto, la única razón para optar directamente por dry coolers sería reducir el CapEx inicial. Pero entonces se perdería la capacidad de refrigerar las GPU en días con temperaturas exteriores inusualmente cálidas. Si un centro de datos está en un clima muy frío, por ejemplo Noruega o Finlandia, la mayor parte del tiempo hará suficiente frío, pero no siempre. Green Mountain Data Centers en Noruega, en el emplazamiento de Rjukan, informa de 330 días de free cooling al año mediante el uso de aire frío, aprovechando las bajas temperaturas ambiente durante gran parte del año. Sin embargo, eso deja 35 días en los que el centro de datos necesita asistencia mecánica de refrigeración proporcionada por chillers.
La optimización es crítica
En los centros de datos actuales, los sistemas de refrigeración representan el tercer mayor gasto de capital tras los sistemas eléctricos y el equipamiento IT, y alrededor del 40% del OpEx o gasto variable correspondiente a la electricidad. La electricidad destinada a refrigeración es un coste que debe minimizarse tanto para mejorar la rentabilidad como para cumplir los objetivos de sostenibilidad. La buena práctica consiste en desplegar un sistema de rechazo de calor dedicado, dimensionado y configurado para las necesidades exactas, y optimizar la temperatura, los caudales y la presión a través de la CDU.
Respaldo de las CDU y bombas
A las altas densidades en las que operan las fábricas de IA, cualquier interrupción en el sistema de refrigeración puede provocar sobrecalentamiento y tiempo de inactividad en cuestión de segundos. Un sistema integrado de almacenamiento térmico proporciona cinco minutos de respaldo continuo de refrigeración en caso de corte de suministro: un depósito de 30.000 galones para el circuito de alta temperatura —refrigeración por aire— y un depósito de 15.000 galones para el circuito de baja temperatura —refrigeración líquida—. Además, las CDU y las bombas de la instalación cuentan con su propia alimentación UPS dedicada, con cinco minutos de autonomía.
Oportunidad para reutilizar el calor residual en los centros de datos
Los centros de datos cloud no producen suficiente calor de alta calidad de forma constante como para permitir un uso productivo de ese calor. Los sistemas líquidos de las fábricas de IA pueden devolver agua a temperaturas superiores a 55°C o 130°F, lo que se considera calor de alta calidad. Además, la fontanería puede adaptarse fácilmente a múltiples aplicaciones, como procesos industriales, invernaderos y redes de calefacción urbana.
Diseñar y desplegar la refrigeración de nueva generación
A medida que evoluciona la computación acelerada de las fábricas de IA, diseñar la refrigeración para la siguiente NVIDIA NVL se vuelve laborioso y, en muchas ocasiones, imposible, ya que hay muy pocas personas en el mundo con conocimiento y experiencia en este ámbito. Seis meses antes de cada nuevo lanzamiento de NVIDIA, compañías como Schneider Electric, que colaboran muy estrechamente con NVIDIA, publican diseños de referencia que incluyen listas de materiales —BOM— con especificaciones de rendimiento, layouts, etc. Estos pueden utilizarse como punto de partida para adaptar preferencias individuales y cumplir normativas locales. Un enfoque aún más sencillo es aprovechar módulos prefabricados, incluidos PODs de white space y chillers empaquetados. Estos skids de refrigeración a nivel de instalación están diseñados para funcionar de forma fluida con los PODs IT, reducir drásticamente los ciclos de diseño y despliegue, y ofrecer confianza en que soportarán la computación acelerada.
Conclusión: la refrigeración es la limitación y la oportunidad
El reto de refrigerar fábricas de IA ha impulsado a la industria a ofrecer soluciones de refrigeración líquida más eficientes y con menor uso de agua en comparación con los sistemas heredados refrigerados por aire de los centros de datos cloud. La refrigeración líquida actual, además de soportar densidades muy elevadas, puede configurarse y optimizarse para el uso de agua y electricidad en fábricas de IA partiendo del método preferido de rechazo de calor, estableciendo las temperaturas óptimas del agua y utilizando bombas de velocidad variable en las CDU para regular el caudal con precisión. Los diseños de referencia están disponibles con mucha antelación, lo que permite a los operadores de centros de datos desplegar con confianza las últimas generaciones de computación acelerada, hoy y en el futuro.
Añadir comentario