Cuando un operador de centros de datos a hiperescala en el norte de Virginia encargó su última instalación de 50 megavatios, el equipo de diseño térmico encontró un problema que el aire no podía resolver solo. Los aceleradores de IA de vanguardia y las CPU modernas de alta velocidad disipaban más de 1.000 vatios por chip, lo que resultaba en un flujo de calor superior al de una placa caliente. La refrigeración por aire tradicional que utiliza contención de pasillo caliente y unidades CRAC de bajo consumo no podía enfriar los chips lo suficientemente rápido. La respuesta fue la refrigeración líquida directa (DLC) que incorpora placas frías, unidades de distribución de refrigerante (CDU), conectores diseñados con precisión y colectores de acero inoxidable que hacen circular un refrigerante dieléctrico o agua tratada a través de las placas frías de cada chip para enfriarlo. La eficacia del uso de energía (PUE) para ese centro de datos disminuyó de 1,4 a menos de 1,1, mientras que el rack que utilizaba refrigeración por aire tradicional solo podía manejar la mitad de la capacidad, que ahora es el doble.
Resumen: Los elementos principales del aparato DLC comprenden placas frías, que son intercambiadores de calor montados en microprocesadores, sistemas de distribución de refrigerante (CDU), que incluyen bombas, intercambiadores de calor y controles que mantienen la temperatura y el flujo del refrigerante, tuberías y conectores que forman la ruta del líquido hacia el rack y cada servidor, y colectores y desconexiones o acoplamientos sin goteo que permiten conectar y desconectar un servidor del sistema sin apagar todo el circuito. La selección, colocación y mantenimiento de los componentes es un campo de competencia que se basa en las prácticas de las industrias sanitaria y de alta pureza. Cualquier fuga del sistema de refrigeración líquida costaría millones de dólares en destrucción de equipos de TI; por lo tanto, los componentes responsables de esta fuga deben fabricarse con los mismos niveles de trazabilidad de materiales, acabado superficial e integridad de presión que los sectores industriales como el farmacéutico y el de semiconductores.
La importancia de la refrigeración líquida para los centros de datos modernos
El cambio de la refrigeración por aire a la refrigeración líquida en los centros de datos no es una moda; más bien, se debe a los principios termodinámicos que rodean la potencia de diseño térmico (TDP) de los procesadores. Hace una década, la CPU de servidor promedio generaba 150 vatios, mientras que el procesador de IA actual puede disipar calor en el rango de 700-1.200 vatios, y los servidores de GPU totalmente equipados consumen más de 10.000 vatios de potencia por cada unidad de rack. El aire no es adecuado para enfriar los requisitos de calefacción, ya que tiene baja capacidad térmica y conductividad térmica. Para eliminar tal cantidad de calor de un área tan pequeña, las instalaciones tienen que usar una cantidad increíble de energía de aire, a saber, velocidad del ventilador, volúmenes de flujo de aire y delta de temperatura, lo que no es posible en las instalaciones tradicionales. El líquido tiene cuatro veces mejor capacidad térmica y más de veinte veces mayor conductividad térmica. La ruta de la refrigeración líquida permite eliminar el calor de los chips y entregarlo al lugar donde se puede desechar, como una torre de enfriamiento, un enfriador o un intercambiador de calor con mucho menos consumo de energía de lo que se necesita para operar cualquier sistema de refrigeración por aire.
El segundo factor que influye en el aumento de la refrigeración líquida en los centros de datos modernos es la densidad de cómputo y el costo de los bienes raíces. Un sistema de refrigeración líquida puede proporcionar 50 kW por rack, mientras que un sistema de refrigeración por aire proporciona solo hasta 10 kW por rack. Por lo tanto, hay mucha más potencia de procesamiento disponible para el mismo espacio cuando se usa agua líquida para la refrigeración. En regiones donde los alquileres de centros de datos son altos y los precios de la energía son altos, la disponibilidad de dicha tecnología otorga una tremenda ventaja competitiva a las empresas que la utilizan. El tercer factor es el consumo de agua. Uno podría pensar que la refrigeración líquida significa un mayor consumo de agua, pero en realidad, a menudo es lo contrario.
Los dos tipos principales de refrigeración líquida: refrigeración líquida directa vs. refrigeración por inmersión
La tabla siguiente resume las dos arquitecturas principales de refrigeración líquida y dónde se aplica mejor cada una.
| Arquitectura | Cómo funciona | Mejor para | Consideraciones clave |
|---|---|---|---|
| Refrigeración líquida directa (DLC) | Una placa fría se monta directamente en el chip (CPU, GPU o acelerador de IA). El refrigerante —típicamente agua desionizada tratada o una mezcla de agua y glicol— circula a través de la placa fría mediante una red de tuberías, acoplamientos de desconexión rápida y colectores de acero inoxidable. El refrigerante absorbe el calor del chip y lo lleva a una unidad de distribución de refrigerante (CDU), donde se rechaza al circuito de refrigeración principal de la instalación. Los demás componentes del servidor —memoria, almacenamiento, fuentes de alimentación— se enfrían por aire. | Reequipamiento de centros de datos existentes refrigerados por aire con racks de alta densidad, nuevas implementaciones de IA y HPC, cualquier escenario en el que solo componentes específicos de alta potencia requieran refrigeración líquida y el resto del rack pueda seguir refrigerándose por aire. | La DLC capta el 60-85 % del calor total del servidor en la placa fría. El calor restante aún debe ser gestionado por el sistema de aire acondicionado de la sala. Las placas frías, las tuberías y los acoplamientos de desconexión rápida deben estar 100 % libres de fugas, ya que una sola gota puede destruir un servidor. El refrigerante debe tratarse y filtrarse para evitar la corrosión, la incrustación y el crecimiento biológico en el circuito. |
| Refrigeración por inmersión (monofásica o bifásica) | Todo el servidor —placa base, chips, fuentes de alimentación, cableado— se sumerge en un fluido dieléctrico que no es conductor eléctrico. En la inmersión monofásica, el fluido circula a través de un intercambiador de calor. En la inmersión bifásica, el fluido hierve a baja temperatura, y el vapor se condensa y se devuelve al tanque. | Centros de datos de nueva construcción diseñados desde cero para la inmersión, implementaciones de densidad extrema, sitios de computación de borde y aplicaciones donde el agua cerca de la electrónica es inaceptable y se requiere un fluido dieléctrico. | La refrigeración por inmersión capta casi el 100 % del calor del servidor. Sin embargo, requiere tanques especializados, chasis de servidor y procedimientos de mantenimiento. El fluido dieléctrico es caro y la garantía del servidor puede verse afectada. La inmersión es menos común que la DLC en los centros de datos existentes debido a los cambios de infraestructura necesarios. |
Los componentes críticos de fluidos de un sistema de refrigeración líquida directa
Un sistema DLC es una red de manejo de líquidos, y su rendimiento también se mide por la eficacia de sus piezas para transmitir, regular y conectar el refrigerante. Los aspectos clave de la industria de manejo de fluidos que aprovechan al máximo la eficiencia de precisión del material y la sofisticación de la producción son los colectores de acero inoxidable (diseñados para permitir el flujo de refrigerante entre las líneas de alimentación principales del sistema y las estaciones de refrigeración, fabricados de acero inoxidable 316L con superficies electropulidas para no oxidarse y liberar ninguna sustancia extraña en el refrigerante; si se corroe, los componentes se convierten en una fuente de contaminación de las placas frías y la eficiencia de la refrigeración disminuirá), los acoplamientos templados (los acoplamientos deben permitir que un solo servidor se conecte o desconecte sin introducir aire en el sistema y derramar el refrigerante en la máquina); estos son la parte mecánica más importante del sistema DLC y deben estar bien protegidos. Los tipos de mangueras comúnmente utilizados incluyen EPDM, recubiertas de PTFE y de acero inoxidable corrugado. Los estándares de calidad que rigen estos componentes requieren que se produzcan de acuerdo con la trazabilidad regular de los materiales, las especificaciones de rendimiento de la superficie y la integridad de la presión. Los miembros del Comité Técnico 9.9 de ASHRAE proporcionan pautas para los requisitos aplicables a un sistema de refrigeración líquida y la calidad del refrigerante necesario para cada uno de los componentes involucrados.
Instalación y mantenimiento: las técnicas utilizadas para garantizar un funcionamiento sin fugas
La instalación de un sistema de refrigeración líquida en un centro de datos se refiere principalmente a las tareas de tuberías y manipulación de fluidos. Los requisitos y métodos aplicados a los sistemas de suministro de agua farmacéutica también son válidos para el proyecto de refrigeración ligera. Las principales prácticas de instalación consisten en un montaje limpio (cada tubo, cada conexión y cada colector deben lavarse, sellarse y permanecer libres de residuos en el momento de la instalación; un trozo de suciedad o un trozo de metal que entre en el circuito de refrigeración eventualmente bloqueará la placa fría o la válvula de control), pruebas de presión (todo el circuito instalado debe someterse a pruebas de presión con nitrógeno o con el refrigerante del sistema a una presión superior a la máxima de funcionamiento, generalmente 1,5 veces superior a la presión de diseño, y esta presión debe mantenerse durante un período fijo para demostrar que no hay fugas en ninguna junta, conexión o válvula), pasivación y purga (un nuevo sistema de acero inoxidable debe pasivarse —tratarse químicamente para eliminar el hierro libre de la superficie y formar la capa de óxido de cromo que protege la superficie— y seguido de una cuidadosa purga de todo el sistema con el refrigerante para eliminar todos los residuos químicos y sólidos antes de conectar el equipo de TI), y puesta en marcha y equilibrio de flujo (tan pronto como el sistema se llena de refrigerante y comienza a funcionar, el flujo en cada fila y en cada placa fría debe monitorearse y equilibrarse para asegurarse de que cada servidor reciba la velocidad de flujo de diseño).
El mantenimiento de un sistema de refrigeración líquida directa (DLC) se representa mediante el aseguramiento de la calidad del refrigerante (el pH, la conductividad y el nivel de inhibidores deben controlarse regularmente, ya que un refrigerante ácido o un refrigerante desprovisto de sus inhibidores comenzará a corroer el acero inoxidable, los interiores de las placas frías y los sellos de la bomba), la detección de fugas (cada colector de rack y placa fría debe tener un sistema de detección de fugas incorporado —un simple sensor de conductividad instalado en una bandeja de goteo debajo de las conexiones— que informará al sistema de gestión del edificio sobre la fuga antes de que se inflija el daño al equipo de TI), y la sustitución programada de los componentes que han agotado su vida útil (los acoplamientos rápidos y las mangueras flexibles en una tubería tienen una cierta vida útil definida por el fabricante de las piezas, por lo que su sustitución debe programarse para evitar cualquier fallo funcional).
Cómo Eagle Fittings apoya la refrigeración líquida de centros de datos
Eagle Fittings es líder en la fabricación de acero inoxidable, ya que se basa en décadas de experiencia adquirida al trabajar en las industrias de control de fluidos sanitarios y de alta pureza. Las habilidades esenciales de la empresa en la producción de colectores de acero inoxidable 316L, así como tuberías electropulidas y varios tipos de accesorios, incluidos accesorios de tubería de plástico, accesorios de conexión rápida, válvulas de bola y válvulas de retención, pueden sentar las bases para crear sistemas DLC utilizados en la refrigeración de los sistemas de IA y HPC más potentes.
Eagle Fittings utiliza los mismos procesos de fabricación como la trazabilidad del material, el tratamiento del acabado superficial y las pruebas de presión, que son demandados en las industrias farmacéuticas (por ejemplo, utilizados para sistemas de distribución WFI). Nuestro artículo sobre qué es un accesorio sanitario explica los principios de diseño y fabricación que garantizan una conexión de fluido sin fugas, limpia y fiable, principios que se aplican igualmente a una línea de procesamiento de lácteos y a un circuito de refrigeración directa al chip. Para los operadores de centros de datos, proveedores de colocación e integradores de sistemas de refrigeración líquida, Eagle Fittings proporciona los componentes de manejo de fluidos de acero inoxidable —los colectores, los conectores, las válvulas— que demanda una instalación de refrigeración líquida fiable, mantenible y sin fugas.
Preguntas frecuentes
¿Qué es la refrigeración líquida directa (DLC) en un centro de datos?
La refrigeración líquida directa (DLC) se refiere a un proceso mediante el cual se instala una placa fría directamente en el chip de alimentación para permitir que un refrigerante líquido fluya a través de él y así extraiga el calor del chip. El refrigerante líquido se envía luego a un intercambiador de calor, donde su calor se rechazará al sistema de refrigeración principal de la instalación. Este tipo de sistema de refrigeración es ampliamente utilizado hoy en día para convertir centros de datos refrigerados por aire en otros que puedan albergar racks de alta densidad.
¿Es la refrigeración líquida mejor que la refrigeración por aire para los centros de datos?
En el caso de los racks de alta densidad que tienen una potencia nominal de más de 20 kW por rack, es seguro decir que la refrigeración líquida es significativamente mejor que la refrigeración por aire, ya que elimina el calor de forma más efectiva que esta última, utiliza menos energía, permite una mayor densidad de rack y reduce el PUE de aproximadamente 1,4-1,6 a menos de 1,1. En el caso de los racks de baja densidad, sin embargo, sigue siendo más razonable elegir el sistema de refrigeración por aire que los líquidos, y la mayoría de los centros de datos modernos utilizan el tipo mixto de refrigeración: aire para los componentes de su centro de datos que demandan menos energía y refrigeración líquida para los chips con alto rendimiento.
¿Qué refrigerante se utiliza en la refrigeración líquida de centros de datos?
El refrigerante más utilizado para sus sistemas de refrigeración es agua desionizada y tratada que contiene un agente anticorrosivo y biocidas, así como una mezcla de agua y propilenglicol que se utiliza para prevenir la congelación en climas más fríos. El refrigerante debe ser no corrosivo para los materiales poliméricos, el cobre y el acero que forman parte del circuito de refrigeración. Además, debe tener un bajo nivel de conductividad eléctrica, lo que es importante en caso de fuga.
¿Cómo se previenen las fugas en un centro de datos refrigerado por líquido?
La prevención de fugas en los centros de datos refrigerados por líquido se logra mediante el uso de componentes fabricados con precisión, siguiendo métodos de establecimiento que garantizan un ensamblaje más limpio de los componentes de las placas frías y mediante un monitoreo constante de la calidad de los componentes utilizados en el proceso de refrigeración líquida.
Referencias
- ASHRAE TC 9.9 — Directrices de refrigeración líquida para centros de datos. El estándar de la industria para el diseño de refrigeración líquida, la calidad del refrigerante y la orientación operativa, publicado por la Sociedad Americana de Ingenieros de Calefacción, Refrigeración y Aire Acondicionado.
- Uptime Institute — Tendencias de refrigeración de centros de datos y PUE. Investigación anual sobre tecnologías de refrigeración de centros de datos, puntos de referencia de PUE y tasas de adopción de refrigeración líquida en instalaciones de hiperescala y coubicación.
- McKinsey & Company — El futuro de la infraestructura de centros de datos. Investigación sobre el impacto de la IA y la computación de alto rendimiento en los requisitos de energía y refrigeración de los centros de datos.
- Open Compute Project (OCP) — Soluciones de refrigeración avanzadas. La colaboración de la industria que publica especificaciones de código abierto para componentes de refrigeración líquida, incluyendo placas frías, colectores y acoplamientos de desconexión rápida, para promover la interoperabilidad y reducir costos.
Las soluciones de refrigeración líquida para centros de datos no son una respuesta temporal a un chip caliente. Son los sistemas de gestión térmica permanentes de la era actual de la IA y la computación de alto rendimiento. La era en que los chips están demasiado calientes para cualquier sistema de refrigeración por aire, ya que los racks contienen la mayor cantidad de componentes generadores de calor que ninguna técnica de refrigeración por suelo elevado puede ayudar, y las demandas de eficiencia energética son demasiado grandes para permitir cualquier tipo de sistema de refrigeración mecánica del pasado. Cualquiera de los dispositivos que funcionan impecablemente como parte de un sistema de refrigeración líquida comprende colectores de acero inoxidable, acoplamientos sin fugas y válvulas bien diseñadas que requieren el mismo nivel de calidad, precisión y mantenimiento que en el caso de los sistemas de agua farmacéutica.
