Als ein Hyperscale-Rechenzentrumsbetreiber in Nord-Virginia seine neueste 50-Megawatt-Anlage in Auftrag gab, stieß das thermische Designteam auf ein Problem, das Luft allein nicht lösen konnte. Die hochmodernen KI-Beschleuniger und modernen Hochgeschwindigkeits-CPUs zerstreuten mehr als 1.000 Watt pro Chip, was zu einem Wärmestrom führte, der höher als der einer Kochplatte war. Die traditionelle Luftkühlung mit Heißgangeinhausung und energieeffizienten CRAC-Einheiten konnte die Chips nicht schnell genug abkühlen. Die Lösung war die direkte Flüssigkeitskühlung (DLC), die Kaltplatten, Kühlmittelverteilungseinheiten (CDUs), präzisionsgefertigte Anschlüsse und Edelstahlverteiler umfasst, die ein dielektrisches oder behandeltes Wasserkühlmittel durch Kaltplatten jedes Chips zirkulieren lassen, um diesen abzukühlen. Die Stromverbrauchseffizienz (PUE) dieses Rechenzentrums sank von 1,4 auf unter 1,1, während das Rack, das traditionelle Luftkühlung nutzte, nur die Hälfte der Kapazität bewältigen konnte, die jetzt doppelt so hoch ist.
Zusammenfassung: Die Hauptelemente der DLC-Anlage umfassen Kaltplatten, die als Wärmetauscher auf Mikroprozessoren montiert sind, Kühlmittelverteilungssysteme (CDUs), die Pumpen, Wärmetauscher und Steuerungen zur Aufrechterhaltung der Temperatur und des Durchflusses des Kühlmittels enthalten, Rohrleitungen und Anschlüsse, die den Flüssigkeitsweg zum Rack und zu jedem Server bilden, sowie Verteiler und tropffreie Trennvorrichtungen oder Kupplungen, die das Anschließen und Trennen eines Servers vom System ermöglichen, ohne den gesamten Kreislauf abzuschalten. Die Auswahl, Platzierung und Wartung der Komponenten ist ein Kompetenzfeld, das auf den Praktiken der Sanitär- und Hochreinigungsindustrie basiert. Jedes Leck aus dem Flüssigkeitskühlsystem würde Millionen von Dollar an IT-Gerätezerstörung kosten; daher müssen die für diese Leckage verantwortlichen Komponenten mit den gleichen Niveaus an Materialrückverfolgbarkeit, Oberflächengüte und Druckintegrität hergestellt werden wie in Industriezweigen wie der Pharma- und Halbleiterindustrie.
Die Bedeutung der Flüssigkeitskühlung für moderne Rechenzentren
Der Wechsel von Luftkühlung zu Flüssigkeitskühlung in Rechenzentren ist keine Modeerscheinung, sondern resultiert aus thermodynamischen Prinzipien, die die thermische Verlustleistung (TDP) von Prozessoren betreffen. Vor einem Jahrzehnt erzeugte die durchschnittliche Server-CPU 150 Watt, während der heutige KI-Prozessor Wärme im Bereich von 700-1.200 Watt ableiten kann, und voll ausgestattete GPU-Server verbrauchen über 10.000 Watt Leistung pro Rack-Einheit. Luft ist aufgrund ihrer geringen Wärmekapazität und Wärmeleitfähigkeit nicht zur Kühlung dieser Wärmemengen geeignet. Um solche Wärmemengen aus solch kleinen Bereichen abzuführen, müssen Anlagen eine unglaubliche Menge an Luftleistung nutzen, nämlich Lüftergeschwindigkeit, Luftvolumen und Temperaturdelta, was in traditionellen Anlagen nicht möglich ist. Flüssigkeit hat eine viermal bessere Wärmekapazität und eine über zwanzigmal höhere Wärmeleitfähigkeit. Der Weg der Flüssigkeitskühlung ermöglicht es, die Wärme von Chips abzuleiten und an einen Ort zu transportieren, wo sie entsorgt werden kann, wie einen Kühlturm, Kaltwassersatz oder Wärmetauscher, mit deutlich geringerem Energieverbrauch, als für den Betrieb jedes Luftkühlsystems erforderlich wäre.
Der zweite Faktor, der den Aufstieg der Flüssigkeitskühlung in modernen Rechenzentren beeinflusst, ist die Rechenleistung und die Kosten für Immobilien. Ein Flüssigkeitskühlsystem kann 50 kW pro Rack liefern, während ein Luftkühlsystem nur bis zu 10 kW pro Rack bereitstellt. Daher steht bei Verwendung von flüssigem Wasser zur Kühlung viel mehr Rechenleistung auf demselben Raum zur Verfügung. In Regionen mit hohen Mieten für Rechenzentren und hohen Energiepreisen verschafft die Verfügbarkeit einer solchen Technologie Unternehmen, die sie nutzen, einen enormen Wettbewerbsvorteil. Der dritte Faktor ist der Wasserverbrauch. Man könnte meinen, dass Flüssigkeitskühlung einen höheren Wasserverbrauch bedeutet, aber in Wirklichkeit ist oft das Gegenteil der Fall.
Die zwei Haupttypen der Flüssigkeitskühlung: Direkte Flüssigkeitskühlung vs. Immersion Cooling
Die folgende Tabelle fasst die beiden primären Flüssigkeitskühlarchitekturen zusammen und gibt an, wo jede am besten angewendet wird.
| Architektur | Funktionsweise | Am besten geeignet für | Wichtige Überlegungen |
|---|---|---|---|
| Direkte Flüssigkeitskühlung (DLC) | Eine Kaltplatte wird direkt auf dem Chip (CPU, GPU oder KI-Beschleuniger) montiert. Kühlmittel – typischerweise behandeltes, deionisiertes Wasser oder eine Wasser-Glykol-Mischung – wird über ein Netzwerk aus Schläuchen, Schnellkupplungen und Edelstahlverteilern durch die Kaltplatte zirkuliert. Das Kühlmittel nimmt die Wärme des Chips auf und transportiert sie zu einer Kühlmittelverteilungseinheit (CDU), wo sie an den primären Kühlkreislauf der Anlage abgegeben wird. Die restlichen Komponenten des Servers – Speicher, Speichermedien, Netzteile – werden mit Luft gekühlt. | Nachrüstung bestehender luftgekühlter Rechenzentren mit hochdichten Racks, neue KI- und HPC-Implementierungen, jedes Szenario, in dem nur spezifische Hochleistungskomponenten Flüssigkeitskühlung benötigen und der Rest des Racks luftgekühlt bleiben kann. | DLC erfasst 60–85 % der gesamten Serverwärme an der Kaltplatte. Die verbleibende Wärme muss weiterhin durch das Klimatisierungssystem des Raumes verwaltet werden. Die Kaltplatten, die Schläuche und die Schnellkupplungen müssen 100 % leckagefrei sein, da ein einziger Tropfen einen Server zerstören kann. Das Kühlmittel muss behandelt und gefiltert werden, um Korrosion, Ablagerungen und biologisches Wachstum im Kreislauf zu verhindern. |
| Immersion Cooling (einphasig oder zweiphasig) | Der gesamte Server – Motherboard, Chips, Netzteile, Verkabelung – wird in eine dielektrische Flüssigkeit getaucht, die elektrisch nicht leitend ist. Bei einphasiger Immersion wird die Flüssigkeit durch einen Wärmetauscher zirkuliert. Bei zweiphasiger Immersion siedet die Flüssigkeit bei niedriger Temperatur, und der Dampf wird kondensiert und in den Tank zurückgeführt. | Greenfield-Rechenzentren, die von Grund auf für Immersion konzipiert sind, Implementierungen mit extremer Dichte, Edge-Computing-Standorte und Anwendungen, bei denen Wasser in der Nähe von Elektronik inakzeptabel ist und eine dielektrische Flüssigkeit erforderlich ist. | Immersion Cooling erfasst nahezu 100 % der Serverwärme. Es erfordert jedoch spezielle Tanks, Servergehäuse und Wartungsverfahren. Die dielektrische Flüssigkeit ist teuer, und die Servergarantie kann beeinträchtigt werden. Immersion ist in bestehenden Rechenzentren aufgrund der erforderlichen Infrastrukturänderungen seltener als DLC. |
Die kritischen Fluidkomponenten eines direkten Flüssigkeitskühlsystems
Ein DLC-System ist ein Flüssigkeitsleitungssystem, und seine Leistung wird auch an der Effektivität seiner Teile bei der Übertragung, Regulierung und Verbindung des Kühlmittels gemessen. Die wichtigsten Aspekte der Fluidhandhabungsindustrie, die die Präzisionseffizienz des Materials und die Raffinesse der Produktion gut nutzen, sind die Edelstahlverteiler (die so konzipiert sind, dass sie den Fluss des Kühlmittels zwischen den Hauptzuleitungen des Systems und den Kühlstationen ermöglichen, hergestellt aus 316L-Edelstahl mit elektropolierten Oberflächen, um nicht zu rosten und keine Fremdstoffe in das Kühlmittel abzugeben – wenn es korrodiert, werden die Komponenten zu einer Kontaminationsquelle der Kaltplatten und die Effizienz der Kühlung wird verringert), die Schnellkupplungen (die Kupplungen müssen es ermöglichen, einen einzelnen Server anzuschließen oder zu trennen, ohne Luft in das System einzubringen und das Kühlmittel auf die Maschine zu verschütten); dies sind die wichtigsten mechanischen Teile des DLC-Systems und müssen gut geschützt sein. Die häufig verwendeten Schlauchtypen umfassen EPDM, PTFE-beschichtete und gewellte Edelstahlschläuche. Die Qualitätsstandards für diese Komponenten erfordern, dass sie gemäß regelmäßiger Materialrückverfolgbarkeit, Oberflächenleistungsspezifikationen und Druckintegrität hergestellt werden. Die Mitglieder des ASHRAE Technical Committee 9.9 stellen Richtlinien für die Anforderungen an ein Flüssigkeitskühlsystem und die Qualität des Kühlmittels bereit, die für jede der beteiligten Komponenten erforderlich sind.
Installation und Wartung: Techniken zur Gewährleistung eines leckagefreien Betriebs
Die Einrichtung eines Flüssigkeitskühlsystems in einem Rechenzentrum bezieht sich hauptsächlich auf die Rohrleitungs- und Flüssigkeitshandhabungsaufgaben. Die Anforderungen und Methoden, die bei pharmazeutischen Wasserversorgungssystemen angewendet werden, sind auch für das Lichtkühlungsprojekt gültig. Die wichtigsten Installationspraktiken bestehen aus der sauberen Montage (jedes Rohr, jede Verbindung und jeder Verteiler muss gewaschen, versiegelt und zum Zeitpunkt der Installation frei von Schmutz bleiben – ein Stück Schmutz oder ein Metallrest, der in den Kühlmittelkreislauf gelangt, wird schließlich die Kaltplatte oder das Regelventil blockieren), der Druckprüfung (der gesamte installierte Kreislauf muss mit Stickstoff oder mit dem Systemkühlmittel bei einem Druck oberhalb des maximalen Betriebsdrucks – normalerweise 1,5-mal höher als der Auslegungsdruck – druckgeprüft werden, und dieser Druck sollte für einen festgelegten Zeitraum aufrechterhalten werden, um zu beweisen, dass es keine Lecks an Gelenken, Verbindungen oder Ventilen gibt), der Passivierung und Spülung (ein neues Edelstahlsystem muss passiviert werden – chemisch behandelt, um das freie Eisen von der Oberfläche zu entfernen und die Chromoxidschicht zu bilden, die die Oberfläche schützt – und anschließend sorgfältig mit dem Kühlmittel gespült werden, um alle chemischen und festen Rückstände zu entfernen, bevor die IT-Ausrüstung angeschlossen wird), und der Inbetriebnahme und Durchflussabgleich (sobald das System mit Kühlmittel gefüllt ist und in Betrieb genommen wird, muss der Durchfluss in jeder Reihe und zu jeder Kaltplatte überwacht und abgeglichen werden, um sicherzustellen, dass jeder Server die Auslegungsdurchflussrate erhält).
Die Wartung eines direkten Flüssigkeitskühlsystems (DLC) umfasst die Qualitätssicherung des Kühlmittels (pH-Wert, Leitfähigkeit und Inhibitorgehalt sollten regelmäßig kontrolliert werden, da ein saures Kühlmittel oder ein Kühlmittel ohne Inhibitoren den Edelstahl, die Innenflächen der Kaltplatten und die Pumpendichtungen korrodieren lässt), die Leckerkennung (jeder Rack-Verteiler und jede Kaltplatte sollte über ein eingebautes Leckerkennungssystem verfügen – ein einfacher Leitfähigkeitssensor, der an einer Auffangwanne unter den Anschlüssen installiert ist –, das das Gebäudemanagementsystem über das Leck informiert, bevor Schäden an der IT-Ausrüstung entstehen), und den planmäßigen Austausch von betriebsbedingt verschlissenen Komponenten (Schnellkupplungen und flexible Schläuche in einer Rohrleitung haben eine bestimmte vom Hersteller der Teile definierte Lebensdauer, weshalb ihr Austausch geplant werden muss, um Funktionsausfälle zu vermeiden).
Wie Eagle Fittings die Flüssigkeitskühlung von Rechenzentren unterstützt
Eagle Fittings ist führend in der Edelstahlfertigung und baut auf jahrzehntelanger Erfahrung in der Sanitär- und Hochreinheits-Fluidsteuerungsindustrie auf. Die wesentlichen Fähigkeiten des Unternehmens in der Herstellung von 316L-Edelstahlverteilern sowie elektropolierten Rohren und verschiedenen Arten von Fittings, einschließlich Kunststoffrohrfittings, Schnellkupplungen, Kugelhähnen und Rückschlagventilen, können die Grundlage für die Schaffung von DLC-Systemen bilden, die zur Kühlung der leistungsstärksten KI und HPC eingesetzt werden.
Eagle Fittings verwendet dieselben Herstellungsprozesse wie Materialrückverfolgbarkeit, Oberflächenbehandlung und Druckprüfung, die in der Pharmaindustrie gefragt sind (z. B. für WFI-Verteilungssysteme). Unser Artikel über was ein Sanitärfitting ist, erläutert die Design- und Fertigungsprinzipien, die eine leckagefreie, saubere und zuverlässige Fluidverbindung gewährleisten – Prinzipien, die gleichermaßen für eine Milchverarbeitungslinie und einen Direkt-zu-Chip-Kühlkreislauf gelten. Für Rechenzentrumsbetreiber, Colocation-Anbieter und Systemintegratoren für Flüssigkeitskühlung bietet Eagle Fittings die Edelstahl-Flüssigkeitssteuerungskomponenten – die Verteiler, die Anschlüsse, die Ventile –, die eine zuverlässige, wartungsfreundliche und leckagefreie Flüssigkeitskühlungsinstallation erfordert.
Häufig gestellte Fragen
Was ist Direct Liquid Cooling (DLC) in einem Rechenzentrum?
Direct Liquid Cooling (DLC) bezieht sich auf ein Verfahren, bei dem eine Kaltplatte direkt auf dem Power-Chip installiert wird, damit ein flüssiges Kühlmittel durch sie fließen und so Wärme vom Chip abführen kann. Das flüssige Kühlmittel wird dann zu einem Wärmetauscher geschickt, wo seine Wärme an das Hauptkühlsystem der Anlage abgegeben wird. Diese Art von Kühlsystem wird heute häufig verwendet, um luftgekühlte Rechenzentren in solche umzuwandeln, die hochdichte Racks aufnehmen können.
Ist Flüssigkeitskühlung besser als Luftkühlung für Rechenzentren?
Im Falle von hochdichten Racks mit einer Nennleistung von mehr als 20 kW pro Rack kann man mit Sicherheit sagen, dass Flüssigkeitskühlung der Luftkühlung deutlich überlegen ist, da sie Wärme effektiver abführt als letztere, weniger Energie verbraucht, eine höhere Rack-Dichte ermöglicht und den PUE von etwa 1,4-1,6 auf unter 1,1 senkt. Im Falle von Racks mit geringer Dichte ist es jedoch immer noch vernünftiger, ein Luftkühlsystem zu wählen als ein Flüssigkeitssystem, und die meisten modernen Rechenzentren verwenden eine gemischte Kühlungsart: Luft für die weniger energiehungrigen Komponenten ihres Rechenzentrums und Flüssigkeitskühlung für die Hochleistungschips.
Welches Kühlmittel wird in der Flüssigkeitskühlung von Rechenzentren verwendet?
Das am häufigsten verwendete Kühlmittel für ihre Kühlsysteme ist deionisiertes und behandeltes Wasser, das ein Korrosionsschutzmittel und Biozide enthält, sowie eine Wasser-Propylenglykol-Mischung, die zur Gefrierverhütung in kälteren Klimazonen eingesetzt wird. Das Kühlmittel muss nicht korrosiv gegenüber Polymerwerkstoffen, Kupfer und Stahl sein, die Teile des Kühlkreislaufs sind. Außerdem muss es eine geringe elektrische Leitfähigkeit aufweisen, was im Falle eines Lecks wichtig ist.
Wie verhindert man Lecks in einem flüssigkeitsgekühlten Rechenzentrum?
Die Leckageprävention in flüssigkeitsgekühlten Rechenzentren wird durch den Einsatz präzise gefertigter Komponenten, durch die Einhaltung von Einrichtungsmethoden zur Gewährleistung einer saubereren Montage der Kaltplattenkomponenten und durch die ständige Überwachung der Qualität der im Flüssigkeitskühlprozess verwendeten Komponenten erreicht.
Referenzen
- ASHRAE TC 9.9 — Flüssigkeitskühlungsrichtlinien für Rechenzentren. Der Industriestandard für Flüssigkeitskühlungsdesign, Kühlmittelqualität und Betriebsrichtlinien, herausgegeben von der American Society of Heating, Refrigerating and Air‑Conditioning Engineers.
Flüssigkeitskühlungen für Rechenzentren sind keine temporäre Antwort auf einen heißen Chip. Dies sind die permanenten Wärmemanagementsysteme des heutigen Zeitalters der KI und des Hochleistungsrechnens. Das Zeitalter, in dem die Chips zu heiß für Luftkühlsysteme sind, da die Racks eine zu hohe Anzahl wärmeerzeugender Komponenten enthalten, bei denen keine Kühltechniken mit Doppelboden helfen können, und die Energieeffizienzanforderungen zu groß sind, um jegliche Art mechanischer Kühlsysteme der Vergangenheit zuzulassen. Alle Geräte, die einwandfrei als Teil eines Flüssigkeitskühlsystems funktionieren, umfassen Edelstahlverteiler, leckfreie Kupplungen und gut konstruierte Ventile, die alle das gleiche Maß an Qualität, Genauigkeit und Wartung erfordern, wie es bei pharmazeutischen Wassersystemen der Fall war.
