Frage CPU / GPU Kühlung 19" Racks

My-konos

My-konos

Veteran
Mitglied seit
Nov 15, 2018
Beiträge
270
Bewertungspunkte
91
Punkte
29
Moin zusammen,

hab mal ne grundsätzliche Frage zur Kühlung der Komponenten in server racks: ich sehe bisher, vor allem bei Luftkühlung, nur flache / radiale Kühler.
Können die überhaupt die Wärme vernünftig abführen, ohne dass der Takt einknickt?
An wann geht's dann Richtung Wasserkühlung? Gibt's überhaupt noch vernünftige Lösungen mit Luft?

Danke schon mal für die Infos.
 
Sortiere nach Datum Sortiere nach Stimmen
Also die normalen Standardserver laufen alle mit Luftkühlung. Normalerweise interessiert da die Lautstärke keinen, da der Serverschrank sowieso in einem klimatisierten Serverraum steht, in dem kein Mensch arbeitet.
Wasserkühlung ist zu riskant und wartungsintensiv. Beim Server geht Stabilität über alles, der Max-Takt ist dem untergeordnet. Da wird auch nicht manuell rumgetaktet oder so, das läuft wie vom Hersteller konfiguriert, damit Garantie und Support unproblematisch sind.
Und in diesen Parametern funktioniert das ganze mit Luftkühlung. Jedenfalls bei ordentlichen Servern.
 
Upvote 0 Downvote
 
Upvote 0 Downvote
Klar geht das mit Luft! Die Drehzahlen der Lüfter sind aber auch entsprechend hoch und nicht mit deinen Lüftern vergleichbar.
Wasser wird eingesetzt, wenn man mehr Rechenleistung pro Volumen will. Z.B. High End Server in 1U oder 2U was mit Luft nicht mehr möglich ist.
 
Upvote 0 Downvote
OK, danke für die Antworten.
Frage war jetzt wegen dem airflow in dem niedrigen Gehäuse. Hätte jetzt gedacht, dass es hier irgendwo die Grenze gibt, wo sich Luft sinnvoll einsetzen lässt. Gerade auch hinsichtlich Sauberkeit / Staub, der sich ablagert.
 
Upvote 0 Downvote
So sieht’s aus: Der Serverraum ist klimatisiert, und die Kühlung im Server wird erreicht durch und be-/gemessen in Volumenstrom, also wie viel Luft pro Sekunde an der zu kühlenden Komponente vorbeiströmt.

Wasserkühlung bringt da eher wenig, da nur ein anderes Transportmittel (Wasser statt Luft) am Grundproblem (Hitze) nichts ändert: mit Wasser kann man nur „die Temperatur“ leichter/kontrollierter an einen anderen Ort transportieren, wie sie dann eben auch wieder weggekühlt werden muss. Da ist’s halt doch immer noch leichter/effizienter/billiger, einen ganzen Raum mit entsprechen großen Aggregaten runterzukühlen.

Wakü im RZ ist was für absolute Sonderfälle, nicht zuletzt weil beim Server Ausfallzeiten möglichst gering sein müssen: die meisten Komponenten lassen sich im laufenden Betrieb austauschen und sind gerne auch redundant ausgelegt. Das kann man mit Wakü vergessen bzw. wird viel zu aufwändig/teuer.
 
Upvote 0 Downvote
My-konos hat gesagt. :
OK, danke für die Antworten.
Frage war jetzt wegen dem airflow in dem niedrigen Gehäuse. Hätte jetzt gedacht, dass es hier irgendwo die Grenze gibt, wo sich Luft sinnvoll einsetzen lässt. Gerade auch hinsichtlich Sauberkeit / Staub, der sich ablagert.
Zum Vergrößern anklicken....
Die aktuellen Server stellen auch schon so ziemlich die Grenze des sinnvollen dar. Die extrem hohen Lüftergeschwindigkeiten in kleinen Servern führen dazu, das ein erheblicher Anteil der Energie von den Lüftern selbst verbraucht wird. Wenn du jetzt noch mehr Leistung kühlen willst, brauchst du noch schnellere Lüfter, die noch mehr Energie verbrauchen, also brauchst du noch mehr Kühlung ...

Der Grund dafür das Wasserkühlung derzeit noch eher die Ausnahme ist liegt wohl in erster Linie nicht daran das es umständlich oder schwierig wäre, sondern eher daran das es ziemlich lange dauert bis sich Technologien in der Serverwelt durchsetzen. Es ist halt nicht so das Server nach 3-5 Jahren komplett ausgemustert und durch neue ersetzt werden wie bei Spiele-PCs, sonder stattdessen gibt es mindestens 1-2 Upgradezyklen. Da werden dann CPUs & Co ausgetauscht, aber die grundsätzliche Serverstruktur inklusive Kühlkonzept bleibt gleich. Schließlich ist es ja wenig hilfreich wenn die neuen Compute-Server mit Wasser eigentlich effizienter gekühlt werden könnten, man aber die Luftkühlung ohnehin weiter betreiben muß um die alten Datenserver und Netzwerk-Switches zu kühlen.
 
Upvote 0 Downvote
Für ein RZ mit Wasserkühlung als Grundkonzept musst du viel mehr tauschen, als nur die Serverhardware... das kannst du direkt die Gebäude inkl. Leitungen komplett umbauen.
 
Upvote 0 Downvote
Wasserkühlung im Serverraum macht vorallem Sinn, wenn sowieso Kühlwasserleitungen verlegt sind (zum Beispiel bei Firmen, welches diese für die Produktionen sowieso brauchen). Anstatt aber dann einzelne Server oder gar Komponenten mit Wasser zu kühlen, wir dann gerne auf so genannte Side Cooler / Chiller zurück gegriffen, z.B. https://www.lehmann-it.de/de/it-air...ets-with-cooling/19-inch-sidecooler-rack.html

Das macht man zum Beispiel auch dann, wenn eine Klimanalage (natürlich redundant) nicht oder nicht kosten-effizient möglich sind, oder wenn ich in einem klimatisierten RZ gewisse Hotspots habe (High-Density Racks, zum Beispiel mit vielen GPUs oder einer extrem hohen CPU Dichte).

Interssant sind auch Lösungen, bei denen das abgefühte Wasser dann wieder weiterverwendet wird. Ein Kunde hatte das Wasser benutzt, um damit die Tiefgarage angenehm zu beheizen.
 
Upvote 0 Downvote
Upvote 0 Downvote
Das ist ja der Vorteil dabei - man kann luftgekühlte Industrie-Standardhardware nehmen und die Abwärme dann mit Wasser abtransportieren. Wasser IM Server ist eher die Ausnahme und sehe ich maximal nur im HPC Bereich - nicht im Standard RZ
 
Upvote 0 Downvote
Energie ist halt immer noch zu günstig, so das die eigentlich ineffiziente Luftkühlung (vor allem wenn die Warmluft dann auch noch per Klima-Anlage abtransportiert wird) sich nicht lohnt wenn dadurch mehr Lohnkosten für Aufbau und Instandhaltung am Standort erstehen. Gute 3 TWh im Jahr verbraten die deutschen Rechenzentren aktuell nur für ihre Klimaanlagen, also gute 350 MW an Dauerlast nur zum Luftkühlen. Für die gut 150 - 180 Milliarden € die das an unnötigen Kosten verursachen sollte (angenommen die Rechenzentren bekommen den Strom dank EEG-Subventionen inzwischen nicht völlig umsonst) könnte man sicherlich einiges an Technologie-Entwicklung und Infrastruktur-Arbeit bezahlen.
 
Upvote 0 Downvote
Ist ja auch einer der Gründe warum effiziente Rechenzentren mit "warmen" Wasser gekühlt werden.
 
Upvote 0 Downvote
ShieTar hat gesagt. :
Energie ist halt immer noch zu günstig, so das die eigentlich ineffiziente Luftkühlung (vor allem wenn die Warmluft dann auch noch per Klima-Anlage abtransportiert wird) sich nicht lohnt wenn dadurch mehr Lohnkosten für Aufbau und Instandhaltung am Standort erstehen. Gute 3 TWh im Jahr verbraten die deutschen Rechenzentren aktuell nur für ihre Klimaanlagen, also gute 350 MW an Dauerlast nur zum Luftkühlen. Für die gut 150 - 180 Milliarden € die das an unnötigen Kosten verursachen sollte (angenommen die Rechenzentren bekommen den Strom dank EEG-Subventionen inzwischen nicht völlig umsonst) könnte man sicherlich einiges an Technologie-Entwicklung und Infrastruktur-Arbeit bezahlen.
Zum Vergrößern anklicken....

Du vergisst dabei, dass man auch das Wasser der Wasserkühlung wieder runter kühlen muss. Das kostet auch Energie. Das Strom in einem RZ nichts kostet ist schlicht falsch. Ab einer gewissen Leistungsklassen wird heute sehr viel mit adiabatischer und freier Kühlung gemacht, weil der Strom für die Kompressoren zu teuer ist. Bei freier Kühlung wird das Kühlmittel, ohne Kompressoren, mit der Umgebungsluft gekühlt. Bei adiabatischer Kühlung wird die "Verdunstungskälte" vom Wasser benutzt um das Kühlmittel in dern Wärmetauschern zu kühlen - weil Wasser nichts kostet, aber der Strom für die Kompressoren. Wenn das alles nicht reicht, dann müssen die Kompressoren ran, welche massiv Energie benötigen. Die Übergänge sind fließend und werden auf die Gegebenheiten und Wünsche der RZ Betreiber angepasst. In einem RZ gibt es mitunter auch Tapes, Switches (und ja Switche werden heiß) und andere Infrastruktur, welche auf Luftkühlung angewiesen ist.

Man könnte auch noch mehr Energie sparen, wenn man RZs mit einer Sauerstoffreduktion verbieten würde. Das kostet auch (viel) Energie, nur damit es nicht brennen kann, weil einfach zu wenig Sauerstoff in der Luft ist. Derartige RZ sind aber auch recht selten.

Die Prozessoren sind bei Servern mitunter weniger das Problem. Ich hatte in meiner Praxis ehr Probleme mit Netzwerkkarten, dass die zu heiß gelaufen sind.

Das dickste was ich an Leistungsdichte mit Luftkühlung kenne sind 8 Xeon Platinum 8276 auf 2 HE (4 einzelne Server). Wobei bei solches Kisten das nächste Problem kommt: Den Strom in das Rack zu bekommen und die Kabel zu verlegen. Deswegen sind HPC Lösungen mit Wasserkühlungen keine Standard 19" Rackserver, sondern ehr Bladeserver. Lüftkühlung ist im RZ auch von der Wartung her viel besser als eine Wasserkühlung. Wenn etwas ist, dann tauscht man schnell und unkompliziert Server oder Komponenten aus. Bei einer Wasserkühlung muss man ggf. auf Lecks, Luft im System und entsprechende Schnellverschlüsse achten. Das macht den Betrieb eines RZ teuer und kompliziert, solange es keine standardisierten Lösungen gibt. In vielen RZ stehen die Racks auf Doppelböden, wenn dort durch ein Missgeschick Wasser rein kommt, dann ist das blöd. Insbesondere, weil man im Zweifel nicht rein kommt um zu wischen
 
Upvote 0 Downvote
Um antworten zu können musst du eingeloggt sein.
Oben Unten