Frage Warum ist die Wasserkühlung im Rechenzentrum nicht weit verbreitet?


Von dem, was ich über Rechenzentren gelesen und gehört habe, gibt es nicht zu viele Serverräume, die Wasserkühlung verwenden, und keines der größten Rechenzentren verwendet Wasserkühlung (korrigiere mich, wenn ich falsch liege). Außerdem ist es relativ einfach, gewöhnliche PC-Komponenten mit Wasserkühlung zu kaufen, während wassergekühlte Rack-Server fast nicht existieren.

Auf der anderen Seite kann die Verwendung von Wasser möglicherweise (IMO):

  1. Reduzieren Sie den Stromverbrauch großer Rechenzentren, insbesondere wenn es möglich ist, direkt gekühlte Einrichtungen zu schaffen (d. H. Die Anlage befindet sich in der Nähe eines Flusses oder des Meeres).

  2. Reduzieren Sie das Rauschen und machen Sie es weniger schmerzhaft für Menschen, in Datencentern zu arbeiten.

  3. Reduzieren Sie den Platzbedarf für die Server:

    • Auf Server-Ebene stelle ich mir vor, dass es sowohl bei Rack- als auch bei Blade-Servern einfacher ist, die Wasserkühlrohre zu passieren als in den Abfallraum, damit die Luft hineinströmen kann.
    • Wenn auf der Datencenter-Ebene die Gassen zwischen den Servern für den Wartungszugriff auf Server beibehalten werden müssen, kann der leere Raum unter dem Boden und auf der für die Luft verwendeten Deckenebene entfernt werden.

Warum sind Wasserkühlsysteme weder auf Rechenzentren noch auf Rack / Blade-Servern weit verbreitet?

Ist es weil:

  • Die Wasserkühlung ist auf Serverebene kaum redundant?

  • Die direkten Kosten der wassergekühlten Anlage sind zu hoch im Vergleich zu einem normalen Rechenzentrum?

  • Es ist schwierig, ein solches System aufrecht zu erhalten (regelmäßiges Reinigen des Wasserkühlsystems, das Wasser aus einem Fluss verwendet, ist natürlich viel komplizierter und teurer als nur das Staubsaugen der Gebläse)?


19
2018-04-27 14:37


Ursprung




Antworten:


Wasser + Elektrizität = Katastrophe

Wasserkühlung ermöglicht eine höhere Leistungsdichte als Luftkühlung; Ermitteln Sie also die Kosteneinsparungen der zusätzlichen Dichte (wahrscheinlich keine, außer Sie sind sehr eingeschränkt). Berechnen Sie dann die Kosten für das Risiko einer Wasserkatastrophe (sagen Sie 1% * die Kosten Ihrer Einrichtung). Führen Sie dann einen einfachen Risiko-Ertrags-Vergleich durch und prüfen Sie, ob dies für Ihre Umgebung sinnvoll ist.


29
2018-04-27 14:49



Und es wäre sehr schwierig und teuer, eine Anlage an Wasserkühlung anzupassen. Sie müssten Leckagen mit Einzugsgebieten unten abdecken. Viele DCs haben von unten her Strom. - Matt
"Wasserkühlung" verwendet normalerweise Öl, nicht Wasser, das kein elektrischer Leiter ist, kein Oxidationsmittel - Adrian Maire
@AdrianMaire Wasser hat eine spezifische Wärme von 4,2; während die meisten Öle in den Bereich von 1,5 bis 2,0 fallen. Dies bedeutet, dass Öle bei der Bewegung von Wärme weniger als halb so effizient sind wie Wasser. Die Wärmetauscher, Rohrleitungen, Pumpen müssten alle 2-3 mal größer sein. Ich habe noch nie ein "Wasserkühlungssystem" gesehen, das Öl verwendet, außer dass ein Typ auf YouTube seinen Computer in einen mit Mineralöl gefüllten Fischtank gestellt hat. - Chris S
@ChrisS Das Aquarium-Konzept für Datencenter edgeSense.com/libvirtblog/2014/3/30/... - xverges
Verwenden Sie ein nicht leitendes Öl. Sie haben die Grundfrage nicht beantwortet und sich stattdessen auf semantische Details konzentriert. - MarcusJ


Also werde ich meine Antwort in mehreren Teilen brechen:

  • Physikalische Eigenschaften von Wasser gegenüber Luft und Mineralöl
  • Risiken des Wasserverbrauchs und historische schlechte Erfahrungen
  • Gesamtkosten für die Kühlung eines Rechenzentrums
  • Schwächen klassischer Flüssigkeitskühlsysteme

Physikalische Eigenschaften von Wasser im Vergleich zu anderen

Zuerst ein paar einfache Regeln:

  • Flüssigkeit kann mehr Wärme transportieren als Gase
  • Verdunstung eines flüssigen Extraktes mehr Wärme (im Kühlschrank verwendet)
  • Wasser hat die besten Kühleigenschaften aller Flüssigkeiten.
  • Eine bewegliche Flüssigkeit extrahiert Wärme besser als eine nicht bewegte Flüssigkeit
  • Turbulente Strömung erfordert mehr Energie, die bewegt wird, aber Wärme besser ableiten als laminare Strömung.

Wenn Sie Wasser und Mineralöl gegen Luft vergleichen (für das gleiche Volumen)

  • Mineralöl ist etwa 1500 mal besser als Luft
  • Wasser ist etwa 3500 mal besser als Luft

  • Öl ist unter allen Bedingungen ein schlechter Stromleiter und wird zur Kühlung von Hochleistungstransformatoren verwendet.

  • Öl ist je nach Typ ein Lösungsmittel und kann Kunststoff lösen
  • Wasser ist ein guter Stromleiter, wenn es nicht rein ist (enthält Mineralien ...), sonst nicht
  • Wasser ist ein guter Elektrolyt. So können Metalle, die mit Wasser in Kontakt kommen, unter bestimmten Bedingungen aufgelöst werden.

Jetzt einige Kommentare zu dem, was ich oben gesagt habe: Vergleiche werden bei Atmosphärendruck durchgeführt. In diesem Zustand kocht Wasser bei 100ºC, was über der maximalen Temperatur für die Prozessoren liegt. Beim Abkühlen mit Wasser bleibt Wasser also flüssig. Das Kühlen mit organischen Verbindungen wie Mineralöl oder Freon (was im Kühlschrank verwendet wird) ist eine klassische Methode der Kühlung für einige Anwendungen (Kraftwerke, Militärfahrzeuge ...), aber die langfristige Verwendung von Öl in direktem Kontakt mit Kunststoff wurde nie gemacht in der IT-Branche. Daher ist sein Einfluss auf die Zuverlässigkeit von Server-Teilen unbekannt (Green Evolution sagt kein Wort darüber). Es ist wichtig, dass du dich flüssig bewegst. Sich auf die natürliche Bewegung in einer sich nicht bewegenden Flüssigkeit zu verlassen, um Wärme zu entfernen, ist ineffizient und eine korrekte Leitung einer Flüssigkeit ohne Leitung ist schwierig. Aus diesen Gründen ist die Tauchkühlung bei weitem nicht die perfekte Lösung für Kühlprobleme.

Technische Probleme

Das Bewegen von Luft ist einfach und Lecks sind keine Gefahr für die Sicherheit (zur Effizienz gut). Es benötigt viel Platz und verbraucht Energie (15% deines Desktop-Verbrauchs gehen an deine Fans)

Eine Flüssigkeitsbewegung zu machen ist mühsam. Sie benötigen Rohre, Kühlblöcke (Kühlplatten), die an jeder zu kühlenden Komponente angebracht sind, einen Tank, eine Pumpe und eventuell einen Filter. Darüber hinaus ist die Wartung eines solchen Systems schwierig, da Sie die Flüssigkeit entfernen müssen. Aber es benötigt weniger Platz und benötigt weniger Energie.

Ein weiterer wichtiger Punkt ist, dass es viel Forschung und Standardisierung gab, um Motherboards, Desktop und Server auf Basis eines luftbasierten Systems mit Kühlventilatoren zu entwerfen. Und die resultierenden Designs sind für Systeme auf Flüssigkeitsbasis nicht geeignet. Weitere Informationen unter formfactors.org

Risiken

  • Wasserkühlsysteme können auslaufen, wenn Ihr Entwurf schlecht ist. Wärmerohre sind ein gutes Beispiel für ein flüssigkeitsbasiertes System, das kein Leck aufweist (Schauen Sie hier für weitere Informationen)
  • Herkömmliche Wasserkühlsysteme kühlen nur die heiße Komponente und benötigen daher immer noch eine Luftströmung für die andere Komponente. Sie haben also zwei Kühlsysteme anstelle von einem und Sie verschlechtern die Leistung Ihres Luftkühlsystems.
  • Bei Standardkonstruktionen hat ein Wasserleck ein großes Risiko, bei Kontakt mit Metallteilen große Schäden zu verursachen.

Bemerkungen

  • Reines Wasser ist ein schlechter Stromleiter
  • Nahezu jeder Teil elektronischer Bauteile ist mit einer nicht leitenden Beschichtung versehen. Nur Lötpads sind nicht. Also ein paar Tropfen Wasser können harmlos sein
  • Wasserrisiken können durch bestehende technische Lösungen gemildert werden

Kühlluft reduziert ihre Fähigkeit, Wasser (Feuchtigkeit) zu enthalten, und so besteht die Gefahr der Kondensation (schlecht für die Elektronik). Wenn Sie also Luft kühlen, müssen Sie Wasser entfernen. Dies erfordert Energie. Normale Luftfeuchtigkeit für einen Menschen ist etwa 70% der Luftfeuchtigkeit.So ist es möglich, dass Sie nach dem Abkühlen wieder Wasser in die Luft für die Menschen zurückstellen müssen.

Gesamtkosten eines Datencenters

Wenn Sie eine Kühlung in einem Rechenzentrum in Betracht ziehen, müssen Sie jeden Teil davon berücksichtigen:

  • Luft aufbereiten (filtern, überschüssige Feuchtigkeit entfernen, herumbewegen ...)
  • Kühle und heiße Luft sollte sich niemals vermischen, sonst sinkt die Effizienz und es besteht die Gefahr von Hot Spots (Punkte, die nicht ausreichend gekühlt werden)
  • Sie benötigen ein System, um die überschüssige Wärme abzuführen, oder Sie müssen die Wärmeproduktionsdichte begrenzen (weniger Server pro Rack).
  • Sie können bereits Rohre haben, um die Wärme aus dem Raum zu entfernen (um es auf das Dach zu transportieren)

Die Kosten eines Rechenzentrums werden durch seine Dichte (Anzahl der Server pro Quadratmeter) und seinen Stromverbrauch bestimmt. (einige andere Faktoren werden ebenfalls berücksichtigt, aber nicht für diese Diskussion) Die gesamte Oberfläche des Rechenzentrums ist in die Oberfläche aufgeteilt, die vom Server selbst, vom Kühlsystem, von den Versorgungsunternehmen (Elektrizität ...) und von den Wartungsräumen genutzt wird. Wenn Sie mehr Server pro Rack haben, benötigen Sie mehr Kühlung und mehr Platz zum Kühlen. Dies begrenzt die tatsächliche Dichte Ihres Rechenzentrums.

Gewohnheiten

Ein Rechenzentrum ist etwas sehr Komplexes, das viel Zuverlässigkeit erfordert. Die Ausfallstatistik verursacht in einem Rechenzentrum, dass 80% der Ausfallzeit durch menschliche Fehler verursacht werden.

Um ein Höchstmaß an Zuverlässigkeit zu erreichen, benötigen Sie viele Verfahren und Sicherheitsmaßnahmen. Historisch gesehen sind in Rechenzentren alle Verfahren für Luftkühlsysteme vorgesehen, und Wasser ist auf seine sicherste Verwendung beschränkt, wenn es nicht aus Datenzentren verbannt wird. Grundsätzlich ist es unmöglich, dass Wasser jemals mit Servern in Kontakt kommt.

Bisher konnte kein Unternehmen mit einer ausreichend guten Wasserkühlung kommen, um diese Fakten zu ändern.

Zusammenfassung

  • Technisch ist Wasser besser
  • Serverdesign und Datacenter-Designs sind nicht für Wasserkühlung geeignet
  • Aktuelle Wartungs- und Sicherheitsverfahren verbieten den Einsatz von Wasserkühlung in Servern
  • Kein kommerzielles Produkt ist gut genug, um in Rechenzentren verwendet zu werden

22
2018-06-01 18:36



Fanatisch gut durchdachte Antwort, sehr aufschlussreich. - Alex KeySmith
Wasser hat die besten Kühleigenschaften aller Flüssigkeiten.  Das ist einfach nicht wahr. Sehen Hier für einen anekdotischen Vergleich. Quecksilber hat über 12x die Wärmeleitfähigkeit von Wasser. - Xalorous


Während wir ein paar wassergekühlte Regale haben (HP diejenigen, eigentlich nicht wissen, ob sie immer noch machen) direkte Wasserkühlung ist ein wenig Old-School in diesen Tagen. Die meisten neuen großen Rechenzentren werden mit Saugnäpfen gebaut, in die Sie Ihr Rack schieben. Dadurch wird die Umgebungsluft durchströmt und ausgestoßen oder gefangen - zur Wiederverwendung der gesammelten Wärme, wenn sie sich durch die Ausrüstung bewegt. Das bedeutet überhaupt keine Kühlung und spart große Mengen an Energie, Komplexität und Wartung, obwohl es Systeme auf die Verwendung sehr spezifischer Racks / Größen begrenzt und erfordert, dass zusätzlicher Rack-Platz an der Front "ausgeblendet" wird.


9
2018-04-27 14:58



Haben Sie Beispiele / Quellen, die dieses saugbasierte Kühlsystem beschreiben? - Chris Sears
@ChrisSears - werfen Sie einen Blick auf diesen Ort, sie waren so ziemlich der erste Ort, um dies in großem Umfang zu tun; theregister.co.uk/2008/05/24/switch_switchnap_rob_roy - Chopper3
@ChrisSears im HVAC-Bereich ist ein Durchziehungssystem. Durchziehen wird bevorzugt, wenn Sie ein relativ statisches Plenum zum Abziehen haben. Es benötigt weniger Energie, um Luft zu ziehen, als es durch einen verstopften Weg zu zwingen. - Xalorous
@ Chopper3 Das von Ihnen beschriebene Durchzugssystem zieht klimatisierte Luft aus einem Plenum durch die Racks und in das HVAC-System, wo es wieder aufbereitet und in das Plenum zurückgeführt wird. . Die gleiche Funktion funktioniert für Hot-Row / Cold-Row-Setups. Die Luftrückführung befindet sich über der warmen Reihe, die Zufuhr befindet sich in der kalten Reihe. Die aktuelle (2016) Best Practice scheint Versorgungsplenum mit klimatisierter Luft in der Bodenfläche zu sein. Rückluft von oben über das Rack geleitet. Die Racks sind oft versiegelt (keine Lüftungsschlitze). Der Raum zwischen den Regalen könnte fast unkonditioniert sein. Die Feuchtigkeitskontrolle erfordert jedoch eine Konditionierung. - Xalorous


Wasser ist ein universelles Lösungsmittel. Wenn genug Zeit gegeben ist, wird es durch ALLES essen.

Wasserkühlung würde außerdem zu einem beträchtlichen (und kostspieligen) Grad an Komplexität für ein Datenzentrum führen, auf das Sie in Ihrer Post verweisen.

Fire-Suppression-Systeme in den meisten Rechenzentren enthalten kein Wasser, aus bestimmten Gründen, Wasserschäden können in vielen Fällen größer sein als Feuerschäden und weil Rechenzentren mit der Betriebszeit beauftragt werden (mit Backup-Generatoren für Strom usw.) Das bedeutet, dass es ziemlich schwer ist, die Energie zu unterbrechen (im Falle eines Feuers), Wasser darauf zu spritzen.

Kannst du dir also vorstellen, wenn du eine Art von komplexem Wasserkühlungssystem in deinem Rechenzentrum hast, das den Geist im Falle eines Feuers aufgibt ?? Huch.


6
2018-04-27 14:50





Ich denke, die kurze Antwort ist, dass es eine beträchtliche Komplexität hinzufügt. Es ist nicht so sehr eine Frage des Raums.

Wenn Sie große Mengen an Wasser zu bewältigen haben (Rohrleitungen, Abfluss usw.), fügen Sie eine Menge Risiko hinzu ... Wasser und Elektrizität vermischen sich nicht gut (oder sie mischen sich zu gut, je nachdem, wie Sie aussehen es).

Das andere Problem mit Wasser ist Feuchtigkeit. In einem großen Maßstab wird es alle Ihre Klimaanlagen für eine Schleife werfen. Dann verdichtet sich die Verdunstung, und zweifellos gibt es noch viele andere Dinge, an die ich hier nicht gedacht habe.


3
2018-04-27 14:41





Wasser sollte NICHT zur Kühlung des Rechenzentrums verwendet werden, sondern ein Mineralöl, das sich sehr gut mit Elektrizität vermischt. sehen http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

Obwohl die Lösung neu ist, ist die Technologie ziemlich alt, aber diese Art von Änderung in bestehende Rechenzentren wird sehr schwierig, da Sie die vorhandenen Racks durch neue Racktypen ersetzen müssen ...


3
2018-04-27 14:50



Ich stimme nicht zu, wir haben wassergekühlte Racks, ich war dort am Tag, an dem sie gefüllt waren und es war normales Wasser gereinigt. - Chopper3
wow - wie funktioniert das? - Hast du Details? - silviud
Sie sind HP-Rack-Racks (keine Ahnung, wer der ursprüngliche Hersteller war, Rittal vielleicht?), Sie verkauften sie vor ungefähr 2 Jahren, aber ich werde jetzt nachsehen, ob sie das noch sind. - Chopper3
danke - fand einen bei h10010.www1.hp.com/wwpc/us/en/sm/WF06a/... ... sieh dir den Preis an ... - silviud
Ja, das ist die eine, nicht sicher, dass sie sie immer noch in Großbritannien verkaufen, wo ich bin, nie gedacht, auf die US-Seite zu schauen. Wir brauchten sie auf engstem Raum, wo wir viele Server benötigten. - Chopper3


Die Tatsache, dass die meisten Wasserkühlsysteme primitiv sind, ist der Hauptgrund dafür, dass in Rechenzentren kein Wasser verwendet wird. Sie alle benötigen schnelle Verbindungen, um den Server mit der Wasserquelle im Rack zu verbinden, und diese sind eine Quelle des Ausfalls, besonders da Sie Tausende von ihnen in einem DC haben können. Sie machen auch die Server schwieriger zu bedienen und in den meisten Fällen brauchen Sie immer noch Fans. Sie fügen also Komplexität hinzu.

Auf der menschlichen Seite widersetzen sich die meisten Facility Manager dem Wandel. Sie sind sehr geschickt in der Luftkühlung und ein Wechsel zu Flüssigkeit würde diese Fähigkeiten überflüssig machen. Darüber hinaus wird jeder Anlagenhersteller Änderungen widerstehen, da dies eine komplette Produktreihenwiederherstellung bedeuten würde.

Änderungen werden nur mit a) besseren Flüssigkeitskühlungsdesigns und b) Gesetzen zur Änderung erfolgen


2
2018-05-29 23:37