Untersuchung der dynamischen Regelung der Kühlkreistemperaturen von Rechenzentren zur Effizienzsteigerung und Ableitung eines Leitfadens zur Umsetzung entsprechender Konzepte
Projektdurchführung
Universität Stuttgart
Institut für Thermodynamik und Wärmetechnik (ITW)
Pfaffenwaldring 6
70550 Stuttgart
Zielsetzung
Das Forschungsprojekt Degree widmete sich der Herausforderung, die Energieeffizienz und Umweltverträglichkeit von Rechenzentren durch die Entwicklung einer dynamischen Regelung der Kühlkreistemperatur zu verbessern. Das Projekt wurde gemeinsam von IGTE – Universität Stuttgart (Koordinator), HLRS, TPI Ingenieure und ICT Facilities durchgeführt. Die Erprobung und Evaluierung der entwickelten Regelstrategie wurden am Höchstleistungsrechenzentrum Stuttgart (HLRS) durchgeführt.
Die Digitalisierung lebt von der schnellen Übertragung und Speicherung riesiger Datenmengen über das Internet. Die zentralen Schaltstellen des Internets sind dabei die Rechenzentren. Neben den Servern ist der Betrieb der Kühlanlagen der zweite große Verbraucher elektrischer Energie in Rechenzentren und derzeit oft für ein Drittel des gesamten Energiebedarfs verantwortlich. Die energieeffizienteste Art der Kühlung ist die „Freie Kühlung“. Dabei wird die Abwärme über Nass- oder Trockenkühltürme ohne aktive Kälteerzeugung wie Kompressions- oder Adsorptionskältemaschinen direkt an die Umgebung abgegeben. Dies ist jedoch nur möglich, wenn das Temperaturniveau der abzuführenden Wärme über der Außentemperatur liegt. Ein Trend bei der Entwicklung von Servern geht daher zu höheren Betriebstemperaturen, um den Anteil der freien Kühlung zu erhöhen. Dabei ist zu beachten, dass die Erhöhung der Kühlkreistemperatur auch negative Effekte mit sich bringt. Höhere Betriebstemperaturen führen zu einer höheren elektrischen Leistungsaufnahme vieler Komponenten im Rechenzentrum, insbesondere von Halbleitern wie CPUs und Hauptspeicher. Zudem kann die Rechenleistung und die Lebensdauer der IT-Komponenten sinken.
Das Forschungsprojekt Degree zeigt einen erfolgreichen Weg zur Optimierung des Gesamtsystems aus IT-Infrastruktur, Kühlsystem und Versorgungsumgebung im Spannungsfeld zwischen möglichst niedrigen Betriebstemperaturen und maximaler freier Kühlung. Das Ergebnis ist eine Methodik zur Implementierung einer Regelstrategie für dynamische Kühlkreisvorlauftemperaturen, die für wassergekühlte Rechenzentren angewendet werden kann.
Das Projekt zeigt, dass durch innovative Kühllösungen die Gesamtenergiebilanz von Rechenzentren deutlich verbessert werden kann. Die vorgestellte dynamische Regelung der Kühlkreistemperatur kann einen deutlichen Beitrag zur Reduzierung des Energieverbrauchs und der Emissionen in Rechenzentren leisten und gleichzeitig die Betriebskosten senken.
Arbeitsschritte
Das Projekt "Degree" verfolgte das Ziel, die Kühlkreistemperaturen von Rechenzentren dynamisch zu regeln, um deren Energieeffizienz zu steigern. Die Umsetzung erfolgte in mehreren methodischen Arbeitsschritten:
1. Konzeptentwicklung einer dynamischen Betriebsweise des HLRS-Kühlsystems
Zunächst wurden die temperaturabhängigen Hardwarekomponenten des HLRS-Kühlsystems identifiziert, darunter CPUs, Nasskühltürme, Pumpen und Lüftungssysteme. Anschließend konnten die Temperaturabhängigkeiten der beteiligten Komponenten anhand umfangreicher Messdaten erfasst und numerisch untersucht werden. Auf dieser Basis wurde ein genaues Modell des Kühlsystems entwickelt, das alle wesentlichen Temperaturabhängigkeiten eines flüssigkeitsgekühlten Rechenzentrums abbildet.
2. Experimentelle Bestimmung der Temperaturabhängigkeiten
Zur Bestimmung des Einflusses der CPU-Temperatur auf die Rechenleistung wurden Performance-Tests am HLRSmit dem Supercomputer HAWK durchgeführt. Besonderes Augenmerk lag auf der Effizienz und des Wasserverbrauch der Nasskühltürme sowie der Strombedarf von Pumpen und Ventilatoren gemessen. Die Ergebnisse flossen in die Modellierung ein.
3. Modellierung und Validierung des dynamisch geregelten HLRS-Kühlsystems
Das Kühlsystem des HLRS wurde mit der Simulationsumgebung TRNSYS modelliert. Besonderes Augenmerk wurde auf die genaue Abbildung des temperaturabhängigen Strombedarfs und der Wärmeübertragungsprozesse gelegt. Das Modell wurde anhand von Messdaten validiert und zeigte eine hohe Übereinstimmung bei der Vorhersage von Kühlleistung, Strom- und Wasserverbrauch.
4. Numerische Analyse und Optimierung des gesamten Kühlsystems
Mit dem validierten Modell wurden umfangreiche Simulationen durchgeführt. Dabei wurden Vorlauftemperaturen und Außenbedingungen systematisch variiert, um die optimale Temperaturregelung zu ermitteln. Ziel war es, den Energiebedarf, den Wasserverbrauch und die Betriebskosten zu minimieren, ohne die Betriebssicherheit zu gefährden.
5. Umsetzung der dynamischen Regelung:
Die entwickelte Regelstrategie wurde im HLRS implementiert. Ein Algorithmus passte die Vorlauftemperaturen dynamisch an die Feuchtkugeltemperatur der Außenluft an.
6. Leitfaden und Übertragbarkeit
Abschließend wurde ein Leitfaden erstellt, der Handlungsempfehlungen für die Umsetzung dynamischer Kühlstrategien in anderen Rechenzentren enthält. Dieser beinhaltet technische Anforderungen, Regelalgorithmen und Best Practices zur Effizienzsteigerung.
Ergebnisse
Im Projekt "Degree" wurde eine Modellierung des Kühlsystems des HAWK-Supercomputers in der Simulationsumgebung TRNSYS erfolgreich umgesetzt. Das entwickelte Modell bildet die thermischen, energetischen und ökonomischen Aspekte des Kühlsystems sowie dessen Regelung mit hoher Genauigkeit ab. Die Validierung des Modells erfolgte anhand umfangreicher Messdaten, die mit einer zeitlichen Auflösung von 5 Minuten zur Verfügung stehen. Diese hohe Auflösung ermöglichte eine detaillierte Analyse und eine präzise Validierung des Modells.
Die Untersuchungen zeigen, dass im Vergleich zum Ausgangszustand mit einer fixen Vorlauftemperatur von 17 °C eine Erhöhung der Kühlkreistemperatur zu einer gesteigerten Effizienz der Kühltürme und einem geringeren Strombedarf führt. Der Anteil der freien Kühlung kann so auf fast 100 % erhöht werden. Allerdings hat diese Strategie Grenzen: Mit zunehmender Kühlkreistemperatur sinkt die Performance der IT-Komponenten, und die Ausfallwahrscheinlichkeit der Hardware steigt aufgrund temperaturbedingter Materialalterung. Eine dynamische Regelung der Kühlkreistemperatur minimiert diese Diskrepanz und ist einer festen Temperatur-Einstellung überlegen.
Die für das HAWK-Kühlsystem durchgeführten numerischen Analysen zeigen, dass durch eine optimierte Regelung Einsparungen beim Stromverbrauch von bis zu 30 % und bei den Betriebskosten des Kühlsystems von bis zu 29 % gegenüber der Ausgangssituation erzielt werden können, ohne die Betriebssicherheit zu gefährden. ERs zeigte sich, dass die dynamische Regelung effizienter ist wie jede festen Vorlauftemperatur. Die jährliche durchschnittliche CPU-Temperatur beträgt dabei ca. 53 °C und ist lediglich 5 K höher als bei der anfänglichen Einstellung (47,9 °C).
Die Optimierung des Kühlsystems kann auf unterschiedliche Kriterien ausgerichtet werden. Während eine energetische Optimierung die maximale Effizienz der freien Kühlung anstrebt, berücksichtigt die kostenbasierte Optimierung auch Faktoren wie Wasserverbrauch und Materialbelastung, wodurch niedrigere Vorlauftemperaturen bevorzugt werden.
Wichtig festzuhalten bei diesen Betrachtungen ist, dass das Kühlsystem des HAWK-Supercomputers bereits in der Ausgangssituation im Jahr 2021 mit einem PUE-Wert von 1,14 als sehr energieeffizient einzustufen ist. Bei Rechenzentren mit höheren PUE-Werten werden die Verbesserungen noch deutlicher ausfallen.
Öffentlichkeitsarbeit
Als zentrales Ergebnis des Projekts ist ein Leitfaden zur Umsetzung und Anwendung der Dynamsichen Regelstrategie entstanden, der in deutscher und englischer Sprache veröffentlicht wird. "Guidelines to Dynamic Control of Facility Supply Water Temperature for Optimizing Efficiency in Liquid-Cooled Data Centers "
Außerderm sind folgende Veröffentlichungen und Vorträge im Rahmen des Projekts Degree entstanden:
• ENVIROINFO, Sep. 2022, Hamburg
Transient numerical simulation for optimization of a watercooled high-performance computing center with dynamic cooling circuit temperatures – Work-in-progress (Tagungsband)
• HLK-Brief, Verein der Förderer der Forschung im Bereich Heizung, Lüftung, Klimatechnik, Stuttgart e.V., 2023
Untersuchung einer dynamischen Regelung der Kühlkreistemperaturen von Rechenzentren zur Effizienzsteigerung und Ableitung eines Leitfadens zur Umsetzung entsprechender Konzepte (Beitrag)
• PowerBuilding & DataCenter Convention, 12. und 15. Mär. 2024, Stuttgart und Essen
Dynamisch geregelte Kühlkreistemperaturen für mehr Effizienz bei der Rechenzentrumskühlung (Vortrag)
Fazit
Die Durchführung und Ergebnisse des Projekts sind insgesamt als erfolgreich und positiv zu bewerten. Die durchgeführten numerischen Analysen und Simulationsstudien haben gezeigt, dass die dynamische Temperaturregelung im Flüssigkühlsystem von Rechenzentren ein erhebliches Potenzial zur Steigerung der Energieeffizienz bietet. Die dynamische Regelstrategie erwies sich insbesondere bei höheren Feuchtkugeltemperaturen als besonders vorteilhaft, da sie eine signifikante Reduzierung des Strombedarfs ermöglichte und die Effizienz des Kühlsystems erheblich steigerte.
Die Implementierung dieser Methodik im realen Betrieb am Höchstleistungsrechenzentrum Stuttgart (HLRS) hat die Praxistauglichkeit der entwickelten Regelstrategie eindrucksvoll bestätigt. Über den gesamten Projektzeitraum wurden keine Ausfälle oder Anomalien im Betrieb des Kühlsystems festgestellt, was die Zuverlässigkeit der dynamischen Regelung unterstreicht. Zudem ist die Umsetzung der dynamischen Regelung vergleichsweise einfach und erfordert keine zusätzlichen Hardware-Komponenten. Es handelt sich um eine rein softwaretechnische Anpassung, die ohne großen Aufwand in bestehende Systeme integriert werden kann.
Bei den meisten Rechenzentren, deren Kühlsysteme weniger effizient sind, kann eine noch größere Effizienzsteigerung erwartet werden. Die Anwendung der dynamische Temperaturregelung kann einen Beitrag zur Erreichung der Klimaschutzziele und zur Reduzierung des ökologischen Fußabdrucks von Rechenzentren leisten.