Direct Liquid Cooling: oplossing of probleem

William Heesbeen, lead mechanical engineer bij RoyalHaskoningDHV, opent 20 november het IT Infra event. Datacenters vormen een cruciaal onderdeel van onze maatschappij. Maar maatschappelijke verwachtingen en de technische realiteit lopen niet in de pas.

Het jaarlijks terugkerende IT Infra event heeft een welverdiende reputatie opgebouwd. Professionals uit de branche ontmoeten elkaar op de beursvloer, delen kennis en doen inspiratie op. Een vast onderdeel van IT Infra is het lezingenprogramma. Deze editie opent William Heesbeen het evenement. Hij is al bijna 20 jaar betrokken bij de ontwikkeling en engineering van datacenters. We spreken elkaar via een Teams-verbinding en na een korte introductie vraag ik hem hoe de ontwikkeling van datacenters door de jaren heen is veranderd.

Hij moet even nadenken. “Ik denk dat er een grote focus verschuiving heeft plaatsgevonden”, zegt William. “Wanneer je de eerste datacenters vergelijkt met de huidige, dan zie je een enorme verschuiving met betrekking tot energieverbruik. En nu zien we dat de focus weer wordt verlegd van energieverbruik naar carbon footprint.”

“Mijn eerste ontwerpen van datacenters waren eenvoudiger in vergelijking met de datacenters die nu op de tekentafel liggen”, legt William uit. “Een groot verschil is dat oude datacenters robuuster en simpeler waren.” De techniek heeft natuurlijk de afgelopen jaren niet stil gezeten en heeft een enorme ontwikkeling doorgemaakt. “De ontwikkeling en engineering van datacenters is hierin mee gegroeid.”

“Met name in efficiëntie hebben datacenters een grote sprong gemaakt. De nadruk is verschoven van leverzekerheid naar efficiëntie.” Direct voegt William hieraan toe dat de beschikbaarheid van het datacenter de hoofdzaak is. De zogenaamde vijf-negens die de klant eist: een datacenter moet 99,999 procent van de tijd beschikbaar zijn. Dit is een enorme eis waar datacenters aan moeten voldoen. “Slechts een paar uur per jaar mogen de afgesproken temperatuur- en luchtvochtigheidslimieten overschreden worden”, vat hij het kort samen. “Nu ontwerpen we datacenters grotendeels volgens Tier 3 kwalificatie. Dit betekent dat een datacenter kan doordraaien wanneer hij onderhoud nodig heeft. Tier 4 is de volgende stap. Dit zijn datacenters die zelfcorrigerend werken. Inclusief automatische compartimentering bij bijvoorbeeld een lekdetectie.”

Koeling

Het klinkt paradoxaal, maar de ontwikkelaars zijn er achter gekomen dat je een datacenter efficiënter kunt koelen bij een hogere temperatuur. Bij de eerste datacenters was een zaaltemperatuur van twintig graden al hoog. “Milieutechnisch, energetisch en financieel werken we hard aan het verbeteren van de efficiëntie”, zegt William. “We zitten nu op 27 graden luchtintrede van de servers. En in de toekomst gaan we naar 35 graden.”

“Een server heeft een optimale temperatuur. De voorkeurstemperatuur van een server ligt op dit moment lager dan we hadden verwacht. En dit is een deel van het probleem met liquid cooling”, vertelt William, vooruitlopend op zijn presentatie.

“De gebruikelijke methode om datacenters te koelen was met lucht. Met direct liquid cooling wordt de hele server ondergedompeld in vloeistof om zo de warmte direct af te voeren. De chip wordt direct met water gekoeld.” Vloeistof is veel beter instaat om warmte af te voeren dan lucht. Een gevolg is dat liquid cooling meer vermogen kwijt kan omdat de koeling efficiënter is. “Een standaard luchtgekoeld rek vraagt maximaal 10 kW. Terwijl een watergekoeld rek een capaciteit aan kan van 100 tot 150 kW. En waarschijnlijk nog hoger in de toekomst.”

“Het limiet dat met luchtkoeling mogelijk is, hebben we al overschreden. Het probleem is dat onze verwachtingen met direct liquid cooling niet aansluiten op de realiteit. De verwachting was dat met direct liquid cooling de temperatuur van het water zou stijgen. Het idee was om deze hoge temperatuur retourwarmte nuttig te gebruiken. Bijvoorbeeld voor het verwarmen van huizen.”

De verwachting van de hogere temperatuur was tweeledig: warmte uitwisseling met derden en het toepassen van vrije koeling. “De huidige stand van zaken wijst erop dat we in het beste geval dezelfde temperatuur aan retourwater bereiken”, zegt William en hij legt dit uit aan de hand van een vergelijking van direct liquid cooling met luchtkoeling. Daarnaast speelt er een technische beperking. “Met direct liquid cooling kun je moeilijk rekening houden met piekbelasting van de servers. De enige manier om dit op te lossen, is om de server de hoeveelheid water te geven die hij tijdens piekbelasting nodig heeft. Dit heeft als gevolg dat de temperatuur van het retourwater daalt. De temperatuur van het retourwater is hoger wanneer de servers continu volledig worden belast. Maar dit is een utopie.” De enige manier waarmee datacenters piekbelastingen kunnen opvangen, is om de koeling door te laten lopen. Ook wanneer dit niet nodig is.

“We moeten onze verwachtingen temperen,” vat William het probleem samen. “De techniek kan de exponentiële groei van data nauwelijks bijhouden. Elk jaar verdubbelt de hoeveelheid data. Iedereen wil meer Netflix, meer internet, meer data. Maar niemand wil een datacenter in de tuin.” En vervolgens geeft William de waarschuwing dat we de verwachtingen met betrekking tot het gebruik van restwarmte van datacenters moeten bijstellen. Het uur is voorbij en William geeft mij zijn afsluiter: “We zijn nog lang niet bij het op zonne-energie aangedreven datacenter dat je huis verwarmt en je teveel aan zonne-energie uit de buurt opslaat.”