Permalänk
Medlem

Vattenkylning för 10+ CPU'er i serverrack

Jag håller på och konstruerar ett budget-serverrack där jag behöver kyla multipla CPUs (~5-10st) och vattenkylning hade varit perfekt.
Att ha ett vattenkylnings-system per moderkort/cpu känns lite wastefull... så jag hoppas kunna köra ett kraftigare system som kan kyla allt.

Har googlat runt mycket men hittar mest system som är tänkta för en workstation/desktop, så jag antar att jag måste bygga nåt eget, jag har nu två spår:

1) Seriekopplat system... en pump, en slang, 10 cpu-block. Finns det en möjlighet att detta kan fungera med en kraftigt pump/slang? Problemet är såklart att de sista CPU'erna i systemet kommer få varmare vatten än de första. Det är såklart inte ultimat men kanske kan fungera ändå.

2) En parallellt system, har en enklare skiss här: http://minus.com/mbn9Nc0mX9/1f .. tror ni ett sånt bygge kan fungera? Känns som ett möjligt problem blir att hålla trycket uppe i slangen så även sista CPUn i kedjan får tillräckligt mycket kallvatten.

Nån har erfarenhet av nåt liknande eller ideer om hur jag ska lösa detta bäst?

Permalänk
Medlem

en pump räcker inte, du bör köra på 3-4stycken

Permalänk
Medlem

Skulle kunna tänka mig att något i denna stil skulle passa. Ev kanske en extra pump beroende på antalet cpu:er

Visa signatur
Permalänk
Medlem

Vet inte om jag skulle lita på vanligt vatten i ett sådant stort system.. många ställen för potentiellt läckage.
Länk till vätska för vattenkylning som inte är strömledande.

http://www.fluidxp.com/

Permalänk
Medlem

Tyvärr kommer jag inte med något hjälpsamt men jag hoppas att du planerar på att ta mycket bilder och visa oss hur de blir om det nu blir så att du kör med vattenkylning
eller ja även utan vattenkylning så är det roligt att kolla på.

Visa signatur

Maximus X Hero - 8700k @5.1GHz - H115i - 32GB LPX@3466MHz - MSI 980Ti Gaming - EVGA SuperNova 750 G2 - Asus vg248qe - FD R5

Permalänk
Medlem

Om du har plats för luftkylare med heatpipes så är det en både enklare och billigare lösning. Se t ex Cooler Master 212 Evo (eller Plus) som kostar under 300 SEK inklusive fläkt.

Visa signatur

Foldingstatistik foldingfarm[4pES6276@3.2GHz/4p6176SE@2.7GHz/4pES6282@3.0/4pES6276@3.0]

Permalänk
Skrivet av ippa:

Jag håller på och konstruerar ett budget-serverrack där jag behöver kyla multipla CPUs (~5-10st) och vattenkylning hade varit perfekt.
Att ha ett vattenkylnings-system per moderkort/cpu känns lite wastefull... så jag hoppas kunna köra ett kraftigare system som kan kyla allt.

Har googlat runt mycket men hittar mest system som är tänkta för en workstation/desktop, så jag antar att jag måste bygga nåt eget, jag har nu två spår:

1) Seriekopplat system... en pump, en slang, 10 cpu-block. Finns det en möjlighet att detta kan fungera med en kraftigt pump/slang? Problemet är såklart att de sista CPU'erna i systemet kommer få varmare vatten än de första. Det är såklart inte ultimat men kanske kan fungera ändå.

2) En parallellt system, har en enklare skiss här: http://minus.com/mbn9Nc0mX9/1f .. tror ni ett sånt bygge kan fungera? Känns som ett möjligt problem blir att hålla trycket uppe i slangen så även sista CPUn i kedjan får tillräckligt mycket kallvatten.

Nån har erfarenhet av nåt liknande eller ideer om hur jag ska lösa detta bäst?

Tester från multi gpu byggen visar att parallella systemet inte är the way to go så kör parallellt.
Beroende på hur högljuda fläktar du vill ha i bygget och hur effekt krävande CPUer du väljer kommer du behöva rätt mycket radiator yta, räkna på ca 1x 120mm per processor om du inte bryr dig om ljudnivå och 2x120mm om du vill ha det tyst.

En tredje sak att tänka på är att vatten kan ta upp förhållandevis väldigt mycket energi utan att gå upp så mycket i temperatur. Resultatet av detta är att du får ett system som ändrar temperatur långsammare. Som exempel kan jag inte känna (har inga temperatursensorer) någon skillnad på temperaturen på vattnet som går in och ut ur radiatorn utan hela slingan verkar hålla ungefär samma temperatur.
10 Processorer och minst 10x120mm i radiatoryta är rätt mycket för en pump och precis som du säger kommer den sista processorn få ett par grader varmare vatten. Själv skulle jag nog kollat på ett seriekopplat system med 2 pumpar och dubbla radiator positioner i stil med ->Radiator->pump->5xCPU-Radiator->pump->5xCPU->

Skrivet av Wully:

en pump räcker inte, du bör köra på 3-4stycken

man kan köra processor + 3 grafikkort och 2-3 radiatorer på en pump utan problem om man väljer en lite större bättre pump så kan inte se någon anledning till att behöva använda mer än 2 pumpar i ett system med 10 processorer.

Permalänk

Vad ar det for cpuer? Tva pumpar av kraftigare slag tex Swiftech MCP35X i serie bor nog klara det och ge redundans. Phobyas 1080 rad eller tre 360 skulle nog racka. Du ska ju inte klocka dom antar jag? Om dom star vid sidan av servern kan du ju kora pa tva 520 raddar annars. Se bara till att du koper block med lagt motstand, XSPC raystorm och Delta V3 har bada lagt motstand men det finns nog fler. Kolla pa martinsliquidlab och prova att anvanda hans flodesberaknare och se hur det blir

Visa signatur

Simlärare

Permalänk
Medlem

Kul med så många svar!

@Alpha77: vanligt vatten blir nog kass ja.. kommer behöva mycket "kylarväska".. om det blir dyrt kanske det går att blanda själv dock? Köpa destillerat/avjoniserat vatten och blanda i nåt på slutet?

@Elghinnarisa: ska se vad jag kan göra! misstänker att det ligger några veckor bort dock, speciellt med sommaren runt hörnet också.

@lanbonden: "Tester från multi gpu byggen visar att parallella systemet inte är the way to go så kör parallellt. "... du menade "Tester från multi gpu byggen visar att parallella systemet inte är the way to go så kör seriellt. " eller?
Soft med några riktvärden då jag är helt grön på vattenkylning.

@Inveramsay: Just nu lutar det åt ett gäng AMDs 8150FX 8-core då jag tänkte köra virtualisering med KVM. Specen på den säger "termisk avledningseffekt: 120W". www.martinsliquidlab.com ser bra ut också, ska rota vidare där.

Vart köper man bäst grejer? Jag kan inte nog köpa ett färdigt kit för en workstation.. och måste nog köpa separata delar för att pussla ihop detta.. typ. 5m slang, 10 cpu-block av typ 123, en rejäl pump osv.

Det jag känner att jag saknar lite är ett generellt sätt att räkna på detta... typ, slänga in antal CPUs och Watt de drar och få ut hur stort vattenflöde jag måste ha för en seriekoppling. Och i sin tur hur stark pump det kräver beroende på slang-loop-längd. Kanske är nåt en vettig butik kan hjälpa mig med.

Jag trodde seriell koppling var dödsdömt.. soft att höra att det kanske kan gå med rätt utrustning, varje CPU behöver inte adda Så mkt värme totalt sett. Seriekoppling blir mkt lättare än min skiss på ett parallellt system. Frågan är hur det skalar. Tror ni det är möjligt att kyla... säg, 30+ st 120W CPUer bara man har en kraftig pump, rätt tjocklek på slangen och rätt motstånd i CPU-blocken?

Permalänk
Skrivet av ippa:

Tror ni det är möjligt att kyla... säg, 30+ st 120W CPUer bara man har en kraftig pump, rätt tjocklek på slangen och rätt motstånd i CPU-blocken?

Det är säkert möjligt, tyvärr lär du behöva kraftigare pump än vad som finns att köpa för datorbruk

Visa signatur

Simlärare

Permalänk
Medlem

@ippa:

1. Registera dig på www.xtremesystems.org och skapa en tråd liknande denna där. Många verkliga experter på vattenkylning frekventerar detta forum.

2. Fråga 'DetroitAC' om han vill tillverka en version detta vattenblock: http://www.xtremesystems.org/forums/showthread.php?281365-DT-... som är kompatibel med socklarna på ditt/dina moderkort. DT Sniper-blocket har mycket lågt flödesmotstånd så det torde vara synnerligen lämpligt för ditt framtida system.

3. www.aquatuning.se har stort sortiment, men inte särskilt bra priser. www.inet.se har numera ett mindre sortiment vattenkylningsdelar och bättre priser. coolingstuff.se finns också.

Permalänk
Medlem

1x120 radiator per CPU är ett bra riktmärke, men du klarar dig på mindre om du inte ska klocka. Har försökt hitta siffror på hur mycket värme radiatorerna ska kunna skyffla bort men det verkar aldrig anges av tillverkarna.

När det gäller pumpar så bör du köra på två stycken seriekopplade. Tar du en lite kraftigare variant ska det inte vara några problem. Anledningen till att du vill ha minst 2 är för att få lite redundans, dör den ena pumpen kommer systemet i alla fall inte brinna upp. Skulle det mot förmodan bli för klent kan du alltid koppla in en till pump senare. Se dock till att använda block med bra flöde.

Angående vätska så rekommenderar jag vanligt destilerat vatten (vanligtvis kallat batterivatten på macken). Billigt och leder inte ström. Stoppa i ett par "Silver Kill Coils" (spiraler i rent silver) så tar de död på eventuella alger mm.
De flesta tillsatser fungerar ganska dåligt, vanligt vatten har bäst värmelagringsförmåga. Eftersom destilerat vatten är väldigt billigt kan man byta vatten oftare om man vill.

I vilken ordning du kopplar det hela spelar inte så jättestor roll, vattnet flödar så snabbt så att skillnaden i temperatur på vattnet mellan den 1:a och 10:e processorn är max 1-2 grader. Du kan ju koppla in radiatorer på olika ställen i kedjan men det är egentligen onödigt.

Visa signatur

Huvuddator: Ryzen 2700X EK HF vattenblock|32GB|RTX 3080 Alphacool Eisblock, 280 + 420 rad.
Server: AMD 3850|16GB|~3,5TB HDD|360 rad
Lullull: Rift+Touch|HOTAS Warthog|G27|PS5|Switch OLED

Permalänk

Seriekopplat system går väl nog bra. men det stämmer vissa kommer att bli lite varmare.

Ha några pumpar.

några,såna här 3 - 4 delade http://www.blueride.se/4inputs-adapter-pi-1123.html?osCsid=ef... uttag fast större, ha en pump på en sida som skjuter '' vattnet '' åt ett håll å ha en till vid nästa delning.

några som du kan lägga fast på processoren då

Tyvärr har så mycket i huvudet nu så, tänker å tänker men fingrarna skriver int ner allt :/

Permalänk
Medlem

varför inte dela upp de hela ? i 3 cpu på varje pump / 360 rad ? och ha den sista med en luftkylning med PnP för att evt se trmp skillnad? iomed du kan köra 3gpu o 1 cpu på ett par rads och en pump ?

Skickades från m.sweclockers.com

Visa signatur

CPU: AMD FX6100 Black Edition @ 4.2ghz Stockcooler MB: Gigabyte 970a-UD3 RAM: Corsair Vengeance 2x 4gb 1600mhz GPU: Sapphire HD6770 x2 PSU: Corsair CX600 HDD: 2x200gb Sata Seagate

Permalänk
Medlem
Skrivet av Alpha77:

Vet inte om jag skulle lita på vanligt vatten i ett sådant stort system.. många ställen för potentiellt läckage.
Länk till vätska för vattenkylning som inte är strömledande.

http://www.fluidxp.com/

Kommer bli ledande direkt man kört det i systemet en stund. Det enklaste är att köra med destillerat vatten och någon tillsats mot korossion/alger, det blir också billigast och har minst chans att fela. Färdiga vätskor är också ett val om man vill betala lite mer mot att få något som ser bättre ut med t.ex. färger.

Om TS skaffar typ 4st D5 pumpar med passande pumptop för seriell koppling bör det klara av 10st CPU block. Sedan borde en 9x120mm radiator typ Mora 3 klara av det med någorlunda acceptabla temperaturer, jag hade satsat på 2st sådana radiatorer samt Scythe GT 1850RPM fläktar.

Permalänk
Medlem

@Cyne: Blir det inte bättre att köra 2 pumpar parallell-kopplade, då kan ju en gå sönder/slamma igen medans den andra driver vidare + blir lättare att byta? Tänker mig att slangen delas upp med en V-splitter till 2 pumpar.. och direkt efter de 2 pumparna går slangen ihop till en igen, borde väl funka?

@DrSwizz: Shyssta tips... försökte maila www.aquatuning.se via deras mailform .. men den funkade dåligt, hittade en annan email som jag skrev till. Blev osäker på om de förstod svenska eller bara tyska, så skrev en introduktion på engelska och attachade frågor på svenska.

Slutade med att jag pratade på telefon med ägaren till www.coolingstuff.se idag. Han kunde svara på väldigt många frågor. Seriell koppling av kylblock (jag sa 30 cpu'er till honom) ska inte vara nåt problem så länge man kör med CPU-block som har bra genomflöde. Dessutom verkade det inte krävas nån monster-pump.. han sa att han hade en för ~700:- som kunde driva systemet jag beskrev. Själva kylningen var det meckiga.. man måste anpassa storlek på radiatorer eller värmeväxlare till det.

Han tyckte jag skulle köra 2 pumpar iaf... så har man en backup. De var spezade för 50.000 timmars körning.. vilket jag tyckte lät lite lite. Såna där elektriska magnetmotorer trodde jag var extremt robusta/tåliga. Så ska nog försöka hitta nåt som håller längre när det kommer till pumpar.

Frågade om hållbarheten på själva slangen (han hade en slags mjuk PVC-slang, 10mm innerdiameter, 16mm ytterdiameter). Han sa att de flesta läckor är att användaren har skruvat åt saker dåligt och liknande... har nån nånsin haft en slang som gått sönder? Kanske för man böjt den för snävt? Server-racket jag tänker bygga blir mkt datordelar på liten plats.... så vill inte ha det vått

Permalänk
Medlem

Har du krav på ljudnivå och storlek? annars kan nog ett system från en gammal bil vara på sin plats, kylare med fläkt, kraftig pump och expansionskärl, bara cpublock som saknas:)

Permalänk
Medlem

Nu ska jag inte vara glädjedödare här jag tycker det låter coolt.... men...

Vad händer om en av dina servrar går sönder eller du måste ta ut den och byta ram-minne, hårddisk, cmos batteri eller nått annat mög?

Känns inte helt kul att behöva stänga ner hela serverracket bara för att en dator strular och man behöver ta ut och felsöka? Eller?

Permalänk
Medlem
Skrivet av ippa:

Blir det inte bättre att köra 2 pumpar parallell-kopplade, då kan ju en gå sönder/slamma igen medans den andra driver vidare + blir lättare att byta? Tänker mig att slangen delas upp med en V-splitter till 2 pumpar.. och direkt efter de 2 pumparna går slangen ihop till en igen, borde väl funka?

parallell-kopplade pumpar ökar flödet, seriekopplade ökar trycket ... går en pump sönder om man kör dem parallell-kopplade så pumpar den hela pumpen bara runt vattnet genom den trasiga, och flödet i resten av loopen stannar upp = inte bra ...

Visa signatur

Detta meddelande skrevs på en porrfylld dator, av en elak skitstövel. Det innehåller ingen praktisk eller användbar information, och skrevs faktiskt enbart för att förvilla och föra dej bakom ljuset.

Permalänk
Medlem
Skrivet av CFSsss:

Nu ska jag inte vara glädjedödare här jag tycker det låter coolt.... men...

Vad händer om en av dina servrar går sönder eller du måste ta ut den och byta ram-minne, hårddisk, cmos batteri eller nått annat mög?

Känns inte helt kul att behöva stänga ner hela serverracket bara för att en dator strular och man behöver ta ut och felsöka? Eller?

Om man inte drar slangarna för tajt bör det gå att montera bort ett av vattenblocken från den trasiga servern utan att montera ner vattenloopen.

Citat:

Slutade med att jag pratade på telefon med ägaren till www.coolingstuff.se idag. Han kunde svara på väldigt många frågor. Seriell koppling av kylblock (jag sa 30 cpu'er till honom) ska inte vara nåt problem så länge man kör med CPU-block som har bra genomflöde. Dessutom verkade det inte krävas nån monster-pump.. han sa att han hade en för ~700:- som kunde driva systemet jag beskrev. Själva kylningen var det meckiga.. man måste anpassa storlek på radiatorer eller värmeväxlare till det.

Jag hade satsat på ett par D5 pumpar, de är de bästa pumparna anseende livslängd bland de som brukar användas till vattenkylning, och många använder de i 5+ år utan problem. Mycket enklare att hålla sval också jämfört med en DDC pump som förvisso har lite bättre tryck.

Typ denna med en top hade fungerat bra:
http://www.coolingstuff.se/p/116/alphacool-vpp655-utan-top
http://www.coolingstuff.se/p/117/ek-water-blocks-ek-d5-x-top-...

Permalänk
Medlem

Skulle nog satsat på flera loopar, just för att inte få problem med med värme längre bak i loopen.
3x140/4x120 rad till 3 kanske 4 CPUer, jag hade nog kört på 3.
Dock blir detta inget budget längre då det kommer kosta ca 1k/cpu för detta.

Visa signatur

"Computer games don't affect kids; I mean if Pac-Man affected us as kids, we'd all be running around in darkened rooms, munching magic pills and listening to repetitive electronic music."
-Kristian Wilson, Nintendo Inc, 1989

Permalänk
Medlem

Har hört folk som använt Iwaki pumpar till dator kylning.. kanske är overkill för det mesta men när du ska koppla ihop ett så stort system så kanske det är befogat ?

http://www.iwakiwalchem.com/products/rd.htm

Permalänk

Skulle nog rekommendera ett par ordentliga pumpar istället, i stil med något ifrån Grundfos eller Wilo.
Dom är gjorda för att gå år ut och år in och är garanterat av mycket högre kvalitet än någon liten plastpump. Kostar dock därefter men det tror jag inte spelar något roll om du ska införskaffa 30 CPU:er.

Visa signatur

Argaste

Permalänk
Medlem
Skrivet av ippa:

Jag håller på och konstruerar ett budget-serverrack där jag behöver kyla multipla CPUs (~5-10st) och vattenkylning hade varit perfekt.
Att ha ett vattenkylnings-system per moderkort/cpu känns lite wastefull... så jag hoppas kunna köra ett kraftigare system som kan kyla allt.

Har googlat runt mycket men hittar mest system som är tänkta för en workstation/desktop, så jag antar att jag måste bygga nåt eget, jag har nu två spår:

1) Seriekopplat system... en pump, en slang, 10 cpu-block. Finns det en möjlighet att detta kan fungera med en kraftigt pump/slang? Problemet är såklart att de sista CPU'erna i systemet kommer få varmare vatten än de första. Det är såklart inte ultimat men kanske kan fungera ändå.

2) En parallellt system, har en enklare skiss här: http://minus.com/mbn9Nc0mX9/1f .. tror ni ett sånt bygge kan fungera? Känns som ett möjligt problem blir att hålla trycket uppe i slangen så även sista CPUn i kedjan får tillräckligt mycket kallvatten.

Nån har erfarenhet av nåt liknande eller ideer om hur jag ska lösa detta bäst?

Hur har det gått, vilken lösning valde du? Har du fått igång systemet så du kan visa bilder?