En superdator från grunden

Jag är fullt medveten om detta. Mitt problem är att vi faktiskt inte kan observera hur de ser ut idag. Därför bör hur de ser ut idag ej heller definieras som en del av det observerbara universumet. Jag kan inte påstå att jag har någon uppfattning om den konventionella definitionen, men har dock inte stött på en enda astronom/fysiker som använder denna definitionen.

Edit: Jag ifrågasätter din definition, och inte ditt resultat, givet din definition.

InfiniBand används väl till lagringen också, där används snarare FC (Fibre Channel) i en mer traditionell server-miljö (eller workstation), och billigare 10GbE-nätverk om du behöver skjuta mycket data, t.ex. över internet. FC ger lägre overhead och latenser än ethernet. Ska du köra SAN över 10GbE får du ju köra iSCSI (exempelvis) över nätverket, över TCP/IP eller köra FCoE över specialanpassade switchar – går du FCoE behöver du alltså specialiserad hårdvara och går inte ifrån det behovet. Sen är det ju så att SAN-leverantörerna inte nödvändigtvis föredrar IB även om de ofta erbjuder det i deras större lösningar. Lenovo köpte ju dock inte IBMs lagringssystem men verkar köra GPFS på en System X-maskin som de alltså möjligen tog över eller samarbetar kring plus dessa JBOD-lådor. Dessa GPFS-system kan antingen köra 10GbE, 40GbE eller IB. 10GbE till noderna finns ju inte.

Du har förmodligen redan läst om detta, men det är ändå e kul idé..
DESIGN OF FARM WASTE-DRIVEN SUPPLY SIDE INFRASTRUCTURE FOR DATA CENTERS

Det jag sett efter att läst lite så är en av anledningarna till att köra TCP över InfiniBand just för att även kunna köra lagringen den vägen, så nog verkar det som man kör lagring över samma länk. Noterade att InfiniBand går att köra både i läge där leveransen är tillförlitlig och i ett "best-effort-läge" (som rimligtvis drar lite mindre resurser och eventuellt har något lägre latens), gissar att man kör det senare läget när man använder TCP.

InfiniBand har fler fördelar än lägre latens jämfört Ethernet, är möjligt att läsa/skriva till RAM på en InfiniBand-nod helt utan att konsumera CPU-cykler på fjärrnoden. Måste finnas någon form av signalering för att sköta minneskonsistens, men sådant finns ju redan på plats i form av MPI. Gissar att superdatorer använder denna teknik, remote direct memory access, när man skyfflar data mellan beräkningsnoder.

Visst, går ju att använda Xeon Phi och även SSE/AVX för att rendera grafik. Men utan "Scalable Link Interface" måste man köra kommunikationen mellan grafikkorten via PCIe och då verkar man vara begränsad i kapacitet i upplösning och FPS. Sedan är Tesla, precis som Xeon Phi, optimerad för 64-bitars flyttal, vilket inte är till någon hjälp för normal grafikrendering där det är full tillräckligt med 32-bitars flytta så frågan är om dessa kort är snabbare än high-end konsumentkort när det kommer till grafikrendering?

AMD har dumpat bryggan och kör all kommunikation över PCIe. Nvidia själva säger att SLI ger "upp till" 1 GB/s i bandbredd vilket ju inte är så imponerande jämfört med PCIe. Exakt hur SLI arbetar är inte känt men det finns teorier som säger att de inte använder bryggan för att skyffla så mycket data längre utan att den är till för att synka snarare så den ger en känd latens mellan korten för tidskritisk information medan rådata skickas över PCIe. Toppkorten ligger ju och balanserar någonstans runt PCIe 3.0 x8 i bandbredd. De är knappt begränsade av PCIe 2.0 x16 men vinsten att gå högre är liten och kraftigt varierande. Nu är ju PCIe 4.0 på ingång sakta men säkert och det har inte hänt så mycket med bandbredden på grafikkort.

I dagsläget är värme det enda vettiga sättet att ta tillvara spillväre, att göra el är för ineffektivt. Maximalt 15% och realistiskt närmare 5% verkningsgrad är vad du kan räkna med, och då går det inte att använda den värmen till att värma något längre. Att värma tex hus med spillvärme går att göra redan idag. Hela städer skulle gå om fjärrvärmenäten anpassas efter lägre temperaturer. Problemet blir dessa ev enorma datorerna. 1 Gigawatt är helt enkelt SJUKT mycket energi, du kan värma ca 200 000 hus med det!

Häftigt, men jag känner dock att den mest belyser de enorma problemen med att tex köra vår fordonsflotta/elnät/industri på biogas. 10 000 kor för 1 ynka MW!

Fast att sänka fjärrvärmenätets temperatur för att direkt kunna använda vatten från superdatorer känns inte realistiskt. Sänker du temperaturen måste du öka flödet för att då samma effekt vilket i sin tur ökar tryckfallen. Eller så behöver du designa om värmeväxlarna ute i husen vilket inte heller är realistiskt. Typiskt ligger ju framledningstemperaturen på 90-120 grader och returtemperaturen runt 40 grader.

Ett stort problem med spillvärme är att det är mer eller mindre oanvändbart om det håller för låg temperatur. En värmeström på 100 MW som håller 25 grader är mer eller mindre oanvändbar medan en värmeström på 1 MW vid 100 grader är betydligt mer lättanvänd.

Enklast är att använda utluften från datorn och använda den direkt för uppvärmning utan att blanda in fjärrvärmenätet fast sen är ju problemet hur man gör på sommaren när vi inte behöver spillvärmen till uppvärmning längre.

Nej precis, därav "bygga om fjärrvärmesystemet". Troligtvis är den ekonomiska lösningen större rördiamater, i alla fall i stamledningarna. Sen om det är ekonomiskt eller inte beror ju på en massa faktorer som energikostnad etc. Men teoretiskt om en stad har 2-300 MW serverfarm kan det helt plötsligt bli intressant att anpassa sitt nät efter det då det typ är "gratisenergi", särskillt i en framtid där energi är dyrare.

Sen får vi väll se, hela världen förutom Norden och enstaka amerikanska städer använder fortfarande inte spillvärme, även om de har hundratals MW de skulle kunna utnyttja bara den ekonomiska viljan fanns

Skickades från m.sweclockers.com

Visst finns det men RDMA börjar komma över Ethernet från fler leverantörer också. MPI är ju bara en sak du kan göra över RDMA vid sidan av ett gäng andra även om resten främst verkar röra lagring.

Det räcker inte med stammnätet, du måste även dimensionera om värmesystemet hos alla kunder. I dag sitter det en plattvärmeväxlare där som är dimensionerad för en viss inlopstemperatur i förhållande till värmebehovet i fastigheten. Sänker du inloppshastigheten måste du bygga en större värmeväxlare för att överföra samma effekt. Vad har du för temperatur i utgående luft från en serverhall? 30-40 grader max? Det är inte direkt användbart i fjärrvärmenätet för det är ju under temperaturen du vill ha i radiatorerna ute i fastigheterna. Lätt att värmeväxla upp till 50 grader på den kalla sidan om du har 100 grader på den varma. Mycket jobbigare om du bara har 50 grader på den varma sidan. Det gäller så klart även uppvärmningen. Det blir en enorm värmeväxlare för att föra över så mycket energi från luft till vatten med så låga temperaturskillnader. Ska du realistiskt blanda in en serverhall i fjärrvärmesystemet få du slänga in en värmepump också så du får upp en användbar temperatur.

Här i Göteborg står en av världens största värmepumpar. Den byggdes i början av 80-talet då el var billigt. Tanken var att man skulle minska behovet av olja. Den plockar energi från avlopsvatten som håller 10-15 grader vilket sedan pumpas upp till 80-90 grader. Den används för att förvärma fjärrvärmereturen som håller 50-70 grader. De fyra kompressorerna drar mellan 4,5 och 16,5 MW styck och totalt ger den 80-150 MW värme. Den används idag bara för att ta topplasten när det är kallt på vintern för den är så dyr att köra. Här tyvärr ingen bättre bild på skönheten än den här.

Det röda är kompressorerna, det blåa är motorn och till höger ser du en anställd på verket som storleksreferens. Så i praktiken är en värmepump inte heller direkt användbart i skalan du pratar om för det blir snabbt väldigt dyrt.

Banhof använder för övrigt en värmepump för att öka temperaturen på sin spillvärme upp till 65-70 grader för att det ska vara användbart. Så hög temperatur vill du inte ha i kylslingan i servrarna. Telia använder också värmepumpar när de värmer upp Campus Konradsberg. En enklare och billigare lösning för mindre installationer är att helt enkelt använda utluften rakt av för att värma lokaler. Men då behöver serverhallen ligga i samma byggnad mer eller mindre. De som redan har vattenkylning kan ju använda det för att förvärma ingående vatten till varmvattenberedare relativt enkelt om man tittar på stor skala.

Sen är det ju det där med värmebehov också. Det är inte så lätt som du tror att hitta ett behov för 200 MW lågvärdig värme.

Jag är fullt med på det resonemanget bara så du vet ^^. Det borde dock gå att köra vattenkylningssystem på servrarna med vattentemp på 70 grader. Kunde en verkstadsnybörjare fräsa ett block i alu som fixar kyla en CPU med 60 gradigt vatten skall nog proffs med fingrejer kunna fixa 70. Har för mig att jag läst om just det applicerat någonstans på internet, vet dock inte var.

70 grader så börjar vi närma oss praktiakt användbara temperaturer. Jag hoppas verkligen det forskas mer på detta för det är mycket energi som försvinner till ingen nytta!

Skickades från m.sweclockers.com

Edit: Annars om man inte vet vad man skall göra av sin lågvärdiga spillvärme kan man alltid inspireras av smedjebackens kommun!
Smedjebackens tempererat bad

Du har helt rätt, har missat att man tagit fram ett gäng standards för att kunna erbjuda tillförlitlig leverans av Ethernet ramar utan hjälp från högre lager, något som är ett krav för RDMA. Detta är framtaget av en arbetsgrupp med namnet "Converged Enhanced Ethernet (CEE)". Tydligen har ändå InfiniBand lite fördelar i form av (för tillfället i alla fall) ha lägre latens genom switchar, men det är ingen jätteskillnad så detta kommer väl ner till vet vanliga: vilken teknik är billigast.

Klart det går. Det är inga som helst problem rent tekniskt men man vill inte köra så höga temperaturer i kylslingan i en dator för då ligger du väldigt nära gränsen för vad processorerna klarar. Det brukar vara ett par graders skillnad mellan CPU-kärnans temperatur och vattnets. Då har du inte så stora marginaler längre, speciellt inte om du börjar tappa flöde för då lär grejerna stänga av sig omedelbart. Du får också rätt stora förluster i ledningarna om du kör så varmt vatten i små rör. Du har inte så mycket plats att isolera direkt. Intel har för övrigt specat en maximal temperatur på IHS för deras Xeon på 73 grader.

Andra intressanta användningsområden är växthus. Såg två exempel. Ett ställe i Frankrike lät luften från datacentret gå ut till en stor inglasad terrass utanför byggnaden där de då kunde ha en del roliga växter och behaglig temperatur året om. Trevligt för de anställda. Någon annan, minns inte vem, flyttade ett beräkningskluster till en botanisk trädgård så att varmluften gick till att värma upp ett av deras växthus vilket sparade dem massa pengar. Så tänker man lite utanför lådan går det att hitta ställen att dumpa lågvärdig värme på men det är ingen universallösning tyvärr.

Ska du utnyttja värme så behöver du någon form av värmepump eller åtminstone ta den från kondensorn i luftkonditioneringen. Frikyla och liknande är mer intressant då det sänker strömförbrukningen. Då kan den sparade elen användas till värmepumpar i hemmen/kontoren istället, eller så bygger vi bara bättre så kan vi montera ner de flesta värmekällorna. Större serverhallar brukar vara enkla industrihus som ligger ödsligt eller bergrum och liknande. Bahnhofs hall Fortum tjatar om i reklamen ska värme 1000 lägenheter. Hem och kontor skulle kunna förbruka bara 20% av energin för uppvärmning till att börja med. Datorkraft må flytta från hemmen till serverar, men o andra sidan behövs väldigt lite tid för att nyttja de flesta tjänsterna och det är annat som kommer äta upp resurserna vi har att hushålla med.

Under 70°C är för lite för att använda till varmvatten för att duscha med och för lite att använda till konventionella värmekällor/radiatorer. Dessutom kan vi utnyttja solen ~8 månader i Sverige, och att t.ex. installera solfångare hade inneburit att elpatronerna, värmepumparna och eventuellt fjärrvärmeverken inte behöver gå så hårt vår, sommar och höst. I städerna är vi också ganska begränsade till de lokalerna som redan finns och få av dem är anpassade eller lämpliga till större serverhallar och det är nog få fastigheter det kan samlokaliseras med. De flesta lokaler behöver inte heller mycket tillskjuten värme om man bygger effektivt. Dessutom är elnäten betydligt mer otillförlitliga runt våra tre städer än uppe i Luleå och liknande. Planerna på kärnkraft i stadskärnorna och i utkanterna skrotades trotts allt. Det hela är lite av en kostnadsfråga, enklare att spara energi med frikyla och liknande, samtidigt är det ganska enkelt att bygga lågenergihus. Datacenter kommer tävla i lite mer kvantiserade saker som PUE och att driva kompressorer eller värmepumpar kommer öka den siffran om du räkna in det i anläggningen. Fläktar och cirkulationspumpar till värmeväxlare och ventilation kostar inte lika mycket energi. Kan en mindre anläggning sälja värme kanske det är plus/minus noll i den mån att det betalar för värmepumpar eller liknande. Efter man har effektiviserat de flesta typer av anläggningar finns det inte nödvändigtvis så mycket spillvärme kvar att använda externt.

Varmvatten temperatur har i över 10 år varit reglerat enligt lag och byggnormer till max 65'C, den som inte följer det och en olycka sker med för varmt vatten vid tappställe kan ligga risigt till.
Rekommendationen ligger på ca: 50'c vid tappstället, dusch inräknat!
Det kan även på vissa institutioner vara krav på ett tappvatten på max 38'c
http://www.effektiv.org/rapporter/Temarapport_2003_04.asp
finns rapporten att hämta ner, på sidan 7 hittas max temp, rekommenderad temp och min temp för vv.
Samt övrigt som nu verkar skena...
Diremtlänk till rapport i pdf: http://www.effektiv.org/pdf_filer/Tappvarmvatten.pdf

Som info så rekommenderas det för dom flest värmepumpar en max temp på 65'c då varje grads ökning sänker pumpens verkningsgrad (COP), kör man uppe en pump till 70'c (om det skulle gå) så närmar man sig COP 1 mycket snabbt. COP 1 är när innmatade elektrisk energi = utmatad värmeenergi.
Det har nästan ingen betydelse om det skulle vara en CO2 pump eller R403....
Normen EN14511 som kom 2004 som standardiserar beräkning och av uppmätning av COP faktorn i värmepumpar utgår från temperaturerna 0 °C från marken och 45 °C ut till radiatorerna för jordvärmepump.
Tidigare norm EN255 angav 0 °C från marken och 35 °C ut till radiatorerna, det ger givetvis ett högre COP värde varvid en del felaktigt fortfarande anger COP med den normen i syfte att öka försäljning och givetvis lura kund!
Värmefaktorn är helt beroende av temperaturskillnaden mellan det man tar värmen ifrån (tex mark eller luft) och det man avger värmen med (luft eller vatten). Med liten temperaturskillnad får man hög värmefaktor och med stor temperaturskillnad får man låg värmefaktor.

Sen att nyttja spillvärme från en större serverhall borde inte vara ett problem då man mycket väl skulle kunna förvärma ingående vatten med spillvärmen från hallen och därefter ge tillskottsvärme med ett då intilliggande värmeverk, är som ex. returvattnet håller 50'c och man kan värma det till 65'c med spillvärme innan det når värmeverket som sen kör upp resterande till 90~95'c i ett lågtrycksnät. Allt över 100'c är högtrycksnät som ställer helt andra krav på utrustning av säkerhetsaspekter, villket då blr dyrare i konstruktion, anläggning och givetvis även årlig drift.

95'c - 50'c = 45'c
95'c - 65'c = 30'c

30'c/45'c = 0,66 eller 2/3 vilket är det minskade effektbehovet.

jag har aldrig fattat varför man inte kyler med koldioxid. I en luft/vatten värmepump så förångar man koldioxid (eller freon om den är gammal) genom att ta värme ut utomhusluften. Om man istället satte förångaren direkt på cpu/gpu så skulle man ju kyla dem till minusgrader. Visst skulle det säkert bli lite kondensbekymmer men jag ser inga problem med att konstruera bort det. tex genom att montera cpu sockeln på baksidan av moderkortet i förhållande till alla andra komponenter.

Hmm...
Vad skrev jag?
en att nyttja spillvärme från en större serverhall borde inte vara ett problem då man mycket väl skulle kunna förvärma ingående vatten med spillvärmen från hallen och därefter ge tillskottsvärme med ett då intilliggande värmeverk, är som ex. returvattnet håller 50'c och man kan värma det till 65'c med spillvärme innan det når värmeverket som sen kör upp resterande till 90~95'c i ett lågtrycksnät. Allt över 100'c är högtrycksnät som ställer helt andra krav på utrustning av säkerhetsaspekter, villket då blr dyrare i konstruktion, anläggning och givetvis även årlig drift.

95'c - 50'c = 45'c
95'c - 65'c = 30'c

30'c/45'c = 0,66 eller 2/3 vilket är det minskade effektbehovet.

Förresten, hur kommer det sig då att en del fjärrvermeverk har fört in en straffavgift om utgående retur från konsument håller mer än +30'c.
Dom vill hålla returen så låg som möjligt då det ökar effektivitet och verkningsgrad!

För att det hade blivit väldigt dyrt med ett så stort system med trycksatt gas/vätska. De tjänar inget på att kyla ner processorerna till under nollan. Det leder bara till problem med kondens som kräver isolering vilket i sin tur kan leda till problem med kylning av andra komponenter. Sedan blir sådana värmepumpar snabbt väldigt väldigt stora. En vanlig värmepump för hemmabruk kan hantera några kW värme. Datorn i artikeln som är ett litet kluster drar 150 kW. Då har du helt plötsligt en värmepump som är större än klusteret och en fruktansvärd massa små rör och slangar överallt. Plus att med ett COP på 3 så skulle kylaren dra 50 kW bara den vilket inte riktigt är hållbart. Du får ju inte ut något av värde om allt du använder värmepumpen till är att kyla ner processorerna omotiverat mycket. De går inte automatiskt snabbare av att köras i minusgrader och flyttar man socklarna till andra sidan moderkortet blir hela bygget helt plötsligt mycket mycket större.

Det enda tekniskt vettiga sättet är att köra en loop med vätskekylning där man sedan använder en värmepump för att kyla vätskan.

Men vad ska du få 65°C vatten ifrån i en hall med frikyla?

Fjärrvärmenät består av högtrycks och lågtrycksnät. Ute vid kund är det lågtryck. Att de inte vill ha samma temperatur tillbaka är för att kunderna då inte hade använt någon energi och de måste köra nätet hårdare för att kunderna ska få någon värme, men det är bra mycket varmare än 30 grader i fjärrvärmenätet, sen är det stor skillnad på fastighetens returtemperatur och fjärrvärmenätets. Det är ju ett två-ledningssystem vi har så allt du skickar tillbaka är oanvänd energi. Prissättningen har ingenting att göra med vad fjärrvärmenätet i sig vid värmeverket har för returtemperatur utan är beroende av kunders medel.

Problemet är att du inte har någon spillvärme i en modern datorhall. Där har du inga kompressorer i klimatanläggningen och det finns ingen vits att installera värmepumpar för att ta värme från värmeväxlarna, den mesta värmen går ändå rätt ut i luften fast o andra sidan krävs det inte dyra driftkostnader.

Fast området Thomas pratar om är observerbart på precis samma sätt som allt annat som vi kallar observerbart till vardags.
Det kan förstås skapa lite förvirring att avståndet skapar en massiv fördröjning, och än mer förvirring när området mellan objekt och observatör har expanderat under tiden som ljuset färdats.
Vi kan observera hur det ser ut idag - om några miljarder år.