KTH bygger Sveriges snabbaste superdator

Permalänk
Medlem

Över 65000 kärnor? Ska man gissa på typ 65536?

Permalänk
Medlem
Skrivet av perost:

Med den informationen hittade jag denna KTH-sida som går in i mycket mer detalj gällande hårdvaran som kommer användas, och mycket riktigt kommer de använda en ännu ej färdigutvecklad AMD Instinct GPU. Intressant val, AMD har ju hårdvaran men deras mjukvara för GPGPU ligger ju inte riktigt på samma nivå som NVIDIA. Men AMD GPUerna kanske är så mycket billigare att det är värt det ändå.

Vad är de AMD ligger efter med på mjukvarunivå i superdator-sammanhang? Kan inte minnas att jag sett den diskussionen komma upp ofta men tidigare har ju problemet med AMD's kort varit just att de lagt för mycket tyngd på rå compute över specialiserad prestanda för spel. Är det alltså Cuda du tänker på? Antar att det är en lite annan skala på användning här än att bara kör basic cuda tasks...

Permalänk
Medlem
Skrivet av Shiprat:

Vad är de AMD ligger efter med på mjukvarunivå i superdator-sammanhang? Kan inte minnas att jag sett den diskussionen komma upp ofta men tidigare har ju problemet med AMD's kort varit just att de lagt för mycket tyngd på rå compute över specialiserad prestanda för spel. Är det alltså Cuda du tänker på? Antar att det är en lite annan skala på användning här än att bara kör basic cuda tasks...

Jo men mjukvarustödet som cuda har är inte att leka med, mycket lättare att göra saker med det, inte bara hårdvarans kapacitet som spelar roll

Permalänk
Medlem
Skrivet av Elfsberg:

Stabil miningrig.

Ja, undrar hur mycket megahasch den trycker ur sig?

Permalänk
Medlem
Skrivet av DasIch:

Ja, undrar hur mycket megahasch den trycker ur sig?

Megahasch trycker man i sig.

Permalänk
Medlem
Skrivet av Elfsberg:

Megahasch trycker man i sig.

Det kan man ju göra först efter CPU;n (Cannabis Processing Unit) fått jobba lite.

Permalänk
Medlem
Skrivet av Shiprat:

Vad är de AMD ligger efter med på mjukvarunivå i superdator-sammanhang? Kan inte minnas att jag sett den diskussionen komma upp ofta men tidigare har ju problemet med AMD's kort varit just att de lagt för mycket tyngd på rå compute över specialiserad prestanda för spel. Är det alltså Cuda du tänker på? Antar att det är en lite annan skala på användning här än att bara kör basic cuda tasks...

CUDA är de facto standard inom forskningsvärlden för GPGPU-tillämpningar, så det är en ganska stor grej att inte ha det. AMD har verktyg för att översätta CUDA-kod så att den går att köra via deras HIP-ramverk, men det blir inte lika enkelt eller bra som att bara köra CUDA rakt av.

NVIDIA drog ju igång CUDA redan med 8000-serien för 15 år sedan och har lagt stora resurser på att utveckla det genom åren, medan AMD mer har jobbat lite halvhjärtat på olika lösningar genom åren. Det är synd att AMD inte kunnat utmana NVIDIA mer på det området, då hade vi kanske haft en öppen standard som varit dominerande istället.

Permalänk
Medlem
Skrivet av medbor:

Jo men mjukvarustödet som cuda har är inte att leka med, mycket lättare att göra saker med det, inte bara hårdvarans kapacitet som spelar roll

Nu vet jag inte men jag skulle gissa att det är mindre relevant i fallet av en superdator, tvivlar på att det är en mainframe som servar windows 10 desktops liksom, isåfall är det svårt att se poängen.

Hela säljargumentet med CUDA har väl alltid varit i princip att ge konsumenter och professionella användare på en mindra skala tillgång till en enkel version av vad man gör med en superdator alltså generaliserad beräkningskraft.

Om en superdator nu begränsas av huruvida man har cuda eller inte så känns det ju inte som en "riktig" superdator. Vem som helst kan ju slänga ihop några rack av HPE och epyc men det blir inte en superdator för det. Lägger man pengar på en skräddarsydd lösning på den här skalan antar jag att man redan har kompetensen för att implementera och genomföra de uppgifter den ska användas till utan att binda sig till specifika mellanlager som CUDA. Antar och hoppas att KTH utbildar på en djupare nivå än att bara gå igenom hur man googlar fram något från github som kan köras med cuda/opencl

Jag vet inte som sagt definitivt hur det är men om någon vet får de gärna flika in- används superdatorer via CUDA osv?

Permalänk
Medlem
Skrivet av Shiprat:

Jag vet inte som sagt definitivt hur det är men om någon vet får de gärna flika in- används superdatorer via CUDA osv?

Ja, absolut. Du får tänka på att det faktiskt ofta är "vanliga" användare som använder den här typen av datorer, ofta genom ett batch-system där man skickar in jobb man vill köra och sen får tillbaka resultatet när det är klart.

Att koda "direkt mot metallen" kanske fungerar om man bygger en dator för att lösa en specifik uppgift och har hårdvara speciellt designad för uppgiften, men när det gäller superdatorer för mer generella beräkningar så är det t.ex. CUDA eller ROCm som gäller.

Permalänk
Medlem
Skrivet av perost:

CUDA är de facto standard inom forskningsvärlden för GPGPU-tillämpningar, så det är en ganska stor grej att inte ha det. AMD har verktyg för att översätta CUDA-kod så att den går att köra via deras HIP-ramverk, men det blir inte lika enkelt eller bra som att bara köra CUDA rakt av.

NVIDIA drog ju igång CUDA redan med 8000-serien för 15 år sedan och har lagt stora resurser på att utveckla det genom åren, medan AMD mer har jobbat lite halvhjärtat på olika lösningar genom åren. Det är synd att AMD inte kunnat utmana NVIDIA mer på det området, då hade vi kanske haft en öppen standard som varit dominerande istället.

Jo vet att det CUDA är de facto för GPGPU- detta är ju inte ett rent GPU kluster dock och OpenCL har väl gott om funktionalitet för både CPU och GPU.

Either way så köper man väl för vad man räknar sig behöva compute för- tvivlar på att de i rent oförstående råkade köpa Radeon Instinct iställer för CUDA på grund av någon entusiastisk fanboy-säljare som hoppade på dem vid HPE's butikshylla för superdatorer och sedan kommer sitta generade när de inser att det enda programmet de tänkte köra använder CUDA.

"Det är synd att AMD inte kunnat utmana NVIDIA mer på det området, då hade vi kanske haft en öppen standard som varit dominerande istället."

Well, låt oss hoppas att en del kunnande och ideer kommer ut ur KTH för att köras spevifikt med AMD då så kanske det rås bot på saken? Nu när AMD ändå kommer sitta i sveriges snabbaste superdator men på något sätt ändå är förevigt undermåligt trots det

EDIT:

Skrivet av perost:

Ja, absolut. Du får tänka på att det faktiskt ofta är "vanliga" användare som använder den här typen av datorer, ofta genom ett batch-system där man skickar in jobb man vill köra och sen får tillbaka resultatet när det är klart.

Att koda "direkt mot metallen" kanske fungerar om man bygger en dator för att lösa en specifik uppgift och har hårdvara speciellt designad för uppgiften, men när det gäller superdatorer för mer generella beräkningar så är det t.ex. CUDA eller ROCm som gäller.

Okej dum fråga kanske men vore det inte isåfall en fördel att köra något som är mer hårdvaruagnostiskt och låter en köra mot CPU och GPU i samma plattform?

Permalänk
Medlem

I vilket fall har Nvidia ännu ingen GPU med samma energieffektivitet som AMD pga tillverkningsnod, kanske spelar energiförbrukning också en roll?
GA100 är visserligen på 7nm men den är inte gjord för superdator kluster, utan för standalone AI-noder.

Permalänk
Medlem
Skrivet av Shiprat:

Okej dum fråga kanske men vore det inte isåfall en fördel att köra något som är mer hårdvaruagnostiskt och låter en köra mot CPU och GPU i samma plattform?

Absolut, men det har inte funnits någon sån lösning som varit riktigt bra tidigare, t.ex. OpenCL är krångligt att använda och presterar ofta sämre än CUDA. Intels oneAPI kanske kommer bli det i framtiden men är fortfarande relativt nytt.

Permalänk
Avstängd

Vad är syftet egentligen?

Permalänk
Medlem

Wow, det trodde jag aldrig skulle hända. Jag kommer ihåg för bara några år sedan att några där sa att de hade ett partnerskap med Intel och NVIDIA, och att många kurser med GPU-programmering var enbart i cuda och openGL. Med kännedom av dessa variabler så tänkte jag att det skulle fortsätta vara så.

Jag antar att jag hade fel? Men lika glad för det är jag, men gladast är nog AMD.

Under föreläsningen brukar det finnas en paus, och en av föreläsarna frågade under en HPC-kurs 2017 hur många som visste vad HBM var. Jag var en av de få som visste. Härnäst frågade han om vi visste vad Vulkan var för något, och jag var återigen en av de få som visste (DOOM 2016 ). Jag vet inte hur vi kom in på det, men han sa att cuda bara kunde köras på NVIDIA-GPU:er , varpå jag påpekade att det fanns en hyfsat ny sak som hette HIP för att konvertera cuda-kod så att den kunde köras på AMD-hårdvara. Han visste inte vad det var för något, men han gillade det inte iallafall.

Nu verkar det som de kommer att använda HIP och/eller ROCm.
Jag:

Permalänk
Medlem
Skrivet av jehuty:

Jag har ingen aning om hur man bygger en superdator. Är i princip serie bygger en massa i9 processorer och sli kopplar gpus? Eller är det på ett helt unikt sätt?

Defenitionen som står på Wikipedia...
"A supercomputer is a computer with a high level of performance as compared to a general-purpose computer."

En superdator kan egentligen byggas hur som helst och med vilka tekniker som helst. Vanliga processorer och gpuer eller specialanpassade saker. Servrar, datorer, mobiltelefoner. Ja, du kan egentligen använda vilka färdigbyggda enheter som helst. Dock kanske mobiltelefoner är lite väl obskyrt, men i teorin går det lika bra.

Permalänk
Medlem

När man läser pressreleaserna så finns det ledtrådar om hårdvaran t.ex " exascale-class systems".
AMD har i sina slides (roadmap) visat att Exascale är CDNA2 (Aldebaran).

Det är kul att se att AMD lyckas så väl med superdatorer där det vinns kontrakt efter kontrakt samtidigt är det tråkigt då produktkapaciteten är begränsad och superdatorer betalar bättre så blir det färre kretsar till privatpersoner.

Visst blir Dardel snabb men jämfört med vårt grannland Finlands LUMI så faller den i skuggan fast den är vassare än Norges Betzy

Permalänk
Medlem

Hade nog spelat cyberpunk på 1080p high settings.

Permalänk
Medlem

Går det att översätta vilken prestanda de gamla superdatorerna hade med dagens desktops?

Jag har ett enträget kämpande 980ti, ska enligt NVIDIA:s hemsida göra

FP64 (double) performance 189.4 GFLOPS

Nog för att utvecklingen går framåt, men motsvarar det kortet verkligen 76 ggr en superdator från -94?

Permalänk
Medlem
Skrivet av the squonk:

Är det? Har inte ett enda AMD grafikkort. Blev du förvirrad nu?

Egentligen inte. Tycker det är rätt så vanligt att AMD-fans gillar CPU-erna men håller sig till Nvidias GPU-er.

Jag har ju visserligen själv en Windows-logga som mest är på grund av nostalgiska skäl. Tillbringar mycket tid i Linux nu för tiden, så jag borde nog inte dra för många slutsatser av folks avatarer

Permalänk
Medlem

Tid att läsa en kurs igen, lite sido nörd info om gamla systemen.

För alla ni som sitter och vill leka med en best som denna. Här har ni kursen att börja med.

https://www.kth.se/student/kurser/kurs/FDD3258

Jag har varit in i hallen med både Beskow och Lindgren installerad. Det är häftiga lösningar där de bland annat hade löst med en egen variant av varmluft skorstenar för att transportera bort överskortsvärmen till en värmeväxlare om jag inte missminner mig. De gamla systemen hade också en lagom avsäkring då de drog om jag inte missminner mig runt 900kW och lagringen drog någon stans runt 200kW.

Ekman , men det är lite chansning vilken modell. Jag tror om jag inte missminner mig var byggd av R300 servar. Men någon sorts av fabric mellan sig. Kommer bara ihåg att de hade pallar med 1U servarar som skulle iväg för recycling när jag var där.

Beskow hade Opteron kärnor
Lindgren Xeon kärnor
Nu tillbaka med Amd med Epyc.

Permalänk
Medlem
Skrivet av CamperSeven:

Vad är syftet egentligen?

Står ju i artikeln:

"Främst kommer datorn att användas för tekniska och vetenskapliga beräkningar och simuleringar. Den innehåller både en CPU-del för de som vill köra vanliga program utan ändring samt en del med grafikprocessorer (GPU:er) för de användare som behöver extremt hög prestanda. "

"I sitt pressmeddelande lyfter KTH fram forskning inom biofysik, kvantkemi och flödesmekanik som områden där Dardel kan komma till nytta – men även AI-beräkningar väntas dra nytta av datorns GPU-kluster"

Permalänk
Medlem
Skrivet av Akerhage:

Står ju i artikeln:

"Främst kommer datorn att användas för tekniska och vetenskapliga beräkningar och simuleringar. Den innehåller både en CPU-del för de som vill köra vanliga program utan ändring samt en del med grafikprocessorer (GPU:er) för de användare som behöver extremt hög prestanda. "

"I sitt pressmeddelande lyfter KTH fram forskning inom biofysik, kvantkemi och flödesmekanik som områden där Dardel kan komma till nytta – men även AI-beräkningar väntas dra nytta av datorns GPU-kluster"

Jag vet inte hur det är med just denna, men andra liknande system i Sverige delas ju av forskare från hela landet. Så även en Chalmers-forskare kanske kan få köra ett jobb på Dardel om han ber snällt?

Permalänk
Medlem

Jag hade använt den för att kunna lösa problem på Project Euler, trots ineffektiv kod. Singeltrådat så klart, eftersom jag är en klåpare.

Permalänk
Medlem
Skrivet av Peterlund01:

Jag har varit in i hallen med både Beskow och Lindgren installerad. Det är häftiga lösningar där de bland annat hade löst med en egen variant av varmluft skorstenar för att transportera bort överskortsvärmen till en värmeväxlare om jag inte missminner mig. De gamla systemen hade också en lagom avsäkring då de drog om jag inte missminner mig runt 900kW och lagringen drog någon stans runt 200kW.

Ekman , men det är lite chansning vilken modell. Jag tror om jag inte missminner mig var byggd av R300 servar. Men någon sorts av fabric mellan sig. Kommer bara ihåg att de hade pallar med 1U servarar som skulle iväg för recycling när jag var där.

Beskow hade Opteron kärnor
Lindgren Xeon kärnor
Nu tillbaka med Amd med Epyc.

Tror du rörde ihop det lite nu.
Beskow är en Cray XC30 med Xeon
https://www.youtube.com/watch?v=tWcknwPG5g4
https://www.kth.se/aktuellt/nyheter/har-ar-kth-s-nya-superdat...
https://www.nersc.gov/assets/Uploads/CrayXC30PDCProductBrief....
https://www.archer.ac.uk/training/courses/craytools/pdf/archi...

Lindgren var en Cray XE6 med Opteron.
http://kth.diva-portal.org/smash/get/diva2:782633/FULLTEXT01....
Värmelösningen finns beskriven i länkad pdf.

Permalänk
Medlem
Skrivet av Nyhet:

Superdatorn Dardel byggs i två faser med färdigställandedatum i januari 2022 – med beräkningskapacitet om drygt tio petaflops.

Läs hela artikeln här

Om man skulle mina Ethereum på denna dator (och om den skulle bestå av seriekopplade GPU:er) så skulle man kunna få ca 5300usd per dag efter El.

10 petaflop = 10'000 teraflops, 10'000/ 12 (12tflop för en high end GPU som klarar 90hashrate) = 833st gpu's med 12tflop vardera.

90 * 833 = 74970 MH/s

(alla siffrorna är på ett ungefär, bara ett räkneexempel).

Permalänk
Medlem
Skrivet av eurythmech:

Jag hade använt den för att kunna lösa problem på Project Euler, trots ineffektiv kod. Singeltrådat så klart, eftersom jag är en klåpare.

Om det är en tröst, är i min erfarenhet den mesta koden som försöker vara intelligent också hopplöst svår att parallellisera.
Väldigt simplistiska antaganden med minimala databeroenden är idealiska och naturligtvis massor av ALU-cykler på pyttelite data för att inte vara helt minnessystembegränsad.

Den här typen av HPC datorer lever sitt eget liv, och pengainvesteringarna mycket politiskt drivna snarare än av applikationer.
Lite trubbigt uttryckt.