En superdator från grunden

Jörgen Städje levererar som vanligt.

Tack.

Mycket trevlig artikel! Måste dock använda på ett faktafel, i ett av de få områden i denna artikel där jag är lite halv-hemma.

Den kända delen av universum är ungefär 93 miljarder ljusår i diameter. Pga att expansion av rymd inte begränsas till ljusets hastighet (eftersom vi inte pratar om rörelse genom rymd) så kan saker växa utan hastighetsgräns.

https://en.wikipedia.org/wiki/Observable_universe#Misconcepti...

Räcker nog precis för att köra AC:Unity i 60 fps @ 1080p.

Vi ska inte bry oss om det eftersom det blir bättre alltså?

Tänk om det kan bli ännu bättre fortare då? Jag tycker det är självklart att man ska tänka mer på miljön och hur vi kan göra för att inte påverka den så mycket som vi gör nu.

Ohhh.. gröna LEDs. Det måste vara en snabb dator!

Fast den observerbara delen av vårt universum är enbart 13.8Gly. Dess verkliga storlek är okänd, men vi kan inte observera något som är längre bort än vad ljuset har färdats på dessa 13.8Gyr. Inte direkt i alla fall.

Edit: Det kan ju argumenteras att "det kända universum" inefattar dagens storlek på allt vi kan se, då vi ser det som det såg ut för väldigt längesedan. Men tycker wikipedia-artikeln skriver fel, då det observerbara får väl ändå syfta på hur stor del av universum vi direkt kan observera.

MPI måste sitta ovanpå en lager som erbjuder multiplexing av olika session, d.v.s i OSI modellen ligger MPI ovanpå lager 4 (transportlagret). MPI förutsätter och tillförlitlig leverans av data.

TCP/IP erbjuder båda dessa egenskaper, så är fullt möjligt att köra MPI över Ethernet via TCP/IP. Om de protokoll du länkar till också erbjuder dessa egenskaper skulle de också kunna används.

I fallet InfiniBand så stödjer man redan i HW tillförlitlig leverans av data och multiplexing av sessioner, vilket då gör att färre CPU-cykler spenderas om man kör MPI ovanpå InfiniBand. Rent programmeringsmässigt är det samma API, man kör BSD-sockets i båda fallen men i InfiniBand fallet kan man köra SDP (Sockets Direct Protocol) så operativsystemet kan hoppa förbi transportlager som TCP. Och här är vinsten med InfiniBand, att helt gå förbi transportlagret (och eventuellt nätverkslagret) så att byta ut TCP mot något annat som hanteras av OS-kärnan och CPUn är ingen större vinst.

Har inte tillräckligt med kunskap om InfiniBand för att säga om man även kan gå förbi nätverkslagret (IPv4/IPv6), rent logiskt kör man i alla fall fortfarande med IP-adresser men sett en del slides där det ser ut som själva protokollhanteringen av IP inte behöver ske på OSet, så det kanske händer i InfiniBand-HW?

Edit: från artikeln sidan 4
"Anledningen till detta är att TCP/IP är ett så omfattande protokoll att latensen för att få fram ett paket är i storleksordningen millisekunder, medan det handlar om tider under en mikrosekund för MPI."
TCP/IP har högre latens, men det är inte alls den skillnad som står här. Utan att försöka minimera latens och med "billiga" 10Gbit/s Ethernet-kort är en mer realistisk latens 10µs. Fortfarande ca en tiopotens högre än InfiniBand (latensen skalar inte alls linjärt med bandbredd, är något lägre på 40/100Gbit/s men fortfarande i samma härad som 10Gbit/s). Här är i.o.f.s en punkt där Linux är helt överlägsen Windows, men tvivlar på att Windows är så pass mycket sämre att det blir hela millisekunder i latens.

Som referens (väldigt ungefärligt, är mest tiopotensen som är viktig här)
access mot L2-cache: ~3-4ns
access mot L3-cache (vilket då också är nivån på latens för att kommunicera mellan kärnor i "Core" CPUer): ~10ns
access mot lokalt RAM: ~30-50ns
access mot icke-lokalt RAM via QPI (vilket då också är nivån på latens för att kommunicera mellan CPU-sockets): ~100-150ns
InfiniBand: ~700ns
Ethernet: ~10000ns

AMD's kommande cpu'er med staplade minnen har ju helt klart potential att bli kung i HPC land. (Men vi får väl se huruvida det blir så.) I vilket fall som helst så verkar ju staplade minnen på cpu'n vara helt rätt väg att gå för HPC iallafall.

Känns ju lite som att dagens arkitektur har nått sin ände dock. Det kommer att behövas något annat sätt att hantera processerna. 5% verkningsgrad är ju ganska illa.