Reportage: På besök bland Sveriges snabbaste superdatorer

Permalänk
Medlem
Skrivet av Sveklockarn:

Kan man komma och krama någon gammal Cray, eller har alla föråldrade system sålts/gått till återvinning?

Det finns även en Cray X-MP som gjorts om till bänk inne i C-huset på universitetet, men den står ganska öppet så bli inte allt för intim med den.

Permalänk
Medlem
Skrivet av Noop:

Vad kommer efter Volta och Ampere? Watt? Joule?

Förstår inte riktigt hur det är relevant till det jag skrev.

Det är klart att Ampere inte är Nvidias sista serie. Det kommer dock vara samma sak med kommande produkter att korten behöver gå till andra saker än till privatpersoner.

Permalänk
Medlem
Skrivet av perost:

Det finns även en Cray X-MP som gjorts om till bänk inne i C-huset på universitetet, men den står ganska öppet så bli inte allt för intim med den.

Riktigt så Cray-zy är jag inte, tror jag?

Gårdagens superdatorer såg snabbare ut! Tänker alltid på när man kollar på en mainframe i Fallout 2 och får meddelandet "A large super computer. Probably the fastest looking computer you've ever seen."

Permalänk
Medlem
Skrivet av Sveklockarn:

Riktigt så Cray-zy är jag inte, tror jag?

Gårdagens superdatorer såg snabbare ut! Tänker alltid på när man kollar på en mainframe i Fallout 2 och får meddelandet "A large super computer. Probably the fastest looking computer you've ever seen."

Om det är stil och utseende som prioriteras så tycker jag personligen det är svårt att slå en Parsytec GC. Bilden visar max-konfigurationen (byggdes aldrig). NSC har som jag nämde tidigare en men den var bara 1/8 av det ni ser på bilden (fyra kuber hög, två bred, en djup).

Permalänk
Medlem
Skrivet av perost:

Det finns även en Cray X-MP som gjorts om till bänk inne i C-huset på universitetet, men den står ganska öppet så bli inte allt för intim med den.

Cray X-MP:n har inte gjorts om. Den såg ut så inklusive sittdynor. Maskinen flyttade för flera år sen till nordöstra entrén på B-huset. Den har uppgraderats med ny vinyl på sittdynorna. Cray C90-skalet som länge stod i trapphuset i Kåkenhus på campus Norrköping har tyvärr gått till skrot. Det finns en Cray-1A någonstans i tekniska museets gömmor.

Permalänk
Medlem
Skrivet av PeterK_NSC:

Om det är stil och utseende som prioriteras så tycker jag personligen det är svårt att slå en Parsytec GC. Bilden visar max-konfigurationen (byggdes aldrig). NSC har som jag nämde tidigare en men den var bara 1/8 av det ni ser på bilden (fyra kuber hög, två bred, en djup).
http://www.geekdot.com/wp-content/uploads/2013/07/GC-4.jpg

Cray T90 var också en vacker maskin. Lite av ett altare. Det är bara att ställa dit ljusstakarna och bönekudden framför. (skåpet bakom är för kylutrustning med ett skvalande "saftkylarfönster".)
https://www.engabreen.se/wordpress/skw8da/uploads/2014/06/T916.jpg

Sen hade väl WOPR helt ok design.

Permalänk
Medlem
Skrivet av Noop:

Cray X-MP:n har inte gjorts om. Den såg ut så inklusive sittdynor.

Jo, jag var kanske lite otydlig, jag menade mer att den nu används för sina bänk-egenskaper snarare än dess beräkningskraft. Något dagens hårdvarudesigners kan ta lärdom av

Skrivet av Noop:

Maskinen flyttade för flera år sen till nordöstra entrén på B-huset. Den har uppgraderats med ny vinyl på sittdynorna.

Ok, det hade jag missat, det var några år sedan jag såg Cray:en och antog att den stod kvar där den "alltid" stått.

Permalänk
Medlem
Skrivet av perost:

Jo, jag var kanske lite otydlig, jag menade mer att den nu används för sina bänk-egenskaper snarare än dess beräkningskraft. Något dagens hårdvarudesigners kan ta lärdom av

Nu fattar jag varför det heter bench-marks.

Permalänk
Medlem

Vid en omstart av en sån här maskin, hur lång tid tar det?
Förstår att det inte är tänkt att startas om men 100% upptid är det inte många som klarar år efter år.
Otroligt snygg anläggning måste jag säga och det är kul när man även lägger lite på design även om den biten har noll betydelse för uppgiften maskinen ska utföra.

Permalänk
Medlem
Skrivet av Sveklockarn:

Nu fattar jag varför det heter bench-marks.

Vanligt missförstånd. Benchmark refererar dock till märket i bordsytan som bildas av att personen som försöker köra och/eller bygga programmet bankar huvudet emot det.

Permalänk
Medlem
Skrivet av Stefflo:

Vid en omstart av en sån här maskin, hur lång tid tar det?
Förstår att det inte är tänkt att startas om men 100% upptid är det inte många som klarar år efter år.
Otroligt snygg anläggning måste jag säga och det är kul när man även lägger lite på design även om den biten har noll betydelse för uppgiften maskinen ska utföra.

Lite bakgrund, en typisk superdator NSC driver är ett kluster (tiotals till tusentals servrar). Det "installerar" sig också typiskt vid boot.

För att starta om maskinen med tex. ny os-version gör vi helst en sk. rullande omstart. Dvs. noder startas om när tillfälle ges (mellan jobb). Denna typ av omstart kan ta en hel vecka men märks i princip inte om man är användare.

För att starta upp helheten från avstängt läge måste man ta det i olika steg. Ungefär grovt:

  1. Se till att el och kyla fungerar som det ska

  2. Starta systemserver (den maskin som styr och ställer). Tar som en vanlig server-boot, ~5 min

  3. Starta upp all nätverksutrustning och invänta att alla länkar kommer upp

  4. Starta igång relevant lagring. Detta är ofta ett eller flera egna system. Kan ta mellan 10 minuter och en dag beroende på strul..

  5. Starta beräkningsnoderna (och också login-noderna). Här kan hundratals noder vara på väg upp samtidigt. Tar kanske 30 min eller så på vårt största system.

De flesta (av våra) system använder ett image-baserat system som för distribution använder bittorrent för att skalbart få en image på ett par gig till ett par tusen noder.

Just Berzelius är lite annorlunda. Den har ganska få noder och lite avvikande konfiguration (installerar just nu inte om noder vid boot tex.)

Permalänk
Medlem
Skrivet av PeterK_NSC:

Lite bakgrund, en typisk superdator NSC driver är ett kluster (tiotals till tusentals servrar). Det "installerar" sig också typiskt vid boot.

För att starta om maskinen med tex. ny os-version gör vi helst en sk. rullande omstart. Dvs. noder startas om när tillfälle ges (mellan jobb). Denna typ av omstart kan ta en hel vecka men märks i princip inte om man är användare.

För att starta upp helheten från avstängt läge måste man ta det i olika steg. Ungefär grovt:

  1. Se till att el och kyla fungerar som det ska

  2. Starta systemserver (den maskin som styr och ställer). Tar som en vanlig server-boot, ~5 min

  3. Starta upp all nätverksutrustning och invänta att alla länkar kommer upp

  4. Starta igång relevant lagring. Detta är ofta ett eller flera egna system. Kan ta mellan 10 minuter och en dag beroende på strul..

  5. Starta beräkningsnoderna (och också login-noderna). Här kan hundratals noder vara på väg upp samtidigt. Tar kanske 30 min eller så på vårt största system.

De flesta (av våra) system använder ett image-baserat system som för distribution använder bittorrent för att skalbart få en image på ett par gig till ett par tusen noder.

Just Berzelius är lite annorlunda. Den har ganska få noder och lite avvikande konfiguration (installerar just nu inte om noder vid boot tex.)

Tackar för utförligt svar.

Permalänk
Medlem
Skrivet av Stefflo:

Vid en omstart av en sån här maskin, hur lång tid tar det?
Förstår att det inte är tänkt att startas om men 100% upptid är det inte många som klarar år efter år.
Otroligt snygg anläggning måste jag säga och det är kul när man även lägger lite på design även om den biten har noll betydelse för uppgiften maskinen ska utföra.

Bakplanet på en Cray 1 eller Cray X-MP bestod av partvinnade trådar. Tänk att du har en "rack-rad" av kretskort. Sen kröker du raden till en cirkulär form. Du får kortare avstånd på baksidan och sålunda kortare trådar. Längden på trådarna är viktigt här. Latencyprblem fixas genom att justera längder på trådar. Sen är ord-längden i dessa datorer 64 bit. Inga "bytes" existerar här. Många trådar blir'e. Utrustningen för vätskekyla och el (pumpar, transformatorer, etc) var tunga och placerades på golvet framför. Det blev "sittbänken". Grunden var en funktionell design. 19''-rack som AT&T etablerade för telekom-utrustning har aldrig varit varken bra eller passande för datorutrustning, speciellt inte för HPC. Hur kul är det att brottas med rails och knepiga rack-profiler som inte passar ihop?
https://www.digibarn.com/collections/systems/crays/cray1/portrait/DSC08221.JPG

Permalänk
Medlem
Skrivet av PeterK_NSC:

Vanligt missförstånd. Benchmark refererar dock till märket i bordsytan som bildas av att personen som försöker köra och/eller bygga programmet bankar huvudet emot det.

Är det märket i bordsytan eller märket i pannan som är "benchmark"?

Permalänk
Medlem
Skrivet av Noop:

Bakplanet på en Cray 1 eller Cray X-MP bestod av partvinnade trådar. Tänk att du har en "rack-rad" av kretskort. Sen kröker du raden till en cirkulär form. Du får kortare avstånd på baksidan och sålunda kortare trådar. Längden på trådarna är viktigt här. Latencyprblem fixas genom att justera längder på trådar. Sen är ord-längden i dessa datorer 64 bit. Inga "bytes" existerar här. Många trådar blir'e. Utrustningen för vätskekyla och el (pumpar, transformatorer, etc) var tunga och placerades på golvet framför. Det blev "sittbänken". Grunden var en funktionell design. 19''-rack som AT&T etablerade för telekom-utrustning har aldrig varit varken bra eller passande för datorutrustning, speciellt inte för HPC. Hur kul är det att brottas med rails och knepiga rack-profiler som inte passar ihop?
https://www.digibarn.com/collections/systems/crays/cray1/portrait/DSC08221.JPG

Jag trodde vid första anblicken bilden föreställde en höskulle med massa hö innan jag såg att det var tråd. Tyckte det kändes konstigt att visa en bild med hö. 😂😂😂
Har byggt elskåp tidigare och så där drog inte jag kablarna heller men vi hade inte fullt så många heller😀

Permalänk
Medlem
Skrivet av Noop:

Är det märket i bordsytan eller märket i pannan som är "benchmark"?

Ja.

Permalänk
Medlem
Skrivet av Stefflo:

Jag trodde vid första anblicken bilden föreställde en höskulle med massa hö innan jag såg att det var tråd. Tyckte det kändes konstigt att visa en bild med hö. 😂😂😂
Har byggt elskåp tidigare och så där drog inte jag kablarna heller men vi hade inte fullt så många heller😀

Ja, man kan ju börja undra varifrån uttrycket "haywire" kommer ifrån. Att försöka göra det ordnat och städat kunde lätt göra att överhörningen blev större. Framför allt skulle det tagit betydligt längre tid. Du måste tänka på det var inte många maskiner totalt. Cray sålde lite över 100 stycken Cray-1A. Men jag håller med, det är i paritet som att kabla allt i ett elskåp med blå EK.

Permalänk
Medlem
Skrivet av Noop:

Ja, man kan ju börja undra varifrån uttrycket "haywire" kommer ifrån. Att försöka göra det ordnat och städat kunde lätt göra att överhörningen blev större. Framför allt skulle det tagit betydligt längre tid. Du måste tänka på det var inte många maskiner totalt. Cray sålde lite över 100 stycken Cray-1A. Men jag håller med, det är i paritet som att kabla allt i ett elskåp med blå EK.

Det är så man gör, 24v ska vara blått men i elskåp är de iallafall märkta i båda ändar. 😀

Permalänk
Medlem
Skrivet av Stefflo:

Det är så man gör, 24v ska vara blått men i elskåp är de iallafall märkta i båda ändar. 😀

Det där med märkning av kablar är jag ganska luttrad av. Nuförtiden struntar helt hur märkningen ser ut bara att den är unik och densamma i båda ändarna av förbindelsen. Så att man klippa bort ändarna om den inte funkar.

24v. ok. Jag tänkte 400V när du sa elskåp. Det kittlar lite mer om man råkar koppla fel. NSCs UPS-anläggningar genererar redigt stora strömmar ner i jordspetten, så någon rimlig jordfelsbrytare är ganska omöjligt.

Permalänk
Medlem
Skrivet av Noop:

Det där med märkning av kablar är jag ganska luttrad av. Nuförtiden struntar helt hur märkningen ser ut bara att den är unik och densamma i båda ändarna av förbindelsen. Så att man klippa bort ändarna om den inte funkar.

24v. ok. Jag tänkte 400V när du sa elskåp. Det kittlar lite mer om man råkar koppla fel. NSCs UPS-anläggningar genererar redigt stora strömmar ner i jordspetten, så någon rimlig jordfelsbrytare är gsnsls omöjlig.

Styrskåp eller automationsskåp hade kanske varit mer rätt beteckning då det mer eller mindre bara innehåller en matning på 230v och sen resten 24v. Givetvis är det lite olika i olika skåp. 24v är ju inte så farligt om man inte tänker på all elektronik som kan gå åt pipan vid en kortslutning. Kan tänka mig att det blir lite mer power i anläggningen du tänker på.

Permalänk
Medlem
Skrivet av Noop:

24v. ok. Jag tänkte 400V när du sa elskåp. Det kittlar lite mer om man råkar koppla fel. NSCs UPS-anläggningar genererar redigt stora strömmar ner i jordspetten, så någon rimlig jordfelsbrytare är gsnsls omöjlig.

Vårat ställverk övervakar jordfel på många olika punkter. Det stämmer att UPS-system skapar lite kul jordströmmar (kring 10-20A i vårt fall med en total kapacitet på max 1200KW / 1700A).

Permalänk
Medlem
Skrivet av superegg:

Att använda forskning som ett smeknamn för att kunna testa AI mot samhället.

Jag använde ordet forskning i en ganska normal betydelse tycker jag.

På NSC finns alltså bara personal som hjälper användare att använda systemen. Våra användare är sen från olika lärosäten i Sverige (universitet och högskolor). För att få tillgång till våra system skriver dom en ansökan där dom beskriver den forskning dom sysslar med. Det är sen doktorander, post-docs, professorer etc. från de forskningsgrupperna som kör i princip vad dom vill (inom beskrivningen för sitt projekt och så länge de följer gällande regler).

Slutresultatet är vad nu de grupperna publicerar. Information om vilka grupper som kör vilka projekt på våra system är publik information (vi är del av universitetet och därmed del av staten). NSC är bland de minst hemliga ställen jag kan tänka mig

Hur föreställer du dig att "testande av AI mot samhället" ser ut?

Permalänk
Medlem

Hur mycket pengar förlorar man per minut om man inte använder datorn till något? Har datorn alltid jobb att utföra?

Permalänk
Medlem

Nä, dra på trissor!! Så vad ni säger nu är att det sitter nån, med stabila 60fps, i cyberpunk i 4K med raytracing DLSS på förstås? Nja, det vete tusan men runt 40fps borde de åtminstone få i nedförsbacke.

Permalänk
Medlem
Skrivet av Harddrive:

Hur mycket pengar förlorar man per minut om man inte använder datorn till något? Har datorn alltid jobb att utföra?

Först: NSC "förlorar" pengarna vare sig man använder systemet eller inte. Vi säljer inte tid på systemet. Det är fritt att använda för de som får tilldelad tid på systemet.

Systemet kommer inte alltid vara fullbelagt. Men när det är fullbelagt, är det heller inte tillgängligt med kort varsel. Tillgänglighet är ju ett värde i sig.

Ett sätt att se på det är väl att ta kostnaden för investeringen plus drift och slå ut det på livstiden. Nu har vi service och support på Berzelius på fyra år hittills så låt oss göra ett överslag på det: 150 mkr + ca 30 mkr på 4 år med 8760 timmar per år. Det ger 85.60 kr/minut. Men det blir helt fel att tänka så om du inte är ett företag som måste täcka kostnaden av sina investeringar.

För att utveckla din fråga lite längre: NSC är ständigt drivet av att generera ett så stort värde som möjligt av de pengar och medel NSC förfogar över efter de ramar som vår instruktion tillåter. På konto gör pengar ingen nytta. Vi installerar och underhåll system och utbildar och hjälper forskare att nyttja dessa system för att komma fram till storslagna forskningsresultat på alla sätt möjligt. Vi når inte alltid till den nivå vi själva vill men NSC har ett gott förtroende hos användare och partners.

Priset är det du betalar. Det kan du räkna i pengar. Värdet är det du får. Det kan du aldrig räkna i pengar.-

Permalänk
Forumledare

*Off topic raderat*