JTH@folding! (joinar sweclockers)

Över jul och nyår har studenter (förhoppningsvis) lite julledigt och vi får en del utrustning stående på jobbet. Jag tänkte experimentera lite med folding@home, och eftersom jag är stamkund hos sweclockers tänkte jag joina sweclockers foldinglag.

Ni ser våra vikande arbetare i racket till höger. För tillfället 13 st Dell 1950 III. Tyvärr lite processorklena, 1.6 GHz quadcore xeon, 12 GB RAM och 2x146 GB SAS-disk i varje server. Tanken är att de ska stå dygnet runt fram till vårterminen. Varje server räknar dock för sig, känns inte som man tjänar något på klustring, men rätta mig om jag har fel..

Baksidan. Att dra kabel tar längre tid än man tror om det ska bli bra. Detta fick jag pyssla med nästan en hel dag. Tur att man får betalt dessutom... Varje server har 4 gig-nic, en gnutta överkapacitet för detta ändamål så vi nöjer oss med att använda ett.

Switch. 2 st Cisco 2950 48p, varav en fullkopplad. Det var ond om gig-portar i kopplilngsskåpet så det fick bli 100 MBit ut på nätet. Dock ingen större flaskhals i detta sammanhang.

Serverrummet som ni såg en del av på bild 1 hade inte strömkapacitet nog för att driva hela racket tillsammans med all annan utrustning vi har där. NÄr jag slog igång en fas till racket och sex av 13 servrar startade hördes ett ilsket pipande från UPSen. Så det blev flytt till "verkstaden" där vi lagrar diverse datordelar och improviserad kylning...

KVM-switch för kontroll av servrarna och en laptop för conf av switcharna, sen var det igång. Lämpligt nog dog pekplattan i KVM-switchen så det blir nog till att byta den efter nyår. Bak ser ni även en av effektmätarna (det finns en för varje fas). Dessa är nollställda och skall mäta elförbrukningen tills dess att jag tar ner servrarna för andra ändamål (studenterna har dem under terminerna). Priset per KWh är satt till 1.30 kr. Totalt drar racket ca 2.5 till 3 KW.

En av noderna är igång och resten skall startas imorron är det tänkt. Burkarna kör Linux och jag har inte experimenterat just något alls med fah än, bara startat själva binären. Om någon har tips på diverse optimeringar som kan göras så mottages tips tacksamt.

Nu är lite fler servrar på väg upp. Jag märkte att den jag satte upp igår endast körde på en kärna, och jag lyckades inte få den att jobba med fler kärnor, så jag gjorde ett försök med Windows 2003. Det gick bättre, några servrar står och tuggar 100% på alla fyra kärnorna nu.

Dock varnar Stanford för "more work, less smoothness" när man kör deras high performace clients. Jag kommer inte vara på jobbet under julen och kan inte kolla till maskinerna.

Brukar det strula mycket? Nån som har erfarenhet av det?

för linux krävdes 64 bitar för SMP, och den buggade tyvärr ur rejält. Jag fick inte installera GCC vilket jag ville ha för lite andra saker, dock fick jag inte installera glibc för paketet fanns helt enkelt inte... :S

Jag orkade inte bråka med det när jag märkte att det fungerade nästan rakt av i Windows (installerade windows installer och .NEt framework 2.0). Väntar med spänning på första WUn...

Lite fler bilder:

Effektmätare, visar effekt, pris och uptime. Tur att det inte går på min privata elräkning...

SMP! Woohoo!!

Detta är en bild från ett av våra labb. Datorerna, 20 st till antalet, är Core2 2.4 GHz, 4 GB RAM. Samtliga ska köra SMP-varianten är det tänkt. För tillfället är endast dessa två igång.

jasså minsann? Ska ge linux en chans till isf imorron...

Fick igång det nu i linux, alla fyra kärnorna går för fullt. Efter vad jag har läst så ger advmethods endast mer instabila jobb och kärver mer övervakning av servrarna, men ger det markant mer poäng också?

Jag kör FahCore_a2 utan att använda advmethods.

En liten fundering kring linux 64-bit VS Windows 2003 32bit:

En lätt jämföresle visar att windows gör 1% på ca 20 minuter, i linux tar det 45 minuter. Båsa jobben har 500.000 steps. Innebär det att Windows är snabbare eller kan man inte mäta så?

kanske inte, det verkar variera. Har installerat några servrar till och vissa verkar inte köra A2 per automatik. Lägger jag till advmethods blir det inte heller nån skillnad, men den måste antagligen göra klart WUn innan den hämtar ner en ny core.

EDIT:

Vet inte än... hur ser man det? All utrustning har inte gjort en WU än men inom nåt dygn bör det ha reggats lite poäng.

Jag kör med samma username på alla burkar för att få alla poäng samlade. Är det bättre att dela upp det? Ibland tycker jag att det inte händer något med poängen fast den är klar med något och skickar in det.

Jag kör under namnet "jth-node4" (från början tänkte jag ge varje nod eget namn, men ändrade mig och node4 hade redan jobbat igenom en WU ) Verkar som den foldat runt 13.000 poäng sen igår kväll. Jag ska ta en titt på fahmon och se om jag får fram nån PPD.

Jag får A2-core på alla mina linuxmaskiner utan att använda -advmethods. Hela racket är igång nu, tre maskiner kör windows 2003 32-bit och resten 64-bit Linux. Även core-2maskinerna kör 64-bit linux och smp-klienter.

Om jag har lite tur får vi rejäl förstärkning i form av 100st QuadroFX-kort! Exakt modell vet jag inte, men det är av det nyare slaget. Jag har inte tillgång till de maskinerna, men jag har pratat lite en som har tillgång till dem. Vore jäkla skoj om alla de också foldade över julhelgen!

Såg att vi kört om och tagit plats 34 i listan. Norge nästa!

EDIT: Fahmon ger runt 1200 PPD per burk, server som desktopdator. 33x1200=39600 PPD. Dock lyckades jag inte få in alla noder i samma fahmon-klient. Får kolla på det mer sen.

Ser nog lite mörkt ut tyvärr, har inte hört något från honom. Jag drog iväg ett SMS och frågade men har inte fått nåt svar.

Wine har aldrig vunnit några stabila poäng hos mig. Ett evigt fipplande med DLLer och när något väl fungerar är det sällan speciellt stabilt.

QuadroFX-korten verkar inte bli med denna gång, men i övrigt var ju detta ett rätt skoj projekt! Kollade till statistiken lite, runt 50.000 PPD och plats 254 efter typ fyra dagars foldande. När jag kommer tillbaka efter jul ska jag se om jag kan få in ALLA burkar i fahmon eller fahspy.

ah... en padawan!