Forum Mjukvara Linux och övriga operativsystem Tråd

OS för klustring utav 20 st datorer?

Skriv svar
1 2 Sista
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001

OS för klustring utav 20 st datorer?

Denna tråd är en del utav min andra tråd: http://forum.sweclockers.com/showthread.php?threadid=152251
Hoppas inte moderatoterna har nått emot att jag delar upp frågorna såhär.

Iallafall.
Jag har planerat att klustra ihop 20 st datorer, eller ja 20 uppsättningar utav moderkort, cpu och minne.
Nu har jag en del frågor som jag skulle vilja ha besvarade.

Hur gör man när man skapar ett kluster?
Datorerna ska helst inte behöva ha hårddiskar.
Vilket OS lämpar sig bäst?
Behöver datorerna vara identiska?
Vad krävs utav datorerna för att de ska kunna ingå i ett kluster?

Några andra tips?

Hur strys klustret sedan?

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem
Registrerad
Jul 2001

http://www.beowulf.org/
http://www.mosix.org/

vad som finns tillgängligt beror ju på vad du har för hårdvara...
men eftersom linux är gratis är det något att arbeta ifrån..

vad har du tänkt räkna på? äckligt högupplösta fraktaler?

några länkar om du ska boota via nätverket:
http://www.ibiblio.org/pub/Linux/docs/HOWTO/other-formats/htm...
http://www.ibiblio.org/pub/Linux/docs/HOWTO/other-formats/htm...
http://www.linuxfromscratch.org/
●
Citera Svara
Trädvy Permalänk
Medlem
Plats
STHLM
Registrerad
Jul 2001

http://openmosix.sourceforge.net/

Datorerna behöver inte vara identiska, men det underlättar om det är någorlunda lika, så man kan kan köra med i686 optimeringar eller liknande på alla. (Tänkte då på linux kerneln och liknande, jobbigt att ha fler än en variant)

"..make the move over to a rackmount case, because rackmount cases get you chicks.."
-- Routermonkey
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av M31e
http://www.beowulf.org/
http://www.mosix.org/

vad som finns tillgängligt beror ju på vad du har för hårdvara...
men eftersom linux är gratis är det något att arbeta ifrån..

vad har du tänkt räkna på? äckligt högupplösta fraktaler?

några länkar om du ska boota via nätverket:
http://www.ibiblio.org/pub/Linux/docs/HOWTO/other-formats/htm...
http://www.ibiblio.org/pub/Linux/docs/HOWTO/other-formats/htm...
http://www.linuxfromscratch.org/

Jag hade tänkt att köra antingen en MySQL server på den, eller använda den som spelserver. Går det att göra?
Eller kan man bara köra program skrivna för kluster?

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av phreak
http://openmosix.sourceforge.net/

Datorerna behöver inte vara identiska, men det underlättar om det är någorlunda lika, så man kan kan köra med i686 optimeringar eller liknande på alla. (Tänkte då på linux kerneln och liknande, jobbigt att ha fler än en variant)

Alla är med 99% säkerhet Intel cpus, med lite variernade hastighet.

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Stockholm
Registrerad
Feb 2002

Nej du kan köra alla möjliga program dom behöver inte vara specialskrivna.
Det hela fungerar så att när en process når en viss procentuell upptagning av en maskin så emigrerar den till en annan maskin som hjälper ursprungsmaskinen(mainframe) att jobba av processen.

Det du i enkla drag behöver göra är att patcha en ren kernel med en clusterpatch som näms ovan (t ex mosix) och när detta är gjort så får du en ny meny i menuconfig, xconfig eller vad du nu använder där du kan välja specifika saker för just klustring.

Det kan dock tålas att nämnas att MOSIX är skrivit för Red Hat boxar och den mesta information som man får tag i är just skriven för Red Hat boxar.

En sida som http://openmosix.sourceforge.net/ är värd att besöka!

Lycka Till!

Senast redigerat

"People who invent random theories which only defend the vendor must have
been beaten as children. Beaten with sticks." - Theo de Raadt
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av Opteron
Nej du kan köra alla möjliga program dom behöver inte vara specialskrivna.
Det hela fungerar så att när en process når en viss procentuell upptagning av en maskin så emigrerar den till en annan maskin som hjälper ursprungsmaskinen(mainframe) att jobba av processen.

Det du i enkla drag behöver göra är att patcha en ren kernel med en clusterpatch som näms ovan (t ex mosix) och när detta är gjort så får du en ny meny i menuconfig, xconfig eller vad du nu använder där du kan välja specifika saker för just klustring.

Det kan dock tålas att nämnas att MOSIX är skrivit för Red Hat boxar och den mesta information som man får tag i är just skriven för Red Hat boxar.

En sida som http://openmosix.sourceforge.net/ är värd att besöka!

Lycka Till!

Så det är alltså fullt möjligt att köra en spelserver, eller webserver på detta MOSIX kluster?

Isåfall är det underbart.

När jag läste lite om beowulf så verkade det som om man var tvungen att ha specialskrivna program för det.

Går det att köra nodarna utan hårddiskar?
Eller bör man ha det, för enkelhetens skull?

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Hedersmedlem
Plats
Linköping
Registrerad
Jun 2001

Ja, du kan köra en spelserver, men du får ingen prestandavinst eftersom det mig veterligen inte finns någon spelserver som forkar till flera processer (som kan migrera i klustret). Alltså är den idéen rätt obra.

Packa film skulle du dock kunna göra, med lite trixande.

42
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av flaggzz
Ja, du kan köra en spelserver, men du får ingen prestandavinst eftersom det mig veterligen inte finns någon spelserver som forkar till flera processer (som kan migrera i klustret). Alltså är den idéen rätt obra.

Packa film skulle du dock kunna göra, med lite trixande.

"In a MOSIX cluster there is no need to modify or to link applications with any library, or even to assign processes to different nodes - MOSIX does it automatically, just fork and forget. "

Hmm...
Då kommer jag inte på nått nyttigt som klustret kan arbeta med då.
Är det samma sak med kluster som kör windows, att man behöver special program?

Vad är fork och hur funkar det?

EDIT:
Hittade detta på http://www.mosixcluster.com/faq.php#links

"What kind of applications are able to take advantage of openMosix technology?
Generally, any application that spawns multiple processes and does not use shared memory.
There is a List of openMosix applications contributed by users.

Examples -
molecular simulations - Eg. NAMD
intensive Artificial Intelligence engine - Eg. crafty chess
Game servers - Kraken Game Cluster"

Där står juh faktiskt spelserver med.

Senast redigerat

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Malmö
Registrerad
Jul 2001

Jo men det måste va ett multi-threading program..
t.ex om du tittar så har apache och mysqld många processer, dom kommer delas upp på maskinerna..

Men en spelserver e oftast en process bara...
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av maDa
Jo men det måste va ett multi-threading program..
t.ex om du tittar så har apache och mysqld många processer, dom kommer delas upp på maskinerna..

Men en spelserver e oftast en process bara...

Varken MySQL eller Apache skulle fungera i ett cluster, enligt denna lista: http://howto.ipng.be/openMosixWiki/index.php/don%27t

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem
Plats
Skövde
Registrerad
Mar 2003

Openmosix är enkelt att få igång iaf. Särskilt om ni väljer att köra Gentoo :]

Men du bör inse att det för vanligt folk är rätt svårt att hitta nån verklig nytta med ett cluster hemma. Vissa kompileringsarbeten går snabbare (gcc är bra på att tråda), men det gäller bara när varje fil som kompileras tar lång tid. Att kompilera linux-kärnan på ett openmosix-cluster är det t.ex. ingen nytta med då den består av en myriad små kodsnuttar.

Ett riktigt fleranvändarsystem, med minst ett par personer som var för sig pysslar med lite allt möjligt kan dock nyttja migreringen till fullo. Jag tänker mig lite olika kompileringar, shells, seti, rc5 osv som flyttas runt i jakt på bättre resurser.

Men vafan, jag tycker det är värt tiden att bygga ändå. Bara för att kunna säga att man gjort det :]

Senast redigerat

Athlon XP 1700+ @2.1GHz luft. MSI nForce2 512MiB. 340GiB. Gentoo
Athlon TBird 1.4GHz. MSI KT266A. 256MiB. 10GiB. WinXP :: Celeron 366 @ 550MHz. Abit BX6. 256MiB. 4GiB. OpenBSD
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av Axe_V3
Openmosix är enkelt att få igång iaf. Särskilt om ni väljer att köra Gentoo :]

Men du bör inse att det för vanligt folk är rätt svårt att hitta nån verklig nytta med ett cluster hemma. Vissa kompileringsarbeten går snabbare (gcc är bra på att tråda), men det gäller bara när varje fil som kompileras tar lång tid. Att kompilera linux-kärnan på ett openmosix-cluster är det t.ex. ingen nytta med då den består av en myriad små kodsnuttar.

Ett riktigt fleranvändarsystem, med minst ett par personer som var för sig pysslar med lite allt möjligt kan dock nyttja migreringen till fullo. Jag tänker mig lite olika kompileringar, shells, seti, rc5 osv som flyttas runt i jakt på bättre resurser.

Men vafan, jag tycker det är värt tiden att bygga ändå. Bara för att kunna säga att man gjort det :]

Jag ska inte bygga klustret hemma, utan i skolan.
Där finns juh alla sorters verktyg man skulle kunna behöva.

Det är inte meningen att clustret ska användas till nått meningsfullt heller, mest som en kul grej bara.

Tips på meningsfulla saker som klustret skulle kunna göra mottages gärna.
Det där Seti@home kanske skulle vara nått?

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem
Plats
STHLM
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av EyEr0n
Jag ska inte bygga klustret hemma, utan i skolan.
Där finns juh alla sorters verktyg man skulle kunna behöva.

Det är inte meningen att clustret ska användas till nått meningsfullt heller, mest som en kul grej bara.

Tips på meningsfulla saker som klustret skulle kunna göra mottages gärna.
Det där Seti@home kanske skulle vara nått?

Nej.
Seti är ju helt värdelöst. Så långsökt.
Då är det bättre att köra knäcka lite rc5, då kan ni vinna pengar dessutom.
www.distributed.net

"..make the move over to a rackmount case, because rackmount cases get you chicks.."
-- Routermonkey
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Stockholm
Registrerad
Feb 2002

Hehehe det finns ju faktist en massa roliga saker att göra med ett kluster! Men det coolaste är ju att ha byggt det och verkligen se det fungera!

Funderar på om man skulle kunna ha detta som specialarbete i 3:an. Skulle vara coolt o köpa in en hel drös med datorer från något företag som ska byta och seda klustra ihop dom och köra lite roliga saker på dom som t ex seti@home osv..

Aja bara en lite tanke från mig, men som sagt fantasin sätter gränserna...och i detta fallet även koden ibland :)....

"People who invent random theories which only defend the vendor must have
been beaten as children. Beaten with sticks." - Theo de Raadt
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Sthlm
Registrerad
Okt 2001

Tycker inte det låter så troligt att det skulle ge ngn stor prestandavinst med fler än 1-2 CPUer/datorer för spelservrar, men det skulle vara intressant o veta om det gjorde det, så testa gärna och skriv ur det gick här på swec sen

AK47s for everyone! - Angry mob
Since NaN /= NaN, I think, we should decipher 'NaN' as 'Not a NaN' - Miguel Mitrofanov
(Varför är människan så benägen att tro på Gud?) Antagligen har det lönat sig och evolutionen har drivit fram sådana hjärnor. - Anon
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av vb
Tycker inte det låter så troligt att det skulle ge ngn stor prestandavinst med fler än 1-2 CPUer/datorer för spelservrar, men det skulle vara intressant o veta om det gjorde det, så testa gärna och skriv ur det gick här på swec sen

Räkna med en massa bilder när det väl är klart.

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Hedersmedlem
Plats
Linköping
Registrerad
Jun 2001
Citat:

Ursprungligen inskrivet av maDa
Jo men det måste va ett multi-threading program..

Nej, inte multithreadat, men däremot ett program som använder fork(). Sen får ju inte programmet öppna sockets eller nåt sånt heller.

42
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Stockholm
Registrerad
Feb 2002

Hehehe kan meddela att jag fick openmosix att fungera på en nod .Kör som sagt Gentoo och det var busenkelt att installera det:

# emerge openmosix-sources
# emerge openmosix-user

Sen efter det så får man kompa om kärnan
Och sen så startar man tjänsten. Kan nämnas att jag kör med autodiscovery på noderna eftersom detta underlättar när man plockar in och ut noder ur nätet.

#/etc/init.d/openmosix start

För att se att allt fungerar

# /etc/init.d/openmosix status
 * status:  started
# showmap
My Node-Id: 0x0064
 
Base Node-Id Address          Count
------------ ---------------- -----
0x0064       192.168.0.100    1

"People who invent random theories which only defend the vendor must have
been beaten as children. Beaten with sticks." - Theo de Raadt
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av Opteron
Hehehe kan meddela att jag fick openmosix att fungera på en nod .Kör som sagt Gentoo och det var busenkelt att installera det:

# emerge openmosix-sources
# emerge openmosix-user

Sen efter det så får man kompa om kärnan
Och sen så startar man tjänsten. Kan nämnas att jag kör med autodiscovery på noderna eftersom detta underlättar när man plockar in och ut noder ur nätet.

#/etc/init.d/openmosix start

För att se att allt fungerar

# /etc/init.d/openmosix status
 * status:  started
# showmap
My Node-Id: 0x0064
 
Base Node-Id Address          Count
------------ ---------------- -----
0x0064       192.168.0.100    1

Nice.
Skulle du kunna lägga in en spelserver, typ hlds och kolla om den kan använda klustret?

Testa gärna MySQL och Apache oxå.

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
/root
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av Opteron
Hehehe det finns ju faktist en massa roliga saker att göra med ett kluster! Men det coolaste är ju att ha byggt det och verkligen se det fungera!

Funderar på om man skulle kunna ha detta som specialarbete i 3:an. Skulle vara coolt o köpa in en hel drös med datorer från något företag som ska byta och seda klustra ihop dom och köra lite roliga saker på dom som t ex seti@home osv..

Aja bara en lite tanke från mig, men som sagt fantasin sätter gränserna...och i detta fallet även koden ibland :)....

Jag och en polare ska sätta upp ett linux kluster som projektarbete i 3:an, ska bli kul o se om det fungerar och framförallt hur bra det fungerar

"to conquer others is to have power, to conquer yourself is to know the way"
Blogg / Browser/OS-sniffer
●
Citera Svara
Trädvy Permalänk
Hedersmedlem
Plats
Linköping
Registrerad
Jun 2001
Citat:

Ursprungligen inskrivet av EyEr0n
Nice.
Skulle du kunna lägga in en spelserver, typ hlds och kolla om den kan använda klustret?

Testa gärna MySQL och Apache oxå.

Måste göra dig besviken här, men hlds körs såvitt jag vet i en process enbart och kommer därför inte dra nytta av klustret.

Apache och MySQL använder shared memory och kommer därför inte heller migrera. http://howto.ipng.be/openMosixWiki/index.php/don%27t

Dock funkar vissa andra multitrådade program med openMosix, vilken är en uppdatering sen sist jag kollade.

42
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av flaggzz
Måste göra dig besviken här, men hlds körs såvitt jag vet i en process enbart och kommer därför inte dra nytta av klustret.

Apache och MySQL använder shared memory och kommer därför inte heller migrera. http://howto.ipng.be/openMosixWiki/index.php/don%27t

Dock funkar vissa andra multitrådade program med openMosix, vilken är en uppdatering sen sist jag kollade.

Men det som klustret gör är väll att dela upp prosesserna och skicka iväg delar utav dem till andra noder för beräkning?

Eller måste programmet vara kodat så, så att det delar på sig själv?

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Hedersmedlem
Plats
Linköping
Registrerad
Jun 2001

Programmet måste "dela" sig själv ja.

42
●
Citera Svara
Trädvy Permalänk
Medlem
Registrerad
Apr 2002

Med risk för att verka korkad har jag några frågor.

Det var för några år sedan som jag läste en artikel om cluster. Om jag inte minns helt fel så sa den artikeln att den långsammast datorn satte hastigheten på hela clustret, alltså alla processesorer sattes till att gå lika långsammt som den långsammaste. Stämmer det? På era inlägg låter det inte så...

Dom skulle sedan använda clustret på en arbetsplats. Där mindre "värda" anställda skulle få en dålig dator som dom kopplade till clustret som "hjälpte" till att köra datorn i tillräcklig hastighet (ordbehandling osv). Även detta verkar inte kunna stämma, eller?

Men det var ju några år sedan jag läste artikeln...
●
Citera Svara
Trädvy Permalänk
Medlem
Plats
Horn
Registrerad
Okt 2001

Om jag har fattat detta rätt, så bordet det gå att sätta upp tre st datorer av lägre rang, tex datorer byggda på ett via epia (pga dess lilla storlek), som arbetsstationer ute i ett kontor. Sedan sätta två st högpresterande burkar i ett annat rum och klustra hela skiten...

Skulle de tre skitdatorerna kunna jobba på fint som arbetsstationer då?

#312470 @ http://counter.li.org/
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av raniz
Om jag har fattat detta rätt, så bordet det gå att sätta upp tre st datorer av lägre rang, tex datorer byggda på ett via epia (pga dess lilla storlek), som arbetsstationer ute i ett kontor. Sedan sätta två st högpresterande burkar i ett annat rum och klustra hela skiten...

Skulle de tre skitdatorerna kunna jobba på fint som arbetsstationer då?

Du menar att de två högpresterande burkarna skulle göra arbetstationernas jobb?

Isåfall blir det väll en kombinerad kluster+terminal lösning.

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Stockholm
Registrerad
Feb 2002

Det hela fungerar ju såhär att säg att du sitter och jobbar på en av noderna och du sitter och rippar en cd....(lagligt vill säga) Då blir din dator väldigt ansträngd, det som sker då är att mosix kollar runt på dom andra noderna om det finns resurser att tillgå där. Om det nu gör det så emigrerar en process(forkning) dit för att avbelasta din dator.

Alltså kvittar det vilken dator du sitter på, för processerna emigrerar ju ändå till dom andra burkarna.

"People who invent random theories which only defend the vendor must have
been beaten as children. Beaten with sticks." - Theo de Raadt
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Krillehöla
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av Opteron
Det hela fungerar ju såhär att säg att du sitter och jobbar på en av noderna och du sitter och rippar en cd....(lagligt vill säga) Då blir din dator väldigt ansträngd, det som sker då är att mosix kollar runt på dom andra noderna om det finns resurser att tillgå där. Om det nu gör det så emigrerar en process(forkning) dit för att avbelasta din dator.

Alltså kvittar det vilken dator du sitter på, för processerna emigrerar ju ändå till dom andra burkarna.

Emigrerar hela prosessen så att en annan nod gör jobbet, eller hjälper de andra till att jobba på samma prosess fast en annan del utav den?

"Problemet med socialism är att till sist tar alla andras pengar slut" - Margaret Thatcher
●
Citera Svara
Trädvy Permalänk
Medlem ♥
Plats
Stockholm
Registrerad
Feb 2002
Citat:

Ursprungligen inskrivet av EyEr0n
Emigrerar hela prosessen så att en annan nod gör jobbet, eller hjälper de andra till att jobba på samma prosess fast en annan del utav den?

Nåt i den stilen, jag är dock inte helt säker på det....

"People who invent random theories which only defend the vendor must have
been beaten as children. Beaten with sticks." - Theo de Raadt
●
Citera Svara
Skriv svar
1 2 Sista
In English

Do you want to ask for a review, send us a press release or advertise? Don’t hesitate to contact the largest website about computer hardware in Sweden!

Annonsera

Vill du nå mer än 400 000 unika besökare i veckan som gillar datorer, teknik och hemelektronik? Kontakta vår mediasäljare
för mer information.

Kontakt

Tipsa redaktionen om en intressant produkt, önska ett test eller framför andra önskemål direkt till oss.

RSS

Håll dig uppdaterad med senaste nytt från SweClockers.com.

Copyright © 1999–2019 Geeks AB. Allt innehåll tillhör Geeks AB.
Citering är tillåten om källan anges.