Hårdvaruraid vs ZFS, på hemmabygge?

Permalänk
Medlem

Nej, isådana fall var inte frågan tydlig nog

Ska nog låta någon annan svara på det då - men jag vill ju tro att ZFS kör med COD (Configuration On Disk) så att det inte spelar någon roll vilken port eller till o med kontroller disken är tillkopplad sålänge systemet kan se den - även om ZFS inte har full COD har ju varje disk ett serienummer/GUID som kan användas för identifiering så det bör ju fungera ändå. Men prova vetja

Visa signatur

[Geek, Dad, Programmer, RC enthusiast, Technology evangelist]

Permalänk
Medlem

Att prova är alltid bästa sättet - har tyvärr inga lediga labbdiskar just nu.

Har någon sett (på webben) info om felsökning, felräddning av ZFS-RAIDar? Förr eller senare hamnar man i katastrofsituationer då det strular och vill isf veta hur man analyserar/återställer.

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av ronnylov
Anledningen att han prompt ville använda raidkontrollern var att den hade lysdioder som indikerade vilken disk som var trasig i hotswap-kasetterna. Själv har jag tagit frysetiketter och klistrat intill hårddiskplatserna så att jag vet vilken som är vilken och då är det ju lätt att hitta den felande disken med zpool status.

Ah fan, jag tänkte inte på det. Jag måste ju ta reda på vilken disk som heter vad. Tänk om Solaris säger att disk c0t5d0 kraschat, vilken disk är det? Jag måste alltså koppla loss en disk och starta upp raidet och se vilken disk det är som fattas. Sen upprepa för varje disk. Du har inga smartare förslag?

Citat:

Ursprungligen inskrivet av ronnylov
Verkar mycket intressant det här med boot environments, som en sorts återställningspunkter. Men hur funkar det om man bootar i en sådan boot environment och gör diverse ändringar, sparas dessa ändringar i denna befintliga bootmiljön? Om man vill ha en "oförstörd" ursprungsmiljö att kunna falla tillbaka till kan man göra den read-only eller hur bör man gå tillväga? Kanske kopiera ursprungsmiljön och boota på kopian och därifrån göra ändringarna kan jag tänka mig.

Som jag har förstått det, så låses allting. Alltså, sann versionshantering på bitnivå. Typ som SVN eller CVS, fast för varje filsystem.

Antag du vill utvärdera 2 olika patchar. Då kan du göra snapshot på current state (dvs opatchat tillstånd) och installera patch 1. Sen vid omboot kan du välja att starta från 2 snapshots: opatchade tillståndet eller från patch 1. Så du startar från opatchat tillstånd och installerar patch 2 istället. Så vid omstart kan du nu välja att boota från current state eller patch1 eller patch2. Och om du inte är nöjd med varken patch1 eller patch2, så kan du förstöra dem och du är tillbaka till det opatchade tillståndet. Eller, så kan du låta de båda snapshotsen ligga kvar, och aldrig använda dem.

POÄNGEN, är att det opatchade tillståndet är identiskt som tidigare, trots alla installationer och ändringar. Inte en enda bit har ändrats.

Jfr med Windows systemåterställningar, du sparar ett tillstånd och gör en misslyckad patch och gör rollback. Men då har Windows skrivit överallt, kanske även i registret, och det kanske inte funkar att göra rollback, det kanske inte funkar att undo exakt alla ändringar i registret, det kanske blir kvar massa klägg.

Med ZFS snapshots inträffar detta aldrig, eftersom ZFS aldrig ändrar nånting på en gammal snapshot. ZFS KAN inte ändra nånting på en gammal snapshot, eftersom ZFS följer Sarbanes Oxley standarden som förbjuder ändring av gammal backup - vilket används i finansbranschen. För annars kan man gå tillbaka och undo aktieaffärer i loggarna, typ. Så fort du gör en snapshot, så blir den automatiskt read-only. Men du vill ju skriva och ändra saker, så alla skrivningar/ändringar sker automatiskt på ett helt nytt filsystem som skapas automatiskt. Och du kan göra snapshot på denna. Och då skapas ett nytt filsystem, som du kan göra snapshot på. etc. Allt detta sker i bakgrunden så fort du skapar en snapshot. Du märker ingenting, att det skapas nya filsystem och sånt i bakgrunden. Det sker ögonblickligen. ZFS håller själv reda på vilka filsystem den ska läsa ifrån, och vilka den ska skriva till.

Så du kan alltså ha massa olika snapshots, dvs Boot Environments och boota från vilken du vill. Det blir som ett helt träd av snapshots. Och strular nånting, så bootar du bara från den gamla snapshoten - som är helt oförändrad. Det verkar precis som du aldrig gjort några ändringar alls, ingenting är ändrat. Varenda bit är identisk med tidigare tidpunkt. Får du virus, så gör du bara rollback samt förstör snapshoten och viruset är helt borta från ZFS. Totalt borta. Inga bits finns kvar.

Faktum är att man kan uppdatera en annan snapshot än den som är igång just nu om du kör virtuella maskiner, och när du patchat klart den andra snapshoten så startar du bara om den virtuella maskinen och är direkt igång med den nya snapshoten. Så du kan alltså patcha med downtime på någon sekund. Detta ger grymma revolutionerande möjligheter som aldrig funnits tidigare.

Skapa en kopia av en virtuell maskin som är färdigtestad och set up, experimentera på kopian och när du är klar, switcha över den gamla virtuella maskinen som körs, till denna nya kopia, utan att användarna knappt märker det. Det finns beskrivet hur man gör en SAP uppgradering utan att användarna nästan märker det. Det enda som händer är att användarna kopplas ifrån så de måste koppla upp igen + att IP adressen ändras.
http://www.sun.com/third-party/global/sap/solutions/mdt_featu...

Solaris har grymma virtuella maskiner sedan länge. Det enklaste är att ge användarna full root access, och de kan inte veta om de är i en zon eller i den riktiga maskinen. Sätt cpu och RAM quota som du vill. Och IP adresser hur du vill. Zones är ganska enkla att jobba med, inte lika enkla som ZFS dock.

Vore kul att höra lite hur Boot Environments funkar. Om du provar, kan du väl skriva lite här? De finns inte på min solaris dist jag kör.

Jookeer,
Om vi pratar om ZFS så spelar det ingen roll var du har diskarna. Du kan flytta diskarna fritt, mellan SATA kort och mellan moderkort fram och tillbaka, utan problem. Huller om buller. Inga problem. Precis som Emigrating12 misstänkte.

Angående felräddning om ZFS, så finns det knappt. Om du inte betalat support för OpenSolaris. Som tydligen kostar typ 2000kr/år eller nåt sånt. Vet inte. Jag har hört att Solaris är billigare än Red Hat, dock.

Kort sagt, du vill inte att det ska gå fel med ZFS. Undvik.

ZFS har massa felräddningsfunktioner och sånt, men det är bara ZFS experter som kan det. Typ. Det finns inga program som räddar ZFS åt dig. Frågar du ZFS experterna, så får du några mysko kommandon du ska skriva in, tillbaka. Och sen funkar det. Typ.

Men det är därför jag tycker man ska prova ZFS riktigt ordentligt så man inte fuckar upp nåt, för då har man förlorat sina data - om du inte betalar. Så innan du gör något, lär dig ZFS riktigt ordentligt. Skyll inte på mig om det går snett. Det vill jag inte ha på mitt samvete. Berätta här vad du tänker göra så kanske vi kan se om du gör något galet?

Permalänk
Medlem

Nej, asså, jag tänker inte skylla på nån om/när det strular. Därför frågar jag INNAN, så man vet vad man ger sig in på. Don't u worry!

Hur gör ni själva då? Har ni supportavtal eller hoppas ni och håller tummarna att allt skall funka perfa intill jordens undergång, eller backar ni allt som skållade troll?

Kanske finns nåt forum för ZFS där amatörer med tunna plånböcker hjälper varann?

Permalänk
Avstängd

Jag håller tummarna.

Jag hoppas det ska mycket till innan man får rejäla ZFS problem. Och jag tror att om man kan ZFS bra, så minskar man chansen att man skriver in något kommando man inte ska skriva in. Det är bäst att vara ordentligt påläst, så slipper man det mesta av strulet. Det finns alltid Solaris forum där man oftast kan få hjälp om nåt strular. Men det är inte 100% att man får hjälp.

Hur gör du Ronnylov?

Permalänk
Medlem

Angående att hitta en felande disk - har ZFS inte något locate kommando? På min LSI controller, om f.ex. disk 31 som sitter direkt på kontrollern felar, kan jag köra -pdlocate -start -physdrv[--:31] -a1 så blinkar den drive lampan för just den disken (om man har en LED för varje drive vill säga).

Har man inte riktiga drive enclosures blir det ju lite värre såklart och då får man ta till med fryslappar o dylikt

Supportavtal - har jag faktiskt med Dell i ett år till för den ena webserver'n. So far har jag aldrig varken bett om eller fått någon support av dem

Annars har både Supermicro, Chenbro och LSI (som är mina whitebox HW leverandörer) mycket bra mailsupport. Senast i natt skickade jag iväg mail till alla tre ang. en SAS Expander fråga och fick svar ifrån alla inom 2 timmar. 3Ware har liknande tider. Jag vill räkna med att Sun också ställer upp om man mailar dem fint.

Visa signatur

[Geek, Dad, Programmer, RC enthusiast, Technology evangelist]

Permalänk
Avstängd

Jag känner inte till något locate kommando och tror inte det finns. Men det är en bra ide. Jag ska framföra den till ZFS utvecklarna. Tack för att du berättade det!

Jag har inga riktiga enclosures. Alla diskar är inne i mitt chassi. Och kablarna är elegant dragna så det är bra luftflöde, mao är det mycket jobb att lägga tillbaka diskarna igen så man blir nöjd.

Jag tror inte du ska räkna med att SUN ställer upp om du mailar dem fint. Du har betalat för dina HW raid kort. Du betalar inte SUN nånting. OpenSolaris är gratis och fritt. (Det står i licensen att man inte får använda OpenSolaris till kommersiellt bruk, men det är bara att strunta i det - det är ett sätt för SUN att slippa stämningar om nåt strular för gratis nedladdare). Varför ska ett företag lägga arbetstimmar på support ärenden utan att få nånting betalt? Min chef gillar inte när jag gör så. Jag måste ta betalt hela tiden, chefen blir skogstokig annars.

Men det är klart, betalar du, så är det en helt annan femma. SUN har ju mycket bra support. Enterprise OS erbjuder riktigt vass support. Fast det finns mycket kunnigt folk bland deras forum. Och dokumentationen är riktigt bra.

En snubbe berättade att han betalade RedHats dyra support och varje gång han hade nån svårare fråga bollades frågan fram och tillbaka utan något vettigt svar. Det visade sig att RedHat, typ, bara paketerar ihop andras kod och kan inte svara på svåra frågor, självklart har de några utvecklare men inga tunga såna. Sen jfrde han med SUNs support, där är det utvecklarna själva som svarar på svåra frågor och man får full information man behöver. Och det snabbt, därtill. Det var stor skillnad. Tyckte han.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av saddam
Ah fan, jag tänkte inte på det. Jag måste ju ta reda på vilken disk som heter vad. Tänk om Solaris säger att disk c0t5d0 kraschat, vilken disk är det? Jag måste alltså koppla loss en disk och starta upp raidet och se vilken disk det är som fattas. Sen upprepa för varje disk. Du har inga smartare förslag?

Jag använde kommandot format efter varje disk jag kopplade in bara för att se vad den heter, och tryckte Ctrl-C när jag fått upp listan på vilka diskar som fanns. Markerade med en klisteretikett på det interna hårddiskracket.

Med zpool status kan man se namnen på alla diskar som ingår i den aktuella poolen. Om man gör "zpool export tank" avmonteras ju raiden och sedan kam man väl kolla från det virtuella filsystemet. Sedan kan man lista diskarna med format tror jag även om de inte är monterade. Så koppla in en disk i taget och verifiera vad den heter med format (avbryt utan att göra ändringar på disken) och markera SATA-sladdar och korddiskar så du vet vilken som är vilken. När allt är klart - koppla in allihopa och gör "zpool import tank". Visst det är lite bök men jag tänkte att jag ville ha full kontroll så jag inte gör några misstag när någon hårddisk havererar. Jag har även testat att koppla ur en hårddisk i min aktiva rpool och starta upp med bara en av hårddiskarna och med zpool status verifierat att jag får upp vilken som inte fungerar och det funkar bra. Jag har även verifierat att jag kan boota på vilken som helst av mina speglade OS-diskar när den andra är urkopplad. Jag vill som sagt ha lite koll på detta...

Citat:

Ursprungligen inskrivet av saddam

Hur gör du Ronnylov?

Jag håller också tummarna! Ärligt talat håller jag fortfarande på att testar och lär mig. Försöker hitta hjälpen via google, forum och liknande. Har inte börjat använda min raidz för seriös lagring ännu. Men tanken är att filservern med ZFS ska användas just för säkerhetskopiering av de övriga datorerna så är det viktiga filer kommer de även att lagras lokalt på klientdatorerna eller backupas till extern hårddisk. Bränner även en del DVD-skivor och kör även en del backuper via internet till en liten NAS hos en bekant.

Citat:

Ursprungligen inskrivet av saddam
Vore kul att höra lite hur Boot Environments funkar. Om du provar, kan du väl skriva lite här? De finns inte på min solaris dist jag kör.

Ja jag ska testa det. Jag kör mest servern via SSH så valen som kommer upp via GRUB syns inte i terminalen, men det bör väl gå att ändra "boot environment" via kommandoraden och sedan starta om servern.

Permalänk
Medlem

Slutsatser?

1. I RAID spelar det ingen roll om du råkar blanda ihop kablarna?

2. Märk dina diskar och håll ordning på vilken port varje disk sitter, använd format-kommandot för att identifiera diskarna/kablarna och "zpool status" för att kolla att spannade pooler hänger ihop som de skall?

3. Finns någon SMART-agent som lirar under OpenSolaris eller kommando?

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av jookeer
3. Finns någon SMART-agent som lirar under OpenSolaris eller kommando?

Hej Jookeer,

Kolla här: http://breden.org.uk/2008/05/16/home-fileserver-drive-temps/

Det är en beskrivning över "SmartmonTool" som här används för att hålla koll på temperaturen på diskarna.

/Calimero

Visa signatur

"ZFS - Practicing Safe Hex"

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av jookeer
Slutsatser?

1. I RAID spelar det ingen roll om du råkar blanda ihop kablarna?

2. Märk dina diskar och håll ordning på vilken port varje disk sitter, använd format-kommandot för att identifiera diskarna/kablarna och "zpool status" för att kolla att spannade pooler hänger ihop som de skall?

3. Finns någon SMART-agent som lirar under OpenSolaris eller kommando?

1. Precis. Jag har kopplat ur raidet från mitt SATA kort, och sen kopplat in sladdarna huller om buller, vissa sladdar har gått in till moderkortet istället för SATA kortet. Och allting funkar bra.

2. Precis. Du får en lista på din raid; c0t1d0 c0t2d0 c1t3d0 etc. Vilken disk är det som heter c0t2d0? Hur ska du veta? Det är bäst att reda på det. Det kan du göra med format kommandot, som listar alla diskar som Solaris ser för tillfället. Så koppla ur en disk, och lista alla diskar som Solaris ser. Så vet du vad den felande disken heter.

3. SMART och energispar och sånt, är inte vidare prioriterat till Enterprise OS tyvärr. Men det kommer till Solaris, i takt med att det sprider sig från de stora serverhallarna till desktop användarna.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av calimero
Hej Jookeer,

Kolla här: http://breden.org.uk/2008/05/16/home-fileserver-drive-temps/

Det är en beskrivning över "SmartmonTool" som här används för att hålla koll på temperaturen på diskarna.

/Calimero

Jättebra tips calimero, satt just själv och funderade på hur man skulle lägga in smartmontools i opensolaris. Med tanke på att jag tänkt ställa servern i ett ganska kallt garage så vill jag inte kyla diskarna för mycket.

Permalänk
Medlem

http://episteme.arstechnica.com/eve/forums/a/tpc/f/24609792/m...

Fast den kan ni väl utantill redan?

1. Funderar på 8*1TB WD GP nya fräscha - ZFS med Raidz1 eller Raidz2?

2. Läste en artikel där man varnar för datafel med stora arrayer med dagens TB-diskar - men det lär väl ZFS klara galant?

3. Har en del burkar i parken med 2*GBLAN NICar men använder bara en, får jag bättre throughput med 2? Ingen disk idagsläget klarar mer än ca 100MB/s men "pumpar" man på mellan 2 noder med flera diskar inblandade så kanske det kan ge en del?

4. Mysko med ZFS - man använder begreppet "filesystem" felaktigt isf för foldrar/mappar?

5. Tänkte rigga upp en Intel Atom 330 - Funkar den med OpenSolaris och finns det nån BitTorrent-klient som passar?

Permalänk
Medlem

Ja jag har kollat lite i den tråden och man kan få en del tips där.

1) Med 8 stycken 1 GB hårddiskar så skulle jag valt RAIDZ2.
Ju fler diskar i arrayen desto större risk att mer än en går sönder samtidigt och ju fler diskar desto mer data som kan förloras när den kraschar.
Själv kör jag 5 stycken WD GP 1TB i RAIDZ1 och det funkar bra men det känns som att hade jag haft fler än 5 diskar hade jag tagit RAIDZ2 istället.

ZFS kan reparera fel så länge som redundansen räcker till. Har man 8 diskar i RAIDZ1 så har man alltså lagringsyta motsvarande 7 diskar och redundans motsvarande 1 disk. Alltså finns det 1/7 extra data som kan användas för reparation. Men om mer är 1/7 av en fil blivit korrupt då går det inte längre att reparera den. Om man kör RAIDZ2 då har man lagringsutrymme motsvarande 6 diskar och extra redundans på 2 diskar. Alltså har man 1/3 extra redundant data som kan användas för reparation av trasig data.

2) RAIDZ1 och RAIDZ2 ska vara säkrare än RAID5 och RAID6 eftersom enskilda filer kan repareras med RAIDZ. Men man bör ändå inte ha alltför många diskar i en array med tanke på förklaringarna i 1) ovan.

3) Man kan ha multipla närverkskort i en förbindelse men det kräver att eventuell switch mellan datorerna också stödjer dessa funktioner. Jag har inte testat det (min switch stödjer inte det heller) men det bör ju kunna ge en del extra förutsatt att servern orkar med att pumpa data.

4) Man kan ha foldrar/mappar inuti ett ZFS filsystem så det verkar finnas skillnad ändå mellan filsystem och mapp. Man ska nog mera se ZFS filsystem som "en degklump" på¨hårddisken med gemensamma egenskaper. Skillnaden mot traditionella filsystem är att det inte behöver en egen partition på en disk för att kunna existera och att det kan växa obehindrat så länge det finns plats i den zpool det är skapat i (såvida man inte själv satt begränsning på max storlek i filsystemets egenskaper). Jag vet inte riktigt hur det ser ut fysiskt på hårddiskarna för ZFS sköter om det hela på en högre nivå.

Förutom filsystem kan man även skapa volymer i ZFS. En volym är som en virtuell hårddisk som man kan formattera med valfritt filsystem. T.ex. om man använder iSCSI så skapar man en volym som man delar ut på nätverket och denna utdelade volym kan jag montera i t.ex. min Windows Vista dator och formattera med NTFS på samma sätt som en lokal hårddisk. När den väl är formatterad kan man montera den även i andra datorer och komma åt filerna inuti volymen, precis som om man hade flyttat en fysisk hårddisk till en annan dator.

5) Jag vet inte hur Atom 330 och opensolaris går ihop. Det finns i alla fall bittorrent-klient till opensolaris, har för mig det var transmission. Bör väl gå att få in rtottent också men jag har inte testat. Jag använder nästan aldrig bittorrent.

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av jookeer
http://episteme.arstechnica.com/eve/forums/a/tpc/f/24609792/m...

Fast den kan ni väl utantill redan?

1. Funderar på 8*1TB WD GP nya fräscha - ZFS med Raidz1 eller Raidz2?

2. Läste en artikel där man varnar för datafel med stora arrayer med dagens TB-diskar - men det lär väl ZFS klara galant?

3. Har en del burkar i parken med 2*GBLAN NICar men använder bara en, får jag bättre throughput med 2? Ingen disk idagsläget klarar mer än ca 100MB/s men "pumpar" man på mellan 2 noder med flera diskar inblandade så kanske det kan ge en del?

4. Mysko med ZFS - man använder begreppet "filesystem" felaktigt isf för foldrar/mappar?

5. Tänkte rigga upp en Intel Atom 330 - Funkar den med OpenSolaris och finns det nån BitTorrent-klient som passar?

1. Raidz2 anser jag med. Du kommer att få en mycket bra säkerhet med denna konfig.

2. Det dom menar är att om du har jättemånga diskar, och varje disk har mycket liten risk att gå sönder, så är du inte vidare skyddad mot haverier trots att varje disk har mycket liten risk att gå sönder.

Om det är 0.1% risk att en disk går sönder och du har 1000st i en raid array, så kommer i snitt en gå sönder varje dag.

Risken är alltså stor att du även får två trasiga diskar samma dag. Det vore inte bra att köra raidz1 eller raid-5 med många diskar - därför att de klarar bara av att hantera en trasig disk. Har du många diskar så kan du få 2 trasiga diskar samma dag. Det är precis detta SUN pratar om när de rekommenderar att man inte kör raid-5 med 15 diskar.

SUNs erfarenheter i Enterprise företag med många diskar, visar att man bör satsa på hög redundans. Erfarenheterna visar att för bra säkerhet, så bör man satsa på mindre grupper av diskar med redundans i varje grupp - och slå ihop allting till en enda ZFS raid (dvs zpool). Då får man bra säkerhet, trots många diskar. Detta är att föredra framför en enda stor raid array - precis som du skriver.

Därför bör du köra raidz2 om du har många diskar. 8 diskar som du vill köra, är inte många, men de är flera än 5st. Det kanske är bäst med raidz2? Själv skulle jag göra det. ZFS Raidz2 ger mycket bra säkerhet.

3. Jag har läst nånstans att man kan köra med 2 st NIC samtidigt. Så, ja.

4. Ett filsystem motsvarar traditionellt i Unix/Linux en "partition i Windows". Se ett filsystem som C: eller D:. Traditionellt så är ett filsystem hårdkodat, dvs från sektor xxx till sektor yyy på disken. Precis som D: som ju från från en viss sektor till en annan sektor på disken. Så om du vill skapa ett nytt filsystem/partition i Windows måste du gå in med typ, fdisk, ange startsektor till slutsektor, och formatera din nya partition, så nu har du fått din splitter nya E: Och om du vill ha en ny volym F: så måste du partitionera disken igen och formatera på nytt. E: kan inte ändras i storlek, du måste partitionera om den om du vill ändra storleken.

Så där gör man i Unix/Linux och Windows. Antagligen även Mac OS X, m.fl. Alla dessa OS kör "gamla filsystem" (dvs UFS, NTFS, HFS, FAT, ext4, ...) där filsystemen/partitionerna är hårdkodade.

Men i ZFS så är ett filsystem/partition lite annorlunda. Den är inte hårdkodad i storlek, så den kan krympa och växa. Så C: är alltså precis så stor som du vill ha den. Stoppar du in mera data, så växer C:. Du kan sätta gränser på storleken.

Du skapar ett filsystem lika enkelt som du skapar en katalog. Dvs, ingen formatering behövs. Det är bara att skapa och kopiera data omedelbart. Så tanken är att varje användare ska ha ett eget filsystem. Ett universitet med 20.000 användare, ska ha ett filsystem för varje användare. Själv har jag ett filsystem som heter "Movies". Ett annat "MP3". "ISOimages". etc.

Snapshots kan endast göras på ett filsystem. Man kan inte göra snapshot på en katalog.

Om du flyttar en fil från katalog till katalog så går det omedelbart. Men flyttar du en fil från ett filsystem till ett annat filsystem, så kopieras hela filen. Du kan alltså inte flytta filer mellan C: och D:, utan att filen kopieras.

5. Intel Atom funkar med Solaris ja. Se till att välja 64 bits CPU. Jag tror inte du får så mycket tryck med Atom. Gissar på 60MB/sek överföringshastighet? Jag har inte en aning faktiskt. Hastigheten i ZFS beror ju på din CPU. Skaffar du snabbare dator, så stoppar du in diskarna där istället och får snabbare raid.
http://software.intel.com/en-us/blogs/2008/12/22/atom-support...
Själv tycker jag inte hastigheten är så extremt viktig. 60MB/sek räcker för mina behov - det är som en vanlig disk. Hellre att mina data är säkra. Det är topp prio nr 1. För mig.

Bittorrent klient finns till Solaris, så det borde finnas till OpenSolaris oxå.

RONNYLOV,
Rätta mig om jag har fel, men jag har fått intrycket att en Volym är helt enkelt ett vanligt filsystem? Antag att du har ett filsystem som heter "Movies". Och sen säger du att den filsystemet ska slå på iSCSI funktionalitet, nåt i stil med:
# zfs iSCSI=on Movies
eller nåt sånt.

Så en volym är bara en vanlig filsystem som du sagt åt kunna agera iSCSI? Är det inte så? Typ,
# zfs CIFS=on Movies
# zfs CIFS=off Movies

Eller har jag förstått det fel?

Permalänk
Medlem

Mig veterligen måste man dela ut en "zfs volume", alltså en "virtuell blockenhet" för att kunna använda utdelning med iscsi. En blockenhet är samma sak som ett lagringsmedia - t.ex. en hårddisk eller en diskett.

http://blogs.everycity.co.uk/alasdair/2008/11/solaris-as-an-i...
"We need a “block device” to export over iSCSI."

Står även lite här:
http://docs.sun.com/app/docs/doc/817-2271/gechv?a=view
"Using a ZFS Volume as a Solaris iSCSI Target"

# zfs create -V 2g tank/volumes/v2
skapar en zfs volym på 2 GB

# zfs set shareiscsi=on tank/volumes/v2
delar ut den som ett iscsi target

Sedan låter man klienten ansluta sig och formatera den virtuella blockenheten på samma sätt som pom det vore ett lokalt anslutet lagringsmedia. Man kan t.ex. formatera den med NTFS ifrån en windowsmaskin. Här finns det en risk om två olika klienter ansluter till samma iscsi target och försöker skriva till disken samtidigt då kan det bli korrupta data eftersom NTFS inte är ett klusterfilsystem. Därför bör man i så fall hindra detta t.ex. genom att begränsa att endast en specifik ip-adress får använda iscsi-enheten, alternativt kanske man kan dela ut den som read only efter att fyllt den med filer.

Permalänk
Avstängd

Ronnylov,

Ja då liknar det att skapa ett filsystem, men man lägger till "-V 2g". Annars är det ingen skillnad i syntaxen.

Skapa ett filsystem som heter "Movies" i ZFS raidet som heter "tank":
#zfs create tank/Movies

Skapa en volym:
#zfs create -V 2g tank/Movies

Där "-V 2g" betyder att Movies ska vara 2gb. Tack för klargörandet.

Här har vi lite SATA/SAS disk PCI-X och PCI-e kort som funkar till Solaris. Men de är ganska dyra tyvärr. För dyra för mig. Runt 3000kr är ju hutlöst dyrt. Jag vill ha ett billigt PCI-e kort utan raid funktionalitet. Attans att det ska vara så dyrt då.

"[All of these works in Solaris]
http://lsi.com/storage_home/products_home/host_bus_adapters/s...

http://lsi.com/storage_home/products_home/host_bus_adapters/s...

Almost all of these:

http://www.adaptec.com/en-US/products/Controllers/Hardware/sa...

How verified to you want? Sun actually ships Solaris with drivers for all those LSI cards, and most of those Adaptec cards. The "mpt" driver is used for the LSI cards, and the "aac" driver is used for the Adaptec cards.

As for other vendors, the HP 8-internal-port SAS HBA is actually an LSI SAS3080X. I've successfully flashed straight LSI firmware into them and used them under Solaris/Open Solaris. The IBM ServeRAID 8i is an Adaptec chip, and is identified by and runs fine with the Solaris "aac" driver."

Permalänk
Medlem

"Hej saddam!

En tanke slog mig. Skulle man inte kunna ge "raw disk access" till en solarisgäst i Virtualbox som du kör på din Windowshost. Och på denna solarisgäst aktiverar du CIFS så att den funkar som en virtuell filserver som du ansluter till med vanlig Windows fildelning. På så sätt får du direkt åtkomst till dina filer på RAIDZ-arrayen när du jobbar i Windows. Är detta möjligt tror du? Kanske är lite riskabelt att göra så men om det funkar vore det en smart lösning så du slipper mellanlagra på FAT32.

Funderar själv på om jag kan göra så på min Windows Vista arbetsmaskin. Min tanke är att nu när jag har en riktig filserver skulle jag kunna lagra allt på servern, men ta backuper mot mina klientdatorer. Vad vore då inte mest smidigt om man kunde utnyttja lite av det nu lediga diskutrymmet som backup-utrymme för filerna på servern och då vill man ju gärna ha ZFS även på backuperna..."

EDIT: (Inlägget flyttat från Linuxforumet eftersom saddam ville det, och här kommer ytterligare förklaringar hur jag menar)

Förklaring: Det finns en funktion i Virtualbox som tillåter rå diskåtkomst. Exempel finns beskrivet här:
http://blogs.sun.com/observatory/entry/triple_boot_part_4_acc...

I länken så lägger killen in Windows i virtualbox på sin solarismaskin men så vill han komma åt NTFS-diskarna inuti virtualbox. Då använder han funktionen "raw disk access" som alltså kopplar in hårddiskarna direkt mot virtualbox-gästen, alltså det virtuella windows han har. På så sätt kommer han åt sina NTFS-filer som han har i sitt dualboot-system utan att behöva dualboota. Ja detta kanske är en alternativ lösning för ditt problem att flytta filer större än 4 GB från Windows till Solaris.

Nu tänkte jag mig att man gör tvärtom. Alltså inuti Windows så lägger man in t.ex. OpenSolaris i Virtualbox. Du har ju redan dina filer på en RAIDZ-array i dun dualboot-dator om jag fattat dina inlägg rätt. Om nu virtualbox har "raw disk access" så bör man ju kunna ge det vituella solarissystemet direktåtkomst till den redan existerande RAIDZ-arrayen som du har. Virtualbox har även en funktion som gör att den virtuella datorn kan dyka upp som en maskin på nätverket hos värdsystemet (alltså windowsnätverket) så att det ser ut som en riktig nätverksansluten dator. Om du då aktiverar utdelning via CIFS i din virtualbox-gäst - alltså det virtuella solaris, då har du skapat en "virtuell ZFS NAS" som har åtkomst till dina verkliga hårddiskar. När du då är bootad i Windows så mappar du upp en nätverksenhet till din ZFS-RAIDZ array och tjoho, nu kan du flytta filer till din RAIDZ-array som om de hade funnits på en filserver, men i själva verket flyttar du till din RAIDZ i lokala datorn.

Nu har jag ingen aning om vad prestandan på en sådan lösning är, men det är ju ett sätt att kunna använda ZFS lokalt i sin Windowsdator utan att behöva bygga en filserver som kör på sidan om. Du har istället virtualiserat servern men använder vanliga hårddiskar för lagringen i din dator.

Som jag antytt och även som länken visar kan man alltså göra tvärtom, vilket kanske känns säkrare så du slipper "messa" med din RAIDZ-array virtuellt. Du lägger alltså in Windows virtualiserat i Virtualbox med solaris som värdsystem. I ditt virtuella windows ger du "raw access" till din NTFS-disk. När din verkliga NTFS-disk är "monterad" i ditt virtuella Windows så delar du ut disken på nätverket och dessutom så fixar du så att din virtuella maskin i virtualbox blir synlig på nätverket i din solarishost. Anslut sedan med CIFS-klient i solaris till din virtuella windows-server. Alltså montera den i solaris så att du kan kopiera från NTFS-disken till din RAIDZ array.

Jag har alltså beskrivit två olika alternativ för att koppla ihop windows-disk med ZFS-disk i en dualboot-setup utan att behöva boota om till ditt andra OS.

Det jag själv funderar på är följande: Jag har 3 stycken 640GB-diskar i min windowsmaskin. Lägger jag över lagringen till min riktiga filserver så kan jag frigöra utrymmet på diskarna. Jag behöver nog inte mer än max 100 GB på varje disk för att kunna jobba effektivt i Windows (med videoredigering mellan två diskar och OS på den tredje). Så jag tänkte att då kan jag fixa 3 stycken tomma 540GB-partitioner. Lägg in virtualbox och en opensolarisgäst som får raw access till dessa lediga partitioner så kan jag skapa en RAIDZ i ZFS även på min windowsmaskin och göra en virtuell filserver med ca 1 GB lagringsutrymme i RAIDZ1 (jag vet att man får krångla med partitionering men det bör vara möjligt). Då kan jag starta upp denna virtuella filserver för att köra backuper på viktiga filer från den verkliga filservern och ändå få "tryggheten med ZFS" även på min backup.

(Annars kan man förstås köpa en vanlig extern hårddisk för backup men det är inte lika roligt).

Permalänk
Medlem

Tänkte bara sticka emellan med erfarenheter från Intel Atom 330 D945GCLF2.

OpenSolaris LiveCD valde 64bit - alla "device" fick drivrutiner tilldelade.

Så långt ser det lovande ut - sedan är ju frågan hur mycket ZFS-funktionalitet man får med 2 PATA och 2 SATA. En 3 diskars RaidZ1 kanske?

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av jookeer
Tänkte bara sticka emellan med erfarenheter från Intel Atom 330 D945GCLF2.

Hej Jookeer,

Vad har du för chassi till din Atom??

//Calimero

Visa signatur

"ZFS - Practicing Safe Hex"

Permalänk
Avstängd

Ronnylov,
Ok, du menar att jag kan köra VirtualBox genom att boota direkt från min WinXP partition. Jag installerar alltså inte WinXP i VirtualBox. Jag låter istället VB boota direkt från WinXP partitionen. Och nu kan jag koppla WinXP i VB och Solaris, genom CIFS. Och på sätt kan jag komma åt min WinXP partition. Cool ide. Jag visste inte att man kunde låta VB boota direkt från disken. Jag trodde man var tvungen att installera WinXP. Jag ska titta på denna lösning. Tack!

Angående dina 3 st 640GB diskar, så ja, det går att göra som du menar. Du formaterar varje 640 GB disk till 100GB NTFS och 540GB ZFS. Och med dessa 3 st 540 GB diskar kan du skapa ett ZFS raid. Detta ska funka. Dock gillar inte ZFS partitioner, ZFS vill helst ha hela disken för sig själv, har jag läst på flera ställen. Möjligen blir det inte en lika smidig lösning som, om du kör ZFS på hela diskarna. Dock tror jag det blir mycket bra.

Och jag håller med dig, att köpa en extern disk är inte alls lika roligt. Det är ju kul att mecka med ett riktigt ServerOS och se vad för coola funktioner det finns. Och vilka lösningar man kan komma på. Själv kan jag inte släppa tanken på att adda en SSD disk som ZFS cache och komma upp i riktigt riktigt sjuka IOPS, som jag precis pratat om i Linux forumets "OpenSolaris är här" tråd (jag tror inte man kommer upp i en kvarts miljon IOPS på sin hemma server, dock). Därför att ett ZFS raid kommer upp i hyfsade hastigheter. Problemet är dock svarstiden kanske? Har man 10 diskar, så ska alla diskar koordineras och det tar tid föreställer jag mig. Men jag bara gissar och vet inte. Har man istället addat en SSD disk som cache, så försvinner latencyn. 10 diskar ger kanske 600MB/sek men taskig latency. Adderar man en SSD disk så kan latencyn minska ända ned till 0.055 millisekunder, enligt länken i "OpenSolaris" tråden. Det vore lite shysst. 600MB/sek och med söktider på 55 miljondels sekunder. Och sen kör man iSCSI och kan då ladda Crysis riktigt riktigt snabbt i WinXP.

Jookeer,
Det ska nog fungera utmärkt med 3 diskars raidz1. Här finns en tutorial för ZFS:
http://blogs.sun.com/observatory/entry/a_hands_on_introductio...

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av calimero
Hej Jookeer,

Vad har du för chassi till din Atom??

//Calimero

Hej Calimero!

1. Har beställt en sån här:

http://www.webhallen.com/prod.php?id=94031

Skall du ha PSU-adapter (12V ut) med kretskortstransformator (12V in) kostar detta en tusing på ebay. Så chassit i ovanstående länk kostar 600:- och då kommer 100W PSU med på köpet.

2. Den lilla skitfläkten på NB låter, så då tänkte jag byta till en sån här:

http://www.webhallen.com/prod.php?id=19571

3. 2 GB RAM är max, så då blev det en sån här:

http://www.webhallen.com/prod.php?id=82862

Kostnad Atom "server":

Mobo med CPU (ink GBLAN): 1000:-
NB Kylare: 50:-
Chassi ink PSU: 600:-
2 GB RAM: 200:-
Disk: Tog en överbliven från hyllan

Knappt 2kSEK exkl disk

Drar ca 35-45 W ink 1 disk

Energispar: 24/7 i ett år ~ 1 kSEK, så efter 2 år går man med "vinst"

NB (90nm) drar 3-4 ggr mer än CPU'n (45nm), detta kommer Intel att fixa med nästa NB.

Troligen kommer nästa generation att ha minst 4 SATA.
Dagens Atom är ingen HTPC, SB (130 nm) klarar inte 1080p men det tror jag nästa generation (hösten 2009) gör med inbyggd HW codec och HDMI.
AMD och nVidia är oxå "på hugget" vilket främjar utvecklingen/konkurrensen och rimliga priser på energisnåla små datorer. Det ligger i tiden med små energisnåla burkar, det kommer att bli stort. Företag med 1000-tals+ PC-klienter kan få ner energikostnaden 40-60% - det gillar ekonomichefen och det vet tillverkarna. Win-win. En annan trend är integrerad CPU+GPU med delad flyttalsberäkning vilket främjar kretsstorleken och energikostnaden.

En Atombaserad Notebook kostar några tusingar till ink mus, tangentbord, skärm, kamera, wifi men liten disk(SSD) men det är ett annat koncept.

En hembyggd Atom blir knappast större men mer flexibel och nuförtiden har de flesta bekanta LAN, mus, tangentbord och skärm som du kan koppla in din Atom på och med remote desktop (VNC) behöver du inte lokalt ansluten mus, tangentbord och skärm. Så det blir enkelt att byta semesterfilmer med varandra. Win-win.

saddam: Tack för länk! Intressant. Jag har inte gett upp ZFS, har bara tagit en liten AtomPaus, hehe.

Permalänk
Medlem

saddam, jag menade inte att du skulle boota på din XP-partition med virtualbox. Detta kanske är möjligt i och för sig, men troligen ger det problem med drivrutiner och man kan sabba sin windowsinstallation.

Vad jag menade var att om man har en lagringspartition i NTFS som man vill läsa i Solaris så installerar man ett nytt WindowsXP inuti VirtualBox. Sedan monterar man den riktiga lagringsdisken med NTFS (den du lagrar på när du dualbootat till Windows) så att den blir direkt åtkomlig i det virtuella WinXP. Man delar ut denna lagringsdisk i det virtuella WinXP på nätverket. Dessutom ställer man in nätverksbryggning för VirtualBox så att det virtuella nätverket inuti Virtualbox sammankopplas med det riktiga nätverket du har din dator på.

Kolla länken: http://blogs.sun.com/observatory/entry/triple_boot_part_4_acc...
Jag menar att man ska göra precis som det står där, men med tillägget att dela ut NTFS-lagrings-disken på nätverket så den blir åtkomlig även från solaris. I ditt solarissystem (alltså ditt verkliga OS) så ansluter du till ditt windowsnätverk som du gjort tillgängligt från den virtuella windowsdatorn med solaris CIFS klient och den vägen kommer du nu åt din utdelade NTFS-disk.

Nackdelen är ju att det går åt en extra windowslicens. Det var därför jag var inne på att göra tvärtom. Alltså när du har dualbootat in i din verkliga Windows-installation så lägger du in virtuellt solaris och delar ut ZFS raiden på nätverket så att du kommer åt den från ditt Windows. Solaris är ju gratis så man slipper köpa ny OS-licens. Men nu är nackdelen att man är inne och meckar på det skarpa ZFS-raidet från en virtuell dator på en windowsvärd, vilket kanske inte känns så stabilt. Så jag skulle nog egentligen föredragit metoden med virtuell XP på ett verkligt solaris.

EDIT: Rättelse - det är faktiskt möjligt att boota sin existerande windowshårddisk med virtualbox, men det kräver lite tweaking:
http://www.virtualbox.org/wiki/Migrate_Windows
http://forums.virtualbox.org/viewtopic.php?t=9697
http://ubuntuforums.org/showthread.php?t=769883

Permalänk
Medlem

Atomen dog - snyft.
Blev bara kvarkar, leptoner, mesoner, elektroner, neutroner och protoner av hela biddevitten.

Ändrade några saker i BIOS - varefter den vägrar boota, BIOSbugg. Blir RMA på den.

Åter till OS/ZFS:

Dualboot/multiboot med XP, OpenSolaris på samma systemdisk, ej VirtualBox?

Tips på hur man bör göra? Vilken ordning, partitionering, poolning, bootloader mm.?

Permalänk
Avstängd

Lite tråkigt att din Atom gick sönder. Nåja, du får väl en ny får vi hoppas.

Jag har 500GB opartitionerad systemdisk. Jag installerade WinXP först i en 100GB partition. Resten opartitionerad. Sen installerade jag Solaris i 100GB. Sist startade jag WinXP och partitionerade återstoden till FAT32 och NTFS. Solaris kan läsa FAT32 utan problem, och har vissa problem med NTFS - t.ex. kan Solaris läsa typ 5 MB/sek, för mig. Med FAT32 blir överföringshastigheten typ 20MB/sek, för mig.

Därför gjorde jag en FAT32 partition - för att kunna utbyta filer mellan Solaris och WinXP utan problem. Dock klarar inte FAT32 stora filer >4GB, så därför skapade jag en NTFS partition också.

När du väl har OpenSolaris igång, så kan du leka ganska friskt. Det gör inget om du sabbar OpenSolaris installationen. Det är busenkelt att reparera med snapshots, så är alla dina ändringar "undone". Ingen ominstallation krävs:
http://www.utropicmedia.net/blog/zfs-boot-saves-the-day

Permalänk
Medlem

För länge sedan (tidigt 2.6) så satte jag upp SW raid i Linux och då var det mycket viktigt att man inte använde hela disken för sin raid partition utan lämnade några hundra MB ledigt. Detta för att det är olika storlekar på "1TB" diskar hos olika fabrikat och man vil ju inte hamna i ett läge där man behöver en speciell disk för att kunna återställa sitt raid efter ett avbrott.

Hur fixar man detta i ZFS? Är det ett problem, eller finns det en lösning?

Lurkat här en god stund, men nu blev det dax att hoppa in i leken.

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av beh
För länge sedan (tidigt 2.6) så satte jag upp SW raid i Linux och då var det mycket viktigt att man inte använde hela disken för sin raid partition utan lämnade några hundra MB ledigt. Detta för att det är olika storlekar på "1TB" diskar hos olika fabrikat och man vil ju inte hamna i ett läge där man behöver en speciell disk för att kunna återställa sitt raid efter ett avbrott.

Hur fixar man detta i ZFS? Är det ett problem, eller finns det en lösning?

Lurkat här en god stund, men nu blev det dax att hoppa in i leken.

Jag har hört om det problemet. Men jag har aldrig sett några bloggar eller folk diskutera detta problem i forum. Jag har aldrig sett någon drabbas av det, och jag läser ganska mycket om ZFS.

Alla kör alltid hela disken, utan att avdela några hundra MB ledigt. Jag tror inte det är något problem.

PS. Är du en Lurker som i Starcraft? Ju fler vi är som kör ZFS, desto lättare är det att få hjälp. Det är nog bara bra om vi har andra än Ronnylov att fråga, när vi stöter på problem.

Permalänk
Medlem

Såg en blogg (minns inte vilken av alla) där nizzen hade olika storlekar och han räknade minsta gemensamma med C,H,S (Cylindrar, Headers, Sectors) för att alla skulle bli lika stora. Tycks vara viktigt.

Återkommer om och när jag hittar URL:en.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av jookeer
...
2. Läste en artikel där man varnar för datafel med stora arrayer med dagens TB-diskar - men det lär väl ZFS klara galant?
...

Citat:

Ursprungligen inskrivet av saddam
2. Det dom menar är att om du har jättemånga diskar, och varje disk har mycket liten risk att gå sönder, så är du inte vidare skyddad mot haverier trots att varje disk har mycket liten risk att gå sönder.

Om det är 0.1% risk att en disk går sönder och du har 1000st i en raid array, så kommer i snitt en gå sönder varje dag.
...

Jag tror att det är denna artikel jookeer syftar på.

edit: typo

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av jookeer
Såg en blogg (minns inte vilken av alla) där nizzen hade olika storlekar och han räknade minsta gemensamma med C,H,S (Cylindrar, Headers, Sectors) för att alla skulle bli lika stora. Tycks vara viktigt.

Ja, det tycker jag också. Men en lösning skulle vara att man själv kan sätta en gräns på hur mycket av disken man vil utnyttja.

När man t.ex. har 4 x 300 GB och 1 x 250 GB diskar i raidz så har ju varje 300 GB disk 50 GB i potensiell storlek (som uppenbarar sig om man byter ut 250 disken mot en som är minst 300). Man skulle ju komma undan problemet om man kunde ställa in det så själv så att om man hadde 5 x 250 GB så utnyttjade man 249 av varje och hadde då lite headroom om man skulle få en mycket liten "250" GB disk som ersättning vid ett haveri.

Är det inte så att när en disk har markerat många nog döda sektorer så krymper den? Det finns ju bara ett visst antal i reserv. Det borde också kunna framkalla detta felet.

Detta är säkert något som Sun utvecklarna tänkt på, men lite svårt att söka efter.

Kan det vara så genialiskt att man bara kan framkalla detta felet om ZFS är fyllt till 100%? Det skulle förklara varför ingen har rapporterat det som ett "koncern".

Jag är bara skadad av jobbiga raid lösningar i linux, eller på dåliga kort som man aldrig kan vara riktigt säker på om de mår bra eller inte. Better safe than sorry. Har ibland känts säkrare att själv synca det man vill ha redundant med rsync över fem, sex diskar och sedan låta resterande kapaciteten på varje disk vara oredundant lagring för diverse oviktig data. Men det sliter ju mer på diskarna.