OpenSolaris 2008.11 är här!

Saddam,
Ja jo, raidz2 är väl bättre att köra och diskarna 10 å 10 istället, men då det är en bit kvar i framtiden innan jag ska expandera dit (i alla fall 2-3 månader, måste överväga dit tråd om 4x8p, då mitt framtida moderkort enbart har 2st pci-e x16 (varav ena går i x8 om man kör 2) och sedan 3st pci-e x1 samt 2 pci portar så måste det med i beräkningarna. Men om du har några 8p som går på pci-e x1 så får du gärna säga till

Jobbiga med att köra de i 10hdd raidz2 är att jag måste köpa 10diskar åt gången, eller så måste jag ha temporär lagringsplats för 4tb varje gång jag ska gå från 5 till 10 diskar å så. Att köpa 5 diskar på en gång känns inte så oöverkomligt, men 10diskar på samma gång svider lite ;P.

Men men, får tänka mer på det framöver, all beräkning och liknande jag har haft hittills har ju enbart varit att få igång servern med vad jag har nu och vilket expansionsbart chassi å liknande jag velat ha. Nu är allt sånt klart så det är nu jag ska lära mig opensolaris lite bättre och även kolla upp satakontrollers and whatnot

Edit: Kollade det ena kortet du rekommenderade som hade pci-e (super micro, AOC-USAS), de kostar ju 2000kr i bulk (3000kr retail) och hamnar då på 8k totalt för 4 kort, köper hellre två stycken Highpoint rocketraid 2340 som i mitt fall hamnar på samma pris fast är i retail. Kan leva med eventuellt något lägre överföringshastighet

När jag nu startade om solarisburken så fungerade min behemoth direkt, jäkligt mysko det dära

Men nu har jag i varje fall en konkret fråga till er, hur gör jag för att shara internet? Har två integrerade NIC och ett flertal instickskort om jag skulle behöva fler framöver men anyhow, ena kommer sitta rätt mot nätet med fast ip som jag måste använda, det andra ska gå direkt till min arbetsstation (solaris med 192.168.0.1 och arbetsstation med *.*.*.2 är väl lämpligt). Hur ska jag gå tillväga för att den ska låta min dator ansluta till internet?

Ja jäklar ja, det där hade tagit mig minst en vecka att klura ut pr0xy, tackar!
Just nu så strular min andra NIC på moderkortet med mig, så innan jag får igång att den fungerar felfritt (hur stänger man av och startar upp en hårdvaru enhet? inget simpelt "svcadm disable/enable yukonx" (tror den fick den benämningen, nge0 är min andra NIC iaf) ?

saddam, det är väl inte möjligt att expandera en raidz1/2 ? Säg då att jag har en 10disk raidz2 uppe, och sedan köper 5 till diskar,.. ska jag bara ha de liggandes till jag får 10 och först då sätta upp en ny raidz2? Med dagens snabba internet så går det hyffsat fort att fylla diskarna ;), men är mer ett pågående projekt jag tänkt ha,.. som det är nu är mina 6 diskar i en raidz1 80% fulla och börjar bli dags att expandera, men så har jag haft de i sisådär ett halvår. Tänkte jag köper 4 till diskar och då skapar antingen 2st raidz1 eller 1st raidz2 (most likely raidz2). Men nästa gång det inträffar?
Ska kolla in den sidan du posta saddam, finns säkerligen mängder med matnyttig information där

Ni får ursäkta om jag har massa frågor (som jag säkerligen kan söka efter internet på och få svar på eventuellt), men skulle vilja få servern att boota upp, med delat internet, och att jag kan vpna in till den, felfritt varje gång. Som det är nu så är den lite strulig från och till, och måste då sätta i skärm/tgt/mus och kolla vad det är vilket är jäkla meck. Hence, jag ber er om snabba lösningar, ni som redan sitter på svaren

@pr0xy, rge0 för dig där, är det den som sitter i väggen och har internet, eller är det den som du ansluter mot resten av hemmanätet? Samt vad är 10.8.0.0/24 -> 0/32 för thingy?
Som det är nu så skulle jag vilja ha ungefär följande
(yukonx och nge1 är mina 2 NIC)
YukonX med ett fast IP in i väggen, som låter anslutningar på nge1 som ansluter till resten av mitt hem få ta del av internetåtkomsten på yukonx.
nge1 kommer sitta på 192.168.0.1, och resten av nätet (säg min arbetsdator) kommer ha 192.168.0.2-> und so weiter.
Ska jag då skriva "map YukonX 192.168.0.2/24 -> 0/32" eller kanske "map nge1 192.168.0.2/24 -> 0/32", eller något annat ip/vad det nu är?

Ursäkta min säkerligen dåliga formaterade text och gröt av frågor, i humbly apologize!

Edit: Jag tror mycket av min huvudvärk kommer försvinna när jag väl går ifrån de gamla komponenterna till de riktiga sakerna jag kommer köra om ett halvår.. får slänga in opensolaris på denna någon gång och se hur allt fungerar å så

Ahh jag blir tokig! Jag har kommit fram till att YukonX NICen är dum i huve', så den har jag avaktiverat i bios nu och slängde in ett utav mina sunkiga pci nätverkskort. Men jag hade problem att göra några inställningar i network, de sparades helt enkelt inte. Tänkte att jag kanske inte hade rättigheter till det, så jag la till "network management" på min user, och tro fan jag förlorar rättigheter till root / använda su and whatnot. Luckliy for me, this time hade jag en annan BE från start.
Så lite frågor, hur skapar jag en egen BE? beadm create name@snapshot eller något tyckte jag det stod, men då måste jag först göra en snapshot right? Hur gör man det korrekt? Lyckades inte få någon ordning på det, så gör att jag laddar min fungerande, kör update som automatiskt skapar en BE till mig och leker i den, fuckar det ur så loadar jag upp den som inte är updaterad
Andra frågan, någon aning om varför jag inte kan ändra och spara inställningar i network? Vill ju sätta IP som jag måste ha på mitt andra nätverkskort för att kunna ansluta till internet på den (och sedan shara det via nge1)..

Saddam, chassit rymmer helt enkelt 33 diskar (30 fram med 6 backplan och 3 bak med en 120mm->80mm+3x 3.5" plåtlåda ungefär, fast kommer använda 2 diskar där till OS och mirrormode). Så ska köra med mina nuvarande 6 diskar, köpa till 4 diskar och ett kontrollerkort å destroya behemoth och återskapa en raidz2 behemoth med 10x 1tb diskar, sedan köpa 10 diskar å skapa en ny raidz2, och därefter återigen 10 nya med ännu en ny raidz2. Därefter kommer jag byta ut de första 10 diskarna mot 10 andra som är mycket större å finare (jag gissar på 3-5 år in i framtiden or something), och så hålla på så tills.. i dont know

Det är en av anledningarna till att jag köpte detta stora chassit, att jag kan fylla det med många (och skapa 3st raidz), för att när jag väl fyllt diskarna så kommer första klumpen med diskar vara antika och bättre att byta ut dem. Så slipper köpa nytt chassi/backplan/kontrollerkort and whatnot. Sata2/3 kommer ju säkerligen finnas kvar med 3.5" diskar de kommande 10 åren om inte längre
Fast det är en liten övervägningsfråga, därför jag ansåg att jag nog kommer köra 6st raidz1 á 5 diskar då det blir en mindre summa att punga ur varje gång jag behöver mer utrymme och köpa nya/ersätta gamla diskar, nog för jag inte får det riktigt lika säkert, men 1 disk paritet känns som det räcker för mig.

Här är caset som jag använder, so far är det helt ok
http://www.overclock3d.net/reviews.php?/cases_cooling/lian_li...

Lite frågor som jag kom att tänka på när jag inte lyckades somna igår:
Går det ha ett gemensamt namn/"enhet" med flera raidz?
Som det är nu är det ju följande för mig:

behemoth
raidz1
disk1
disk2
osv.

Kan man ha det som följande på något vis

behemoth
raidz1
disk1
disk2
undsoweiter
raidz1
disk6
disk7
merdisk
raidz1
disk11
disk12
...

Var för mig det går något liknande med vanlig raid. Hur blir då skrivningen av filer och liknande ifall det skulle fungera? Hur vet man vilka filer som hanmnar på vilken raidz? Skrivs filer till flera raidz samtidigt?

Fråga numbero 2:
De eventuella read/write/chcksum errors man kan se med 'zpool status', upptäcks de automatiskt eller enbart när man kört en scrub? Om de upptäcks innan, vad gör då en scrub? Antar att när man får fel där så är det den disken som har felen som man helst ska returnera då den är något trasig och säkerligen påväg att bli trasigare.

Om man haft ett större hem med barn och fruga så hade ju en kraftigare dator/server med små tunna klienter i barnens rum och liknande varit godsend, bara behöva upgradera en dator för att alla ska få det snabbare och så :). Finns det några tunna klienter för windows? Inte direkt så att man vill lära upp albin 8 år hur han ska göra för att surfa och lyssna på mp3 i solaris, eller ännu mindre säga till han att "Nej, tyvär kan du inte spela world of warcraft för Microsoft och dess produkter är inte tillåtna i detta hemmet" ;P

Edit: So much med försök att få texten att se någorlunda formaterad ut ~~

JBerger:
Man kan adda flera raidz till samma pool om man vill det. I praktiken kommer det då att fungera ungefär som en raid0 uppbyggd av flera raidz kan man säga (ungefär som RAID-50). Då fördelas filerna jämnt över de olika raidz som ingår i poolen.

Man kan också ha separata pooler så som du skrev ovan JBerger. Ofta har man ju redan det eftersom man installerar systemet på rpool och sedan skapar man en ny pool för lagringen. Men då kan man inte ha ett filsystem som sträcker sig mellan de olika poolerna. Detta kan ju vara en fördel om man vill ha kontroll på vilka hårddiskar som filerna hamnar på.

Själv har jag en mirror som rpool. Vissa saker funkar bättre från min mirror som t.ex. streama video till min mediaspelare eller att lagra virtuella diskar för diverse operativsystem som jag virtualiserar med VirtualBox. Då skapar jag bara ett filsystem för det ändamålet på min rpool och monterar på lämpligt ställe i det virtuella filsystemet. För masslagring har jag en raidz1 med 5 diskar som jag har i en zpool jag kallar för tank.

Här är exempel på hur man kan göra med en dröse hårddiskar:
http://www.solarisinternals.com/wiki/index.php/ZFS_Configurat...

Edit: Som svar på fråga två så upptäcks felen när man försöker läsa från lagringsutrymmet men bara för de filer som man läser ifrån. De upptäckta visas om man tar zpool status. Nu läser man ju inte hela tiden alla filer man har lagrade och scrub använder man då till för att gå igenom precis allt som finns lagrat på sin pool för att hitta eventuella fel även i de filer som man inte läst på länge. Så har jag fattat saken om jag inte missuppfattat det...

Saddam, den kostade ~2500kr something, men den är typ slut hos tillverkaren/leverantörer så antar den inte går att få tag på längre (fanns 2 kvar när jag beställde min). Är modulärt så man får köpa till lite småsaker som man vill ha (Jag vill byta toppplåten mot en annan som har 2x120mm platser för 250kr, sedan en liten 120mm->80mm+3hdd cage för 250kr). Mina chieftec sst-2131 backplan slida lätt in, det är lite annorlunda hur man monterar 5.25" enheter/backplan osv, inga små "hyllplan" som man kan låta enheten vila på. Detta är både bra och dåligt, bra då man får in i stort sett vilken enhet, backplan eller vad man nu vill ha i chassit, men lite dumt då de inte har mer än skruvarna i sidan som de vilar på (som inte är gummiupphängt eller liknande). Jag löste det genom att börja nedifrån med mina backplan och bara stapla (+ skruvarna då förståss).
Kör alla fläktar till att suga in luft i chassit, förutom de 2 i toppen som blåser ut (då det är dåligt med utrymme under och på sidorna där den står i min garderob så ansåg jag det var bäst att göra så för att få bästa möjliga kylning). En liten mini review om chassit, hoppas det duger

Ronny & saddam om fråga 1;
I den länken du skrev ronny där de hade flera raidz i samma rpool är så jag tänkt göra (Då det inte går att expandera en rpool och att behöva kopiera all data till temporär plats -> destroy pool -> skapa ny pool med gamla + nya diskar -> kopiera tillbaka all data varje gång jag vill expandera kommer vara näst intill omöjligt när man kommer upp i 15-20tb osv).
Men om den kör "raid0" mellan de olika raidzen i samma pool,.. hur blir det då med paritet och liknande? Raid0 är ju att dör en disk så tappar du allt, i detta fallet skulle en hdd i en raidz dö, så skulle raidzen gnälla, dör två diskar i samma raidz så dör raidzen, och då dör _alla_ raidz. Kan det verkligen vara så illa?
Vill ju helst inte ha flera pooler (och därmed flera enheter, vill ha en gigantisk jävla enhet på oändligt många terabyte, inte flera små)... nu när jag tänker efter så kommer det väl bli att man får köra en raidz på raidzen för att skydda sig men för att få som jag vill, or?
mao

behemoth
----raidz1
-------raidz1
---------diskar
-------raidz1
---------diskar
-------raidz1
---------diskar

ungefär? Blir nog lite väl mycket för min del, med 30 diskar på 6st raidz så blir det ju 6 hdd paritet i vardera raidz, och sedan 4 till diskar (en hel raidz, där en disk redan är räknad som paritet). Mao 10/30 diskar som paritet, brr :P. Får nog leva med att i varje fall några pools. Kanske 3st 10disk raidz2 poler or something...

Tackar er båda för infon om scrub och hdd errors, var väl rätt självklart och bara jag som var trött när jag tänkte på det :), så en scrub i veckan och mail/sms raportering när den hittar fel utöver den scrubben känns som rätt säkert och bra.

Saddam,
Jo det går ju köra med windows i virtualbox och så, men inte problemfritt ännu nej. Kanske kan det dära nya onlive eller vad de kallade det, där man kan streama spel från en server till en tunn klient fungera för hemmabruk? (Det de tänkt sig är ju glöm och dröm, hur många gigantiska servrar måste de inte ha för att 10,000 pers ska kunna spela crysis genom deras maskiner? Självkllart vill ju alla kunder spela allt i max också vad givet.. yeah right.) Men för eget bruk med 2-4 användare där 2 surfar, en ser på film och en den fjärde spelar WoW borde ju fungera fint på en i7a

Statusrapport om min solarisserver:
Behemoth raidzen hittas och fungerar felfritt vid varje uppstart, reboot och poweroff kommandona gör precis som man tycker de ska göra (shutdown hade man ju tyckt skulle fungerat som poweroff men icke..). Mitt yukonx NIC har jag disablat då det bara bråkade, men mina nätverksinställningar vägrar spara sig när jag försöker ändra med den GUIn som finns under administration. CIFS sharen verkar också fungera vid uppstart nu (Kan ha varit pga att behemoth raidzen inte fungerade som smb/server inte gick online kanske?).
Så problem att lösa: Varför sparar den inte settings, hur fungerar zfs snapshot lite snabbt och lätt så jag kan skapa egna BEnvironments, vilken NIC ska peka var eller till vilket ip (De scripten pr0xy skrev), other than that i'm good for now.

Jävlar vad jag babblar... xD

Jag är osäker på vad som händer om en raidz dör i en pool bestående av flera raidz. Antingen förlorar man endast de filer som råkar ligga på denna raidz (men man vet ju inte vilka filer som ligger där) eller så förlorar man hela poolen... Saddam kanske vet? Men det är ju bara om du förlorar mer än en hårddisk i någon raidz1 detta händer. Tycker du det låter riskabelt så kör med raidz2 istället och kanske någon hotspare inte är fel heller.

Jag missade förresten en nyhet jag borde ha rapporterat om igår.
Nexenta har släppt NexentaCore Unstable (v2.0 rc1)
http://distrowatch.com/?newsid=05404

Den verkligt stora nyheten är deras experimentella support för 128-bitars processorer!
http://www.nexenta.org/os/x86_128_support
Som sagt var, jag borde ha nämnt detta redan igår, känns gammalt nu ju...

Saddam,
Kör min rpool i mirrormode med 2 gamla ide diskar (for now, brist på sataplatser och hade ide diskar hemma) som fungerar fin fint

Känns som den första modellen du skrev, 3st raidz2 med 10 diskar vardera känns som bäst, som du säger, att tre diskar i samma raidz2 skulle krasha är ju rätt minimalt, och kommer verkligen inte vilja köra raidz1 på 3 zpools med 10 diskar vardera, two down and all is fucked :P. Två "ought to be safe enough",. kan man hoppas... fan vad jag kommer gråta blod om alla mina 30 diskar skulle tappa all data pga 3 diskar dör i samma zpool >_<

Går det på något vis (gör det säkerligen) att stänga av åtkomsten/exporta en zpool/min behemoth om den upptäcker ett fel? Så är man ju lite extra säker (ingen mer läsning/skrivning till behemoth förän jag stängt av, bytat hdd och startat upp igen), kan ju vara som extra säkerhet. Alternativt att man har det först vid 2 diskar i samma zpool or something.

Saddam, angående nätverksinställningar via kommandon, antar det finns att läsa på den sidan du länkade igår (http://www.sun.com/bigadmin/home/index.jsp), men har inte haft tid att läsa där någonting ännu. Du har inte lite snabba kommandon liggandes på lager som jag kan utgå ifrån och testa lite?
Ska läsa igenom tråden igen efter snapshot/BEnvironments senare ikväll och se vad jag kan lära mig

Det fina är ju att man inte behöver köpa diskar om det skulle bli bitfel, bara byta ut och få en ny gratis ju
Kommer byta ut disken så fort det blir något fel, nog för att disken eventuellt kan lagas via scrub eller lowlevelformatering, men den blir ju aldrig helt perfekt igen.
Blir fixa upp en 10disk raidz2a lagom till sommaren, och räknar med att de kommer hålla fram till nästa vår någongång och då köpa 10 till diskar som jag beräknar hålla i kanske 1-2år något såntdära innan jag behöver mer utrymme. Skulle det bli för dyrt att upgradera och underhålla det så får jag väl helt enkelt snåla lite längre med utrymmet, men 10diskar vartannat år blir det ungefär 400kr per månad vilket inte är fullt så oöverkomligt ändå

Eventuellt kommer man väl upp i nivån då man har hela internet på sin dator hemma och inte behöver mer diskar haha ;D

Får googla runt efter lite kommandon och se vad jag kan hitta, postar i denna tråden när jag hittat och lärt mig de

Jag missade nog en del inlägg emellan när jag gav mitt senaste svar (så jag visste inte att saddam redan svarat att hela poolen kraschar, ni postar ju så snabbt att jag inte hinner med). Jag tror att saddam har rätt, hela poolen är förlorad om någon av de ingående raidz havererar. En zpool gör striping mellan dess ingående enheter och om någon förloras blir det som när en RAID0-disk kraschar...

Det där med att stänga ner en pool vid diskkrasch går kanske att ordna, jag vet inte hur. zpool export kanske är riskabelt i ett sådant läge? Men ett alternativ är en hot spare disk (eller flera) så att den trasiga disken automatiskt byts ut så slipper man nertiden. Jag har för mig att de hot spares man lägger till sin pool kan användas i vilken som helst av de olika ingående raidz2 arrayerna (så länge som hot spare disken är minst lika stor som den största av de ingående diskarna).

Angående det där nojiga alternativet med många raidz2 bestående av 3 diskar vardera tycker jag det verkar smartare att köra med 3-diskars mirrors istället som ju ger samma utrymme men lägre åtkomsttider. Raidz2 är vettigt bara om man har minst 4 diskar. Alternativet med 3 stycken 10-diskars raidz2 verkar vettigt, eller kanske 4 stycken 7-diskars raidz2 med 2 stycken hot spares om man vill ha ännu mera säkerhet. 3 stycken 9-diskars raidz2 med 3 stycken hot spares kan också vara ett alternativ om du har 30 st hårddiskar.

Boot environments är jättelätt.
Lista dem med beadm list
Skapa en ny med beadm create be_namn
Aktivera den med beadm activate be_namn
Nästa gång du startar datorn så har du fått ett nytt val i grub som blivit default om du aktiverat den. Annars kan man låta bli att aktivera den och manuellt välja den alternativa bootmiljön som ett icke-standard-val i grub.

Själv har jag en bootmiljö där jag testar opensolaris unstable. Känns skoj att kunna leka lite i en bootmiljö och sedan gå tillbaka till stabila miljön till vardags. Blir som två olika installationer som delar på gemensamma filer och endst lagrar skillnaderna i filsystemen separat. Rena undret tycker jag...

ronny,
Ahh, jag körde bara beadm för att få fram kommandona och såg att det stod något i stil med 'beadm name@snapshot' och antog att name var namnet på sin BEnviro. och snapshot var en snapshot man ville använda sig av ungefär. Men det var så lätt som du skrev märkte jag nu ja, härligt
Kan man ju leka på och härja så fritt man vill utan att oroa sig

En tanke,.. om jag nu skulle vilja byta till den stabila miljön när man sabbat en testmiljö men inte har su access eller rättigheter att välja vilken som är active med beadm, då måste man ju ansluta skärm/tgt/mus och boota upp å välja den andra miljön osv. Går det att ansluta till solarisburken genom nätverket (RealVNC/PuTTY eller liknande) innan man behöver välja?

Kanske kan man sätta en Benviro. som active vid nästa boot, men booten därpå så startar den stabila booten, om nu något skulle hända,.. kan ju vara värt tycker jag, slippa böka fram och tillbaka med servern å kablage und so weiter.

Eh, oroar mig inte för exploits och folk som försöker komma in på min burk. Om de vill så go right ahead. Är ju inte så att jag är direkt säkrare om jag sitter på windows med inbyggda firewallen avstängd skulle jag tro

Men kanske borde överväga det lite, kanske inte kul om någon kommer in och förstör alla mina filer and whatnot.. men har ju aldrig hänt ännu för mig eller någon jag känner, och att behöva ha på min egna dator och bara ha den ansluten till servern är ju också lite segt...
Kanske får ha tre datorer hemma, en lekserver som sköter http/ftp/mysql/apache servandet som de får hacka bäst de vill. I don't know, men känns som det inte är något jag behöver oroa mig över.

Jag kom på en liten tanke angående ansluta min server direkt mot nätet och säkerhet this and that... om jag lägger upp diverse virtualboxar som står för apache/ftp/http och all annan acess,.. kan jag ge dem tillgång till internet, men inte vanliga opensolaris på något vis tro? och lyckas begränsa att allt utom det i virtualboxen till oåtkompligt (mappade saker får read only). Då gör det ju inte så mycket om de skulle förstöra t.ex. min apache då den har en egen "server" so to speak... just a thought