Serverfilosofi på soffkanten

Ja det här skulle väl kunna vara ytterligare en 'nu ska jag bygga server'-tråd. Vilket det egentligen är :).

Men jag tänkte vädra några mera filosofiska spörsmål med forumet.

Jag är på gång att byta ut diverse gamla burkar som står i garderoben mot lite modernare hårdvara och få lite mera stuns på nätet här hemma. Det tänkta upplägget är två maskiner där den ena i huvudsak agerar lagringsserver och den andra virtuell applikationsserver (vi kan väl tänka oss en FreeNas och en Xen men vad det blir i slutänden vet jag inte än).

De flesta av mina 'servrar' idag består av olika PIII och P4-burkar som fortfarande funkar alldeles utmärkt, men de har ju rätt begränsande utbyggnadsmöjligheter och det är dessutom bara en tidsfråga innan kondingarna börjar poppa så det börjar bli dags att göra något.
En DL380G7 är införskaffad och ligger just nu och hummar lite försynt på skrivbordet bredvid mig. Har aldrig jobbat med HP praktiskt förut så det är en ny bekantskap :).

Frågan jag ställer mig (och er) är helt enkelt såhär, vad är fördelarna respektive nackdelarna med två separata maskiner mot att stoppa in allt i samma? (för enkelhetens skull kan vi hoppa över sånt som energiförbrukning och att två tar upp mer plats, vilket i mitt fall inte spelar någon roll)

Vad säger ni?

Jo det finns ju alltid en risk med ägg, men även med två maskiner hade jag inte tänkt att de skulle ersätta varandra utan ha helt olika uppdrag. Fast nog har jag funderat lite även på riskerna.

Det är bland annat därför jag tittat på FreeNas och den typen av system, har jag bara fungerande backup på 'systemdisken' ska det i teorin bara vara att flytta över allt till en annan maskin och köra vidare :). Om det funkar så enkelt, tja. Det är väl bara att prova antar jag.

Likadant med xen. De virtuella maskinerna kan jag flytta till annan hårdvara om den servern klappar ihop.

Nu har jag iofs inte testat att göra det med varken xen eller freenas ännu. Men det är en av många saker på listan innan hemmets nya servergeneration prodsätts.

fn - det lät ju riktigt snoffsigt ja alltså det betyder att jag tänker leka en hel del med grejerna för att lära mig mera innan de får börja jobba på riktigt.

Budgeten är väldigt svävande faktiskt. Jag vet hur jag vill ha resultatet i stort. Jag inbillar mig att jag vet vad jag behöver för hård- och mjukvara för att uppnå det. Sen svider det alltid när man ska trycka på köpknappen för tillräckligt många diskar eww. Får sprida det över minst två löningar. Att det sedan tillkommer en massa smått och gott är oundvikligt.

UPS:er finns redan på plats, möjligt att nån av dom behöver nya batterier, men det är ju löpande. (just det ja, seriekablar till ups:en ska in på attgöralistan).
Diskar till hemmakataloger och allmänna säkerhetskopior och annat sånt jox har jag. Tanken är en raid10 på den inbyggda kontrollern med fyra diskar.
Diskar till den stora lagringspoolen ska köpas, tanken där är åtta diskar i en volym med raidz2 på ett eget hba-kort till att börja med.

Nä inte sjutton behöver jag det

Helt klart en vettig synpunkt. För närvarande använder jag både win* och bsd/linux system på mina befintliga maskiner och risken är att det kommer att fortsätta så.

Som jag tänkte så skulle jag dra nytta av att system som freenas har 'allt man behöver' snyggt förpackat i ett paket och då behöver jag inte lägga tid på att bygga något eget (och antagligen göra något sämre dessutom).
Konsekvensen blir lite att de tar över hela maskinen och därför tyckte jag att det skulle vara enklare att separera lagringsfunktionen i en egen maskin och ha resten i en annan.

Ni får inte ta mig _för_ seriöst

Har precis dragit igång maskinen här på skrivbordet, kopplat in fyra gamla diskar på den inbyggda kontrollern i en extern kassett, kopplat via en hemmasnickrad adapterkabel på den interna strömutgången till sas-bakplanet.

Offrade en annan adapter och lödade på en vanlig fyrapinnars molex. Ser nästan proffsigt ut
Synd att det inte finns några bra att köpa, men det tog inte lång stund att sno ihop en egen.

Däremot tror jag att informationen här : http://forums.overclockers.com.au/showthread.php?t=962861 inte är helt korrekt, pin 9 är inte GND på min utan nått annat så den lämnar jag okopplad. Annars är pinnarna symmetriska med 5v respektive 12v i ytterkanterna och 3.3v i mitten med GND där emellan.

Lite besviken är jag på ljudnivån, låter ju knappt som en server. Hade locket varit på tror jag den hade varit tystare än min pc :).

Det har gått lite troll i planerna, på det fysiska planet iofs bara. Platsen där servern ska stå innebos för närvarande av en frysbox så tills det är löst får det bli lekserver enbart. Men det är rätt kul det med. Nu får jag extra tid att lära mig både Xen och freenas.

Tycker mig läsa ut här på forumet att fler förespråkar vmware framför xen, däremot har jag missat anledningen? Erkänner att jag är lite dåligt påläst när det gäller wmvares platform. Jag har använt den på skrivbordet en del, men inte pillat något med mjukvaran i sig.

Dokumentation i allmänhet är rätt kasst när det gäller i princip alla mjukvaruprojekt som inte har något större företag i ryggen, och inte ens då är det säkert att är bra. Kan ju bara se till de projekt jag själv är inblandad i och det är rätt varierande nivå

Jag tycker nog att FreeNas tillhör de bättre, och där finns ett aktivt forum med mycket erfarenhet så just det ser jag inte som ett problem.
Däremot är jag mer bekymrad över att man använder en variant av ZFS som gör att jag inte kan lyfta över en volym till ett annat system om jag skulle vilja/behöva. Men och andra sidan ska det inte vara ett problem att bara dra igång en usb-pinne på i princip vilken hårdvara som helst och sen kan jag ju exportera därifrån. Men ett extra steg vid en eventuell flykt från FN blir det ju med extra behov av lagring under migreringen.

Frysboxen är tydligen off-limits enligt platschefen ;). Och det är hon som lagar de smarrigaste köttbullarna så där vågar jag inte inkräkta Även ens en nörd klarar sig utan mat i längden...

Diskussionerna relaterat till ECC-minnen kan jag tycka är rätt komisk (hoppas jag inte trampar någon på tårna nu ), vet man vad ECC är så behövs väl ingen diskussion. Klart det inte finns något som _kräver_ eller _måste ha_ ECC, det är ju bara minnen, allt funkar ju ändå. Likadant med ups:er och de olika raidlösningarna, de behövs inte heller (utom för prestanda iofs).

Däremot om jag vill ha en rimlig hög nivå på tillgänglighet och säkerhet för min data så väljer jag de lösningar som finns, därför ECC-minnen, UPS och med den nya lagringslösningen som jag planerar att sätta upp även raid. I kombination med grejer av lite bättre kvalité som begagnade rackservrar till exempel anser jag att jag har lagt ribban där jag vill ha den, utan att kostnaden rusar helt genom taket.

För min del är ECC självskrivet i det här projektet.

Läste förresten något i en annan tråd som fick mig att fundera på en annan sak. Om jag har en backup på kall disk liggande hos morsan så vet jag ju att den kommer jag inte att uppdatera så ofta. Sen finns den lite färskare backupen på varm disk nånstans, antingen hemma eller i någon annans moln. Finns det nått bra system som kan hjälpa mig att hålla reda på vad som finns var?

Idag kör jag det helt manuellt och lite sporadiskt hemma, på jobbet sköts det av nån från Indien utan att jag nånsin har behövt fundera på hur :).

Är det bara loggar eller kan man grafiskt se var en fil finns? (tänker på om det finns en kall och en varm backup).

Skissat på hylla över frysboxen, fått ok från ledningen dessutom
Blir en rejäl sak, servrar med diskar och ups:er lär väga en hel del. Det blir ju lite onödigt med massa raid och annat om inte hyllan håller

Nåväl, projektet fortgår så sakteliga, har lyckats lära mig en hel del om min dl380, däremot har jag inte fått syn på Ilo:n ännu vilket är lite märkligt. Ska testa att ta laptopen och servern och sätta själva i en egen switch för att se om det hjälper. Vet inte om routern filtrerar nått utan att berätta det för mig.

Finns det nått bra verktyg eller sätt att tänka när det gäller hur många diskar man ska ha i en volym i zfs? Jag har förstått att det finns en rekommenderad övre gräns, men annars?

Till att börja med kommer jag att ha max tolv diskar att spela med. Det är vad jag har plats med för tillfället :).

8 x 4tb och 4 x 2tb.

De fyra mindre är tänkta till någon form av speglad uppsättning som varmbackup och lite annat 'lite viktigare' saker. De övriga har jag inte riktigt bestämt mig för vilken konfiguration de ska ha. Eftersom jag (för tillfället) är begränsad till max 12 diskar vill jag helst inte köra spegling eftersom jag förlorar lite väl mycket utrymme då.

Sen finns det ju andra fördelar med speglade vdevs så därför velar jag fortfarande

Kör jag alla 8 i en raidz2 så får jag ut nästan 24 tb, men en framtida uppgradering blir inte så skoj, med speglade diskar blir det enklare.
Ett alternativ är också att som du skapa en raidz2 med sex diskar och spara de andra två tills jag hittat/byggt ett större chassie med plats för fler diskar och då skapa ytterligare en sex-diskars z2.

Tja många val blir det :).

Tur man inte ligger sömnlös om nätterna och funderar på vdevs och pooler .....

Ju mer jag läser om zfs, raid och raidz desto mera står det klart varför företag ofta köper in den kompetensen när det är dags Sen förvirringen med alla termer som jag aldrig sysslat med förut. Fascinerande vad man kan lära sig på några veckor :).

Också förvirrande när man nu läser olika artiklar som emellanåt motsäger varandra, tills man inser att det kan vara tio år mellan de skrevs det gäller att kolla datumen också, fakta har ofta ett bäst-före-datum har jag märkt.

Planerna börjat allt mera ta fast form. Lagringsmaskinen står nu på skrivbordet och brummar snällt, det blev en HP Proliant ML10v2 kompletterad med två 8gb minnespinnar från Kingston, KTH-PL316E/8G. Funkar ypperligt, fast det tog ett tag innan jag fick till det för med de nya minnena insatta blev det bara bootloop :(. Läste manualer, googlade och kliade bägge kvarvarande hårstrån innan jag kom på lösningen. Ur med strömsladden, in med minnena, ur med batteriet, vänta, in med batteriet igen, -starta.

Succe Nu startade minneschecken direkt vid uppstart och allt är frid och fröjd

Diskarna har blivit rejält försenade från leverantören dock så har inte kommit längre med den. Men projektet har startat
Om ljudnivån kan jag säga att med fyra diskar i surrar den bra, inget som ska vara i ett sovrum eller någon annan stans där man vill ha det tyst. Däremot är den inte så högljudd så den stör, grafikkortet i min gamla burk lät mera (och det var inget värstingkort, snarare ett prisvärt mellanklass).

En sak värt att komma ihåg är att vid registrering på HP:s hemsida får man tillgång till deras nerladdningar under tre månader (vilket väl är ganska normal garantitid på företagssidan, men som privatperson är det lite surt), hoppas att nästa uppgraderingsskiva hinner komma innan dess.

Att det blev just ML10:an och inte Microåttan eller Dells T20 var för att ML10 stöder mer minne och flera expansionsplatser, microåttan är läcker men eftersom jag ska ha den i ett skåp i källaren spelar ju det mindre roll ;), och valet mellan HP och Dell var väl mest av lathet, det känns enklare med två HP-maskiner än en Dell och en HP. Systemen påminner väldigt mycket om varandra även om en rackserver och en tornserver är rätt olika uppbyggda. Jag räknar med att behöva använda två platser till hba kort, jag har ett Highpoint 2720SGL som jag tänkt börja med, om det blir ett likadant till eller något annat får framtiden utvisa (tar väldigt gärna emot tips på lämpliga alternativ).

Enligt manualen stöder ML10 64gb minne, men eftersom jag har en G3240 i min är det inget jag behöver bekymra mig om för tillfället, 16 gb lär räcka ett tag och med två minnesplatser lediga är det enkelt att stoppa i 16 till vid behov (är det någon som kör sin ML10:a med 64 gb så skulle det naturligtvis vara intressant att få det bekräftat att det fungerar, och med vilken processor som används!).

Jobbet med DL380:in är nerprioriterat tills jag är klar med lagringsmaskinen, det gäller att passa att lyssna på fåglarna ibland också :).

(velar fortfarande angående raidz2 & mirror men det är en helt annan historia).

oj, nästan en månad sedan senaste uppdateringen Här går det inte snabbt inte

Nåväl, lagringsmaskinen snurrar på nu i all fall. Jag har ju hållt på och labba både FreeNas och några andra liknande varianter som förberedelse för att lära mig och det har funkat rätt bra, men jag märker ju nu när jag kör skarpt att det är massa saker som jag inte pillat på innan.

Testperioden och velandet är över i alla fall. Det blev FreeNas (trots att minuspoängen samlats på hög) och zfs mirror för hela köret.

Installationen gick bra, handlade på mig två nya usb-stickor av Kjell, de där pyttesmå som knappt sticker ut. Blir riktigt bra :).
Sen när jag skulle börja konfigurera började det bråka, många olika konstigheter som jag inte alls märkt av under tiden jag labbat. Efter ett tag var det bara att inse att mitt hba kort inte funkar med FreeNas och istället blev det till att beställa hem ett M1015 från landet i öster. Jag visste ju att kortet inte var optimalt men nog hade jag hoppats att det skulle fungera men tyvärr inte. Highpoint-kortet kommer jag att stoppa tillbaka i min windowsmaskin istället för där fungerar det riktigt bra.

Så i väntan på att ibm-kortet ska dyka upp kör jag med bara fyra diskar i lådan för tillfället. Ska stoppa in två till och koppla på sata portarna så är lådan full sen.

Hade jag haft mera tid över hade jag struntat i FreeNas och gelikar och istället snickrat ihop en egen lösning, men sk**en funkar ju i alla fall så det får helt enkelt bli FreeNas.

Pluspoängen är lätt att räkna in (de är inte många)
+ bra forum med mycket info och bra support
+ stabilt (på hårdvara den gillar )
+ relativt enkelt (mja, jo men det tycker jag nog ändå).

Minuspoängen (bara några, vill ju inte dissa det helt )
- ett system i grunden helt avsett för lagring saknar helt övervakning av ..... lagringen
- och av saker som till exempel diskarnas temperatur, för sånt vill man väl inte veta!
- eller om volymerna blir fulla, kan väl vara intressant?
- men den övervakar nån 3ware kontroller eller vad det nu var, det är ju bra att få mail om
- fruktansvärt instabilt gui, så länge allt funkar ok är det inga problem, men undvik gärna att försöka använda det om du har problem med hba eller diskar

sen - är det bara jag som tycker att dokumentationen emellanåt är väldigt komisk?? De kan kombinera uppmaningen att bara använda guit med instruktioner att via ssh/shell göra saker som inte funkar i guit .

Nej jag tror att man rätt snabbt snickrat ihop en minst lika stabil lösning själv med valfri linux/bsd som bas

Men jag kör den lata varianten den här gången och håller mig till FN.
Prestandan är helt ok i ML10:an och den låter mindre än ups:en den är kopplad till (borde kanske ta en titt på fläkten i den, borde väl gå att göra något åt det tröskverket).

Det enda som kan komma att bita mig i foten är att den maxar ut på 32gb minne och beroende på hur mycket disk som jag stoppar i kan det kanske bli för lite, fast det kommer nog inte att hända den närmaste tiden ändå så nu kör jag

(jo jag vet att det finns guider och skript att installera för att få övervakning av lagring och diskar, men va fn - sånt borde väl verkligen finnas med som standard när man nu kallar sig "The World's #1 Storage Operating System" ).

Så här ett år senare kommer en liten statusuppdatering.

Allt funkar fortfarande och hyllan över frysboxen är inte ens påbörjad

Bilder är ju kul så så här ser setupen ut just nu:

Fyra diskar i en kassett från min Stacker ovanpå lådan och överst i chassiet sitter en EX-23N från lian-li som har plats för tre 3,5 med fläkt, där har jag två diskar och sen de fyra platserna inuti chassiet är också fulla så nästa steg är att koppla på ytterligare en av kassetterna från CoolerMastern om jag inte kommer på något 'snyggare' sätt att ha dom på. Har skissat lite på att limma ihop en låda till dom med dammsugarfilter på två sidor för att filtrera bort dammet men det har inte heller blivit av ännu.

Jag har inte riktigt hängt med, är det fortfarande m1015 som gäller eller finns det nått nytt som gäller numera?