Serverfilosofi på soffkanten

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Serverfilosofi på soffkanten

Ja det här skulle väl kunna vara ytterligare en 'nu ska jag bygga server'-tråd. Vilket det egentligen är :).

Men jag tänkte vädra några mera filosofiska spörsmål med forumet.

Jag är på gång att byta ut diverse gamla burkar som står i garderoben mot lite modernare hårdvara och få lite mera stuns på nätet här hemma. Det tänkta upplägget är två maskiner där den ena i huvudsak agerar lagringsserver och den andra virtuell applikationsserver (vi kan väl tänka oss en FreeNas och en Xen men vad det blir i slutänden vet jag inte än).

De flesta av mina 'servrar' idag består av olika PIII och P4-burkar som fortfarande funkar alldeles utmärkt, men de har ju rätt begränsande utbyggnadsmöjligheter och det är dessutom bara en tidsfråga innan kondingarna börjar poppa så det börjar bli dags att göra något.
En DL380G7 är införskaffad och ligger just nu och hummar lite försynt på skrivbordet bredvid mig. Har aldrig jobbat med HP praktiskt förut så det är en ny bekantskap :).

Frågan jag ställer mig (och er) är helt enkelt såhär, vad är fördelarna respektive nackdelarna med två separata maskiner mot att stoppa in allt i samma? (för enkelhetens skull kan vi hoppa över sånt som energiförbrukning och att två tar upp mer plats, vilket i mitt fall inte spelar någon roll)

Vad säger ni?

Trädvy Permalänk
Medlem
Registrerad
Okt 2015

Ja du, det första är att om något går sönder så faller inte allt ihop. Tänk på ordspråket "alla ägg i en korg". Det är väl den största skillnaden, även mot/med virtualiserade servrar - ger nätaggregatet upp på en dator så kan fortfarande övriga system vara igång. Defekt ram ska vi bara inte prata om

Nackdelar - jag kör själv tre filservrar hemma och alla är utan monitor. Ett ordentligt elände kan det vara. Remote access och fjärrstyrning är inga problem, förutsatt att man kommer till inloggningen (mina kör Windows). Om de hänger sig under start (bootmanager, bootdisk is missing etc) eller om kontrollerkortet vill något så är det förplåtat irriterande att felsöka. Så skaffa en gammal 4:3 monitor med en KVM switch så kommer du undan det problemet.

Nackdel: Prestanda begränsas ofta. För mina filservrar så handlar det om att gigabitnätverket inte räcker till (eller det gör det men det är flaskhalsen). Att arbeta direkt på en dator är betydligt snabbare. Samtidigt brukar man ha en total budget, i mitt fall har det resulterat i att processorerna är AMDs långsamma tvåkärniga på 65w och deras AM1 system för en väldigt billig peng för renodlade filservrar samt en FX-6100 som den som ska vara den "kraftfulla". Sätter man total kostnad (moderkort, ram, nätaggregat, chassin etc) för dessa men endast ett system så får man nog betydligt mer kraft från Intel.

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Jo det finns ju alltid en risk med ägg, men även med två maskiner hade jag inte tänkt att de skulle ersätta varandra utan ha helt olika uppdrag. Fast nog har jag funderat lite även på riskerna.

Det är bland annat därför jag tittat på FreeNas och den typen av system, har jag bara fungerande backup på 'systemdisken' ska det i teorin bara vara att flytta över allt till en annan maskin och köra vidare :). Om det funkar så enkelt, tja. Det är väl bara att prova antar jag.

Likadant med xen. De virtuella maskinerna kan jag flytta till annan hårdvara om den servern klappar ihop.

Nu har jag iofs inte testat att göra det med varken xen eller freenas ännu. Men det är en av många saker på listan innan hemmets nya servergeneration prodsätts.

fn - det lät ju riktigt snoffsigt ja alltså det betyder att jag tänker leka en hel del med grejerna för att lära mig mera innan de får börja jobba på riktigt.

Budgeten är väldigt svävande faktiskt. Jag vet hur jag vill ha resultatet i stort. Jag inbillar mig att jag vet vad jag behöver för hård- och mjukvara för att uppnå det. Sen svider det alltid när man ska trycka på köpknappen för tillräckligt många diskar eww. Får sprida det över minst två löningar. Att det sedan tillkommer en massa smått och gott är oundvikligt.

UPS:er finns redan på plats, möjligt att nån av dom behöver nya batterier, men det är ju löpande. (just det ja, seriekablar till ups:en ska in på attgöralistan).
Diskar till hemmakataloger och allmänna säkerhetskopior och annat sånt jox har jag. Tanken är en raid10 på den inbyggda kontrollern med fyra diskar.
Diskar till den stora lagringspoolen ska köpas, tanken där är åtta diskar i en volym med raidz2 på ett eget hba-kort till att börja med.

Trädvy Permalänk
Medlem
Plats
Purgatory
Registrerad
Mar 2004

Jag virtualiserar allt här hemma, ca 10 maskiner allt som allt. Serverns systemdisk är ett usb-minne (ESXi). När man läser dina planer är det svårt att inte känna sig lite efter på server-sidan .. 👍😉

Skickades från m.sweclockers.com

Ryzen 1700, Msi Tomahawk, Vega 64 + Morpheus II Core, Samsung no-name b-die @ 3200.

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003

Lite beroende på hur man lägger upp virtualiseringen, så ger det bättre möjligheter vid ett eventuellt hårdvarufel. Speciellt Windows-servrar är ju ökänt gnälliga om man byter hårdvara, men är server virtuell är det genast lättare att slå igång ett ersättningssystem.

Men hemma...
Behöver du egentligen flera servrar? Vad jag menar är att det är lättare att administrera och uppdatera ett system, kontra flera virtuella system. Samla funktionerna på en faktiskt server, och skit i att virtualisera, åtminstone "alltid i drift" tjänsterna. Vill man periodvis virtualisera specifika tjänster är det ju lätt att sparka igång en VM med den befintliga servern som värd.

Det finns vinster med allt, men att separera olika tjänster som egna virtuella servrar ger ofta ett högre prestandakrav, och vinsten är att övriga tjänster är ostörda om en VM skiter på sig. I kritiska sammanhang där upptiden är viktigare än kostnaden finns det stora vinster att göra, men hemma vet jag inte om vinsterna är lika stora... Jag har precis gjort mig av med min server, eftersom jag konstaterade att jag hade en hemsk överkapacitet för behoven, när jag konsoliderade tjänsterna på en gammal Q6600. Servern var en ML 350 G5, dubbla E5450, 32gB RAM, och ersättaren är ju avsevärt svagare... Att man bara behöver driva OS en gång gör rätt stor skillnad.
B!

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Registrerad
Mar 2016
Skrivet av -=Mr_B=-:

Men hemma...
Behöver du egentligen flera servrar?

Nä inte sjutton behöver jag det

Skrivet av -=Mr_B=-:

Vad jag menar är att det är lättare att administrera och uppdatera ett system, kontra flera virtuella system. Samla funktionerna på en faktiskt server, och skit i att virtualisera, åtminstone "alltid i drift" tjänsterna. Vill man periodvis virtualisera specifika tjänster är det ju lätt att sparka igång en VM med den befintliga servern som värd.

Helt klart en vettig synpunkt. För närvarande använder jag både win* och bsd/linux system på mina befintliga maskiner och risken är att det kommer att fortsätta så.

Som jag tänkte så skulle jag dra nytta av att system som freenas har 'allt man behöver' snyggt förpackat i ett paket och då behöver jag inte lägga tid på att bygga något eget (och antagligen göra något sämre dessutom).
Konsekvensen blir lite att de tar över hela maskinen och därför tyckte jag att det skulle vara enklare att separera lagringsfunktionen i en egen maskin och ha resten i en annan.

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002

En nackdel med att ha allt i samma maskin är att allt går ner om man exempelvis behöver göra en omstart efter någon uppdatering, fixa med hårdvaran och så. Är det uppdelat på flera så påverkas inte allt samtidigt. Å andra sidan om lagringen till dina VM ligger på filservern så påverkas de ändå av en omstart av filservern oavsett om de kör på samma eller en annan maskin. Man kanske kan tänka att om tjänsterna ändå är beroende av varandra för att fungera så kan de lika gärna köra på samma maskin.

Fast ibland kan det bli krångligt att köra allt på samma. Man kan behöva fundera på vilken ordning allt ska starta upp för att det ska fungera. Typ om funktion B kräver funktion A för att starta så måste A startas upp först och så vidare... Fast när man väl fått det att fungera automatiskt vid en omstart så slipper man tänka på det sedan.

När det gäller lagring kör jag "ZFS on Linux" och kan därmed köra Linux-specifika tjänster på samma maskin som lagringen utan att virtualisera. Om man minimerar beroendet till olika OS och försöker köra allt på samma så mycket man kan så slipper man köra så många olika system samtidigt. Jag tycker det blir enklare att administrera om alla maskiner kör samma OS.

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Mar 2010

Tänk på att FreeNas behöver komplett kontroll över hårdvaran (iaf nic och satakontroller) så ska du köra VM måste det fungera som det ska.
Men visst finns det fina moderkort för detta, Asrock har en del med dual gigabit intel nic plus en dedikerad port för IPMI. skaffa ett bra HBA till sata och ge det till freenas och använda sata-portarna på moderkortet till ESXI.

HemmaBio - LG C7 55", nVidia Shield TV 2017, Onkyo TX-NR656, Dynavoice DF-5, Dynavoice DX-5, Dynavoice DC-5
UnRaid 6 Server - Dell T20 /w E3-1225v3, 8GB RAM, 12TB HDD + 120GB SSD
Bärbart Retina Macbook Pro 13" Early 2015 [i5, 128GB], Xiaomi Redmi Note 3 Pro, Teclast x98 3G 64GB

Trädvy Permalänk
Medlem
Plats
~/
Registrerad
Mar 2008

Jag har två servrar, en Atom (D525) och en Celeron 1037u som är "SOC" på mITX-moderkort. Den ena är webbserver/filserver och den andra är databas- och TS-server för min klan (ca 40 online på en vanlig kväll). Kör även en mycket enkel Minecraft-server samt en Trackmania2-server.

Atomen har mycket kvar att ta av då jag inte har så mycket trafik på mina bloggar eller andra tjänster som jag använder på den, men Celeronen har 1-2 i load nu. Funderar på att köpa ett uppgraderingspaket med I3-processor till hösten för att ersätta någon av dem.

Atomen kör Debian 8 och Celeronen kör Ubuntu 14.04. Det är enkelt att fjärrstyra dem med SSH och jag tycker det är oslagbart att kunna ha så bra kontroll över alla funktioner som man får med linux. Virtualisering har jag personligen inte sett något behov av egentligen, även om jag har en virtuell Debian-server på en av klanens Windows-servrar. Nu tillåter ju inte hårdvaran det heller, men jag kommer nog att köra en ren Debian-server sen på ny hårdvara.

AMD Ryzen 5 2600X, Asus ROG Strix B350-I, 16GB Corsair Vengeance LP 2400MHz, Nvidia GeForce GTX 970, Fractal Design Nano S, EVGA Supernova G2 650W.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Dec 2010

Om du ska köra FreeNAS så är det starkt rekommenderat att inte köra det på VM. Väldigt många avråder från det pga. instabilitet.

MODERMODEM: Asus ROG Strix Z270E Gaming | i7 7700K | Corsair Hydro H110 | Kingston HyperX Savage 32GB DDR4 RAM | Asus R9 290 OC | Crucial BX100 500GB SSD | Phanteks Enthoo EVOLV | SilverStone Strider Evolution 1200W |
NAS 40TB: 8x3TB RAIDz2 | 4x4TB RAIDz1 | ASRock C2550D4I | 32GB ECC RAM | FreeNAS |
LJUD: M-Audio BX8 D2 | ATH-M50 | Focusrite Scarlett 2i2 |

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Ni får inte ta mig _för_ seriöst

Har precis dragit igång maskinen här på skrivbordet, kopplat in fyra gamla diskar på den inbyggda kontrollern i en extern kassett, kopplat via en hemmasnickrad adapterkabel på den interna strömutgången till sas-bakplanet.

Offrade en annan adapter och lödade på en vanlig fyrapinnars molex. Ser nästan proffsigt ut
Synd att det inte finns några bra att köpa, men det tog inte lång stund att sno ihop en egen.

Däremot tror jag att informationen här : http://forums.overclockers.com.au/showthread.php?t=962861 inte är helt korrekt, pin 9 är inte GND på min utan nått annat så den lämnar jag okopplad. Annars är pinnarna symmetriska med 5v respektive 12v i ytterkanterna och 3.3v i mitten med GND där emellan.

Lite besviken är jag på ljudnivån, låter ju knappt som en server. Hade locket varit på tror jag den hade varit tystare än min pc :).

Det har gått lite troll i planerna, på det fysiska planet iofs bara. Platsen där servern ska stå innebos för närvarande av en frysbox så tills det är löst får det bli lekserver enbart. Men det är rätt kul det med. Nu får jag extra tid att lära mig både Xen och freenas.

Tycker mig läsa ut här på forumet att fler förespråkar vmware framför xen, däremot har jag missat anledningen? Erkänner att jag är lite dåligt påläst när det gäller wmvares platform. Jag har använt den på skrivbordet en del, men inte pillat något med mjukvaran i sig.

Trädvy Permalänk
Medlem
Registrerad
Okt 2015

Frysbox, då har du ju aktiv kylning
Jag har använt FreeNas och min åsikt är att det inte är klart än. Så länge det fungerar är det bra - när det krånglar är det bara elände. Dokumentation och support är helt enkelt värdelöst. Åsiktsmaskinerna som hävdar att man behöver ECC ram, annars går det åt skogen, har också fel enligt mig Jag återvände till hårdvaruraid och är återigen lycklig!

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003
Skrivet av MsSmith:

Åsiktsmaskinerna som hävdar att man behöver ECC ram, annars går det åt skogen, har också fel enligt mig

Jag tror att du har missuppfattat något här. Du ska ha ECC för att OM det går åt skogen, är risken för total dataförlust betydligt större, om du kör utan, än med ECC. Det är inte självklart att du kommer bli drabbad av ett problem till att börja med, men om du blir det, vill du inte vara ännu en av de som helt plötsligt sitter där utan möjlighet att återskapa dina data.

Varför tror du din hårdvaru RAID har ECC minnen...? Mycket av samma anledning. Det är helt enkelt bättre.
B!

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Dokumentation i allmänhet är rätt kasst när det gäller i princip alla mjukvaruprojekt som inte har något större företag i ryggen, och inte ens då är det säkert att är bra. Kan ju bara se till de projekt jag själv är inblandad i och det är rätt varierande nivå

Jag tycker nog att FreeNas tillhör de bättre, och där finns ett aktivt forum med mycket erfarenhet så just det ser jag inte som ett problem.
Däremot är jag mer bekymrad över att man använder en variant av ZFS som gör att jag inte kan lyfta över en volym till ett annat system om jag skulle vilja/behöva. Men och andra sidan ska det inte vara ett problem att bara dra igång en usb-pinne på i princip vilken hårdvara som helst och sen kan jag ju exportera därifrån. Men ett extra steg vid en eventuell flykt från FN blir det ju med extra behov av lagring under migreringen.

Frysboxen är tydligen off-limits enligt platschefen ;). Och det är hon som lagar de smarrigaste köttbullarna så där vågar jag inte inkräkta Även ens en nörd klarar sig utan mat i längden...

Diskussionerna relaterat till ECC-minnen kan jag tycka är rätt komisk (hoppas jag inte trampar någon på tårna nu ), vet man vad ECC är så behövs väl ingen diskussion. Klart det inte finns något som _kräver_ eller _måste ha_ ECC, det är ju bara minnen, allt funkar ju ändå. Likadant med ups:er och de olika raidlösningarna, de behövs inte heller (utom för prestanda iofs).

Däremot om jag vill ha en rimlig hög nivå på tillgänglighet och säkerhet för min data så väljer jag de lösningar som finns, därför ECC-minnen, UPS och med den nya lagringslösningen som jag planerar att sätta upp även raid. I kombination med grejer av lite bättre kvalité som begagnade rackservrar till exempel anser jag att jag har lagt ribban där jag vill ha den, utan att kostnaden rusar helt genom taket.

För min del är ECC självskrivet i det här projektet.

Läste förresten något i en annan tråd som fick mig att fundera på en annan sak. Om jag har en backup på kall disk liggande hos morsan så vet jag ju att den kommer jag inte att uppdatera så ofta. Sen finns den lite färskare backupen på varm disk nånstans, antingen hemma eller i någon annans moln. Finns det nått bra system som kan hjälpa mig att hålla reda på vad som finns var?

Idag kör jag det helt manuellt och lite sporadiskt hemma, på jobbet sköts det av nån från Indien utan att jag nånsin har behövt fundera på hur :).

Trädvy Permalänk
Medlem
Registrerad
Okt 2015
Skrivet av -=Mr_B=-:

Jag tror att du har missuppfattat något här. Du ska ha ECC för att OM det går åt skogen, är risken för total dataförlust betydligt större, om du kör utan, än med ECC. Det är inte självklart att du kommer bli drabbad av ett problem till att börja med, men om du blir det, vill du inte vara ännu en av de som helt plötsligt sitter där utan möjlighet att återskapa dina data.

Varför tror du din hårdvaru RAID har ECC minnen...? Mycket av samma anledning. Det är helt enkelt bättre.
B!

Nej jag har inte missuppfattat
Vad jag menar är att ZFS med eller utan ECC är inte större risk än någon annan variant (mjuk raid, hård raid, moderkortsvarianter, MS Storage Spaces etc) med eller utan ECC. Vad jag också syftade på är att många verkar dra i domedagsspaken så fort någon inte använder ECC och ZFS och den risken är vida överdriven. Till slut är det backup som gäller på kritisk data oavsett.

Trädvy Permalänk
Medlem
Registrerad
Okt 2015
Skrivet av hjälpsam:

Läste förresten något i en annan tråd som fick mig att fundera på en annan sak. Om jag har en backup på kall disk liggande hos morsan så vet jag ju att den kommer jag inte att uppdatera så ofta. Sen finns den lite färskare backupen på varm disk nånstans, antingen hemma eller i någon annans moln. Finns det nått bra system som kan hjälpa mig att hålla reda på vad som finns var?

Idag kör jag det helt manuellt och lite sporadiskt hemma, på jobbet sköts det av nån från Indien utan att jag nånsin har behövt fundera på hur :).

Jag använder EaseUS ToDo Backup och den skapar loggar på backuper inkl vart man lagt dem. Kanske kan vara något?

Trädvy Permalänk
Medlem
Registrerad
Mar 2016
Skrivet av MsSmith:

Jag använder EaseUS ToDo Backup och den skapar loggar på backuper inkl vart man lagt dem. Kanske kan vara något?

Är det bara loggar eller kan man grafiskt se var en fil finns? (tänker på om det finns en kall och en varm backup).

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002
Skrivet av hjälpsam:

Ni får inte ta mig _för_ seriöst

Har precis dragit igång maskinen här på skrivbordet, kopplat in fyra gamla diskar på den inbyggda kontrollern i en extern kassett, kopplat via en hemmasnickrad adapterkabel på den interna strömutgången till sas-bakplanet.

Offrade en annan adapter och lödade på en vanlig fyrapinnars molex. Ser nästan proffsigt ut
Synd att det inte finns några bra att köpa, men det tog inte lång stund att sno ihop en egen.

Däremot tror jag att informationen här : http://forums.overclockers.com.au/showthread.php?t=962861 inte är helt korrekt, pin 9 är inte GND på min utan nått annat så den lämnar jag okopplad. Annars är pinnarna symmetriska med 5v respektive 12v i ytterkanterna och 3.3v i mitten med GND där emellan.

Lite besviken är jag på ljudnivån, låter ju knappt som en server. Hade locket varit på tror jag den hade varit tystare än min pc :).

Det har gått lite troll i planerna, på det fysiska planet iofs bara. Platsen där servern ska stå innebos för närvarande av en frysbox så tills det är löst får det bli lekserver enbart. Men det är rätt kul det med. Nu får jag extra tid att lära mig både Xen och freenas.

Tycker mig läsa ut här på forumet att fler förespråkar vmware framför xen, däremot har jag missat anledningen? Erkänner att jag är lite dåligt påläst när det gäller wmvares platform. Jag har använt den på skrivbordet en del, men inte pillat något med mjukvaran i sig.

Du kanske kan sätta upp en hylla ovanför frysboxen? Frysboxar brukar inte vara högre än att man ska kunna nå ner i dem, men man får förstås lämna utrymme så det går att öppna locket ordentligt. Har nämligen själv funderingar på att sätta min server i vårt förråd, antingen ovanpå kyl och frysskåp eller sätta upp en hylla eller ett väggskåp ovanför frysboxen. Alternativt frigörs annat utrymme om man kan ställa andra prylar på hyllan/skåpet ovanför frysboxen. Problemet i mitt fall är att i så fall behövs det dras nätverkskablar vilket känns jobbigt.

Trädvy Permalänk
Medlem
Registrerad
Okt 2015
Skrivet av hjälpsam:

Är det bara loggar eller kan man grafiskt se var en fil finns? (tänker på om det finns en kall och en varm backup).

Grafiskt? Så här ser det ut

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003

*Bort*

Skrivet av MsSmith:

Vad jag menar är att ZFS med eller utan ECC är inte större risk än någon annan variant (mjuk raid, hård raid, moderkortsvarianter, MS Storage Spaces etc) med eller utan ECC. Vad jag också syftade på är att många verkar dra i domedagsspaken så fort någon inte använder ECC och ZFS och den risken är vida överdriven. Till slut är det backup som gäller på kritisk data oavsett.

Det finns ett antal (ett lågt antal) användare som har råkat ut för total dataförlust pga felande minnen på FreeNAS forumet. Något som inte händer om du inte har ett filsystem som aggressivt går in och "rättar" data, vilket i princip är unikt för ZFS. MjukvaruRAID's har inte den funktionen, HårdvaruRAID har ECC minnen, och jobbar mot det minnet när de kör sin scrub, moderkortsvarianter är antingen hård, eller mjukvaru RAID, där HårdvaruRAID pysslar med sådant här, och har eget ECC minne, mjukvaru gör inte, och är inte utsatt för (just den här) risken, och MS Storage Spaces pysslar inte med sådant överhuvudtaget. ReFS gör, och man kan välja att köra ReFS under storage spaces. Och kör man ReFS är man utsatt för samma låga risk som man är med ZFS. Man ska helt enkelt ha förutsett problemet, och åtgärdat det. Speciellt när man med facit i hand kan konstatera att de flesta, speciellt de som kör en FreeNAS hemma, har den burken som backup. Det är helt ok att argumentera för att man ska ha en bortkopplad backup, och det är helt rätt. Men för hemma bruk är enda sättet att göra en backup på en FreeNAS, att bygga en andra, och synka dem regelbundet, för att sen stänga av den som ska agera backup.

Att inte förebygga en total dataförlust, även om risken är låg, för att man är för snål för att köpa rätt minnen... Nåja, det bästa man kan säga där är att vederbörande blev varnad, och händer det, får de ta konsekvenserna själva.
B!

Om man påstår att någon missförstått något bör man också styrka vad det är personen missförstått. /Najk

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Registrerad
Apr 2015

En annan fördel med ECC-minnen är att du får veta på en gång om något gått fel istället för att upptäcka det ett halvår senare när du skall använda en sex månader gammal fil som blivit korrupt.

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Skissat på hylla över frysboxen, fått ok från ledningen dessutom
Blir en rejäl sak, servrar med diskar och ups:er lär väga en hel del. Det blir ju lite onödigt med massa raid och annat om inte hyllan håller

Nåväl, projektet fortgår så sakteliga, har lyckats lära mig en hel del om min dl380, däremot har jag inte fått syn på Ilo:n ännu vilket är lite märkligt. Ska testa att ta laptopen och servern och sätta själva i en egen switch för att se om det hjälper. Vet inte om routern filtrerar nått utan att berätta det för mig.

Finns det nått bra verktyg eller sätt att tänka när det gäller hur många diskar man ska ha i en volym i zfs? Jag har förstått att det finns en rekommenderad övre gräns, men annars?

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002
Skrivet av hjälpsam:

Skissat på hylla över frysboxen, fått ok från ledningen dessutom
Blir en rejäl sak, servrar med diskar och ups:er lär väga en hel del. Det blir ju lite onödigt med massa raid och annat om inte hyllan håller

Nåväl, projektet fortgår så sakteliga, har lyckats lära mig en hel del om min dl380, däremot har jag inte fått syn på Ilo:n ännu vilket är lite märkligt. Ska testa att ta laptopen och servern och sätta själva i en egen switch för att se om det hjälper. Vet inte om routern filtrerar nått utan att berätta det för mig.

Finns det nått bra verktyg eller sätt att tänka när det gäller hur många diskar man ska ha i en volym i zfs? Jag har förstått att det finns en rekommenderad övre gräns, men annars?

För bästa prestanda bör man ha 4, 6 eller 10 diskar i radidz2, och i raidz3 är det 5, 7 eller 11 diskar per vdev. Tar man bort redundansen ska det alltså vara en potens av 2, alltså 2, 4 eller 8. Raidz2 äe ju 2 diskar extra redundans så 2+2=4, 4+2 =6 och 8+2=10.

Men man kan ju ha flera vdev i en pool. Vill man ha ännu bättre prestanda bör man välja mirrors.
http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-n...

Jag har en maskin med 11 diskar raidz3 och en annan med 6 diskar raidz2. 11 diskar raidz3 är för mycket (det tar evighet att göra resilver efter diskbyte). 6 diskar raidz2 är ganska lagom. Ska bygga om 6-diskars maskinen genom att lägga på en till raidz2 med ytterligare 6 diskar av större modell och sedan flytta över all data från 11-diskars maskinen så jag sedan kan skrota min 11 diskars raidz3 (jag kommer sälja dessa mindre diskar).

Men mirrors känns också vettigt men jag är nog lite dumsnål och tycker jag förlorar för mycket utrymme med mirrors.

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Till att börja med kommer jag att ha max tolv diskar att spela med. Det är vad jag har plats med för tillfället :).

8 x 4tb och 4 x 2tb.

De fyra mindre är tänkta till någon form av speglad uppsättning som varmbackup och lite annat 'lite viktigare' saker. De övriga har jag inte riktigt bestämt mig för vilken konfiguration de ska ha. Eftersom jag (för tillfället) är begränsad till max 12 diskar vill jag helst inte köra spegling eftersom jag förlorar lite väl mycket utrymme då.

Sen finns det ju andra fördelar med speglade vdevs så därför velar jag fortfarande

Kör jag alla 8 i en raidz2 så får jag ut nästan 24 tb, men en framtida uppgradering blir inte så skoj, med speglade diskar blir det enklare.
Ett alternativ är också att som du skapa en raidz2 med sex diskar och spara de andra två tills jag hittat/byggt ett större chassie med plats för fler diskar och då skapa ytterligare en sex-diskars z2.

Tja många val blir det :).

Tur man inte ligger sömnlös om nätterna och funderar på vdevs och pooler .....

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Ju mer jag läser om zfs, raid och raidz desto mera står det klart varför företag ofta köper in den kompetensen när det är dags Sen förvirringen med alla termer som jag aldrig sysslat med förut. Fascinerande vad man kan lära sig på några veckor :).

Också förvirrande när man nu läser olika artiklar som emellanåt motsäger varandra, tills man inser att det kan vara tio år mellan de skrevs det gäller att kolla datumen också, fakta har ofta ett bäst-före-datum har jag märkt.

Planerna börjat allt mera ta fast form. Lagringsmaskinen står nu på skrivbordet och brummar snällt, det blev en HP Proliant ML10v2 kompletterad med två 8gb minnespinnar från Kingston, KTH-PL316E/8G. Funkar ypperligt, fast det tog ett tag innan jag fick till det för med de nya minnena insatta blev det bara bootloop :(. Läste manualer, googlade och kliade bägge kvarvarande hårstrån innan jag kom på lösningen. Ur med strömsladden, in med minnena, ur med batteriet, vänta, in med batteriet igen, -starta.

Succe Nu startade minneschecken direkt vid uppstart och allt är frid och fröjd

Diskarna har blivit rejält försenade från leverantören dock så har inte kommit längre med den. Men projektet har startat
Om ljudnivån kan jag säga att med fyra diskar i surrar den bra, inget som ska vara i ett sovrum eller någon annan stans där man vill ha det tyst. Däremot är den inte så högljudd så den stör, grafikkortet i min gamla burk lät mera (och det var inget värstingkort, snarare ett prisvärt mellanklass).

En sak värt att komma ihåg är att vid registrering på HP:s hemsida får man tillgång till deras nerladdningar under tre månader (vilket väl är ganska normal garantitid på företagssidan, men som privatperson är det lite surt), hoppas att nästa uppgraderingsskiva hinner komma innan dess.

Att det blev just ML10:an och inte Microåttan eller Dells T20 var för att ML10 stöder mer minne och flera expansionsplatser, microåttan är läcker men eftersom jag ska ha den i ett skåp i källaren spelar ju det mindre roll ;), och valet mellan HP och Dell var väl mest av lathet, det känns enklare med två HP-maskiner än en Dell och en HP. Systemen påminner väldigt mycket om varandra även om en rackserver och en tornserver är rätt olika uppbyggda. Jag räknar med att behöva använda två platser till hba kort, jag har ett Highpoint 2720SGL som jag tänkt börja med, om det blir ett likadant till eller något annat får framtiden utvisa (tar väldigt gärna emot tips på lämpliga alternativ).

Enligt manualen stöder ML10 64gb minne, men eftersom jag har en G3240 i min är det inget jag behöver bekymra mig om för tillfället, 16 gb lär räcka ett tag och med två minnesplatser lediga är det enkelt att stoppa i 16 till vid behov (är det någon som kör sin ML10:a med 64 gb så skulle det naturligtvis vara intressant att få det bekräftat att det fungerar, och med vilken processor som används!).

Jobbet med DL380:in är nerprioriterat tills jag är klar med lagringsmaskinen, det gäller att passa att lyssna på fåglarna ibland också :).

(velar fortfarande angående raidz2 & mirror men det är en helt annan historia).

Trädvy Permalänk
Medlem
Registrerad
Nov 2009

Jag har hittat en gammal bibel från 1400-talet som säger "Thou shalt not virtualise thy router". Några rader ner kan man läsa att Gud tydligen fick nog och släppte lös digerdöden (vilken utplånade 60% av europas befolkning) som straff för att alltför många virtualiserat sina routers.

Så det kan du ju låta bli kanske.

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

oj, nästan en månad sedan senaste uppdateringen Här går det inte snabbt inte

Nåväl, lagringsmaskinen snurrar på nu i all fall. Jag har ju hållt på och labba både FreeNas och några andra liknande varianter som förberedelse för att lära mig och det har funkat rätt bra, men jag märker ju nu när jag kör skarpt att det är massa saker som jag inte pillat på innan.

Testperioden och velandet är över i alla fall. Det blev FreeNas (trots att minuspoängen samlats på hög) och zfs mirror för hela köret.

Installationen gick bra, handlade på mig två nya usb-stickor av Kjell, de där pyttesmå som knappt sticker ut. Blir riktigt bra :).
Sen när jag skulle börja konfigurera började det bråka, många olika konstigheter som jag inte alls märkt av under tiden jag labbat. Efter ett tag var det bara att inse att mitt hba kort inte funkar med FreeNas och istället blev det till att beställa hem ett M1015 från landet i öster. Jag visste ju att kortet inte var optimalt men nog hade jag hoppats att det skulle fungera men tyvärr inte. Highpoint-kortet kommer jag att stoppa tillbaka i min windowsmaskin istället för där fungerar det riktigt bra.

Så i väntan på att ibm-kortet ska dyka upp kör jag med bara fyra diskar i lådan för tillfället. Ska stoppa in två till och koppla på sata portarna så är lådan full sen.

Hade jag haft mera tid över hade jag struntat i FreeNas och gelikar och istället snickrat ihop en egen lösning, men sk**en funkar ju i alla fall så det får helt enkelt bli FreeNas.

Pluspoängen är lätt att räkna in (de är inte många)
+ bra forum med mycket info och bra support
+ stabilt (på hårdvara den gillar )
+ relativt enkelt (mja, jo men det tycker jag nog ändå).

Minuspoängen (bara några, vill ju inte dissa det helt )
- ett system i grunden helt avsett för lagring saknar helt övervakning av ..... lagringen
- och av saker som till exempel diskarnas temperatur, för sånt vill man väl inte veta!
- eller om volymerna blir fulla, kan väl vara intressant?
- men den övervakar nån 3ware kontroller eller vad det nu var, det är ju bra att få mail om
- fruktansvärt instabilt gui, så länge allt funkar ok är det inga problem, men undvik gärna att försöka använda det om du har problem med hba eller diskar

sen - är det bara jag som tycker att dokumentationen emellanåt är väldigt komisk?? De kan kombinera uppmaningen att bara använda guit med instruktioner att via ssh/shell göra saker som inte funkar i guit .

Nej jag tror att man rätt snabbt snickrat ihop en minst lika stabil lösning själv med valfri linux/bsd som bas

Men jag kör den lata varianten den här gången och håller mig till FN.
Prestandan är helt ok i ML10:an och den låter mindre än ups:en den är kopplad till (borde kanske ta en titt på fläkten i den, borde väl gå att göra något åt det tröskverket).

Det enda som kan komma att bita mig i foten är att den maxar ut på 32gb minne och beroende på hur mycket disk som jag stoppar i kan det kanske bli för lite, fast det kommer nog inte att hända den närmaste tiden ändå så nu kör jag

(jo jag vet att det finns guider och skript att installera för att få övervakning av lagring och diskar, men va fn - sånt borde väl verkligen finnas med som standard när man nu kallar sig "The World's #1 Storage Operating System" ).

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

Så här ett år senare kommer en liten statusuppdatering.

Allt funkar fortfarande och hyllan över frysboxen är inte ens påbörjad

Bilder är ju kul så så här ser setupen ut just nu:

Fyra diskar i en kassett från min Stacker ovanpå lådan och överst i chassiet sitter en EX-23N från lian-li som har plats för tre 3,5 med fläkt, där har jag två diskar och sen de fyra platserna inuti chassiet är också fulla så nästa steg är att koppla på ytterligare en av kassetterna från CoolerMastern om jag inte kommer på något 'snyggare' sätt att ha dom på. Har skissat lite på att limma ihop en låda till dom med dammsugarfilter på två sidor för att filtrera bort dammet men det har inte heller blivit av ännu.

Jag har inte riktigt hängt med, är det fortfarande m1015 som gäller eller finns det nått nytt som gäller numera?

Trädvy Permalänk
Medlem
Plats
Dalarna
Registrerad
Aug 2005

Inte för att vara den, men är det inte enklare att bara byta ut dom mindre diskarna mot stora?

Hur gick går allt då? körs det VM på allt eller delade du upp det?

Gjorde också om för ungefär ett år sen, har ett Intel nic med 4 portar, (ingen router före, utan bara "internet ->server-dator->switch och trådlöst") och en hög diskar.
kör windows server och hyper-v, med pfsense och xpenology som fil server.
all raid configs och dyrligt händer i xpenology förutom system diskarna.

Jag tänkte också på det här om vad som händer om min system disk skulle dör så jag gjorde så att jag kör en offsite backup på pfsense och xpenology (endast systemen inte lagrings diskarna) för att behålla inställningar om något riktigt dåligt skulle hända, och sen bara speglade jag 2st SSDer till systemet som då gör en backup till min xpenology lite då och då.

Då dom första system diskarna var av "skrot" kvalitet, och dom skulle bara användas till att testa det hela, så körde jag dom båda i dator i 6 månader innan den första gav upp, det som hände var att windows sa ungefär "Nu försvann en disk för dig" okej, vilken?, en SSD, inte så konstigt(tänkte jag). jag gick och köpte mig en ny disk. PAUSADE alla VM maskiner. stängde av datorn. byte disken. startade den. allt var exakt som när jag lämnade det. ingen skillnad alls. mitt nät var nere i max 7min. (alla minna vm startar upp automatiskt när windows startar) ingen var hemma, så inget gnäll någon stans =), sen gick väl den andra slitna disken sönder också. samma hände då :P, någon hårddisk till xpenology har också gått sönder, bara att pausa allt, stänga av, byta ut, starta, och typ säga "här är en ersättare för den trasiga, ÄT!". DONE inget borta, allt fungerar fortfarande.

Main-Burk: Intel Core i7 7700k || 32gb Corsair || GTX 1080|| Benq XL2720Z x3 |
Server-Burk: Intel Xeon E-3 1270v2 || 32gb RAM || 2xQuad Intel NIC ||

Trädvy Permalänk
Medlem
Registrerad
Mar 2016
Skrivet av fredde89:

Inte för att vara den, men är det inte enklare att bara byta ut dom mindre diskarna mot stora?

Jag har det uppsatt med åtta 4tb i en lagringspool och två 8tb i en annan lagringspool och eftersom det är zfs så behöver jag byta ut alla diskar i en pool innan jag får nytta av den ökade volymen så istället har jag valt att skapa en ny pool med åttorna och utöka antalet diskar i den efter hand. Det känns bäst både ekonomiskt och rent praktiskt.

Eftersom diskarna då kommer att vara köpta vid olika tillfällen bör framtida kostnader för utbyte av trasig disk spridas ut motsvarande. Att köpa åtta 8tb diskar på ett bräde skulle väl funka men är ändå något jag vill undvika .

Jag kör med speglade diskar även för operativet, FreeNAS i det här fallet (dock var det ett tag sedan det blev någon backup av inställningarna tror jag).

En disk har jag bytt som la av och precis som för dig så är stilleståndet inte långt innan allt är uppe igen.