Frågor ang hårdvara och OS på NAS-server

Permalänk

Frågor ang hårdvara och OS på NAS-server

Hej
Funderar på att slänga ihop en NAS server och har lite funderingar kring hur jag bäst ska göra detta. Bakgrunden till det hela är följande;
Primärt syfte är fillagring att äntligen kunna samla och sortera upp filer som nu är spridda på flera diskar och datorer. Tänkte mig att byggas via RAID1;
A) 2st 3TB, foton, program, arbeten, digitaliserade videoband
B) 2st 4TB, mediafiler; musik, film, TV-serier, spel

Utöver speglingen så tänkte jag sätta upp automatisk backup på A) till externa USBdiskar med visst tidsintervall. B) är inte lika prioriterade filer. Det hade även varit önskvärt att driva en plexserver för att ge åtkomst till film och TV-serier på HTPC och andra TV apparater runt om i huset. Önskvärt att kunna streama 1080p vilket jag är något tveksam att min skrothög reder ut, då den består av föjande;
AMD Phenom X4 9850
GA-MA770-DS3
2x2GB DDR2 ram

Avseende server OS har jag primärt kikat på freeNAS och OMV, där jag tycker OMV verkar smidigast och mest lättkört, och smidigt att man kan köra det från usbsticka.

Har kikat lite på att bygga nytt men tycker det drar iväg lite, har plockat ihop denna; prisjaktkundvagn

Avslutar med några frågeställningar;
1) Är OMV lämpligt OS för vad jag försöker åstadkomma?
2) Är det bortkastad tid att ens försöka lägga in OMV på den Phenom datorn även om man skulle komplettera med ram?
3) Feedback på ihopplock om ja på 2)? Finns det något som kan förenklas (=förbilligas) men ändå klarar ovan?

Visa signatur

- AMD Ryzen 7 2700 // ASRock B450M PRO4 // RX 6700XT 12GB // 64 GB DDR4 // 512 GB SSD m.2 NVMe // 120 GB SSD m.2 SATA // 4 TB // Win10
-Intel i5 4670K // Sapphire Dual-X r9 280x 3 GB // 8 GB DDR3 // Intel 320 120 GB SSD // 3000 GB // Win 7
-NAS: Synology ds218play 1x10 TB // Zyxel NAS542 - 2x4 TB

Permalänk
Medlem

1. Säkerligen. Hade dock valt Freenas före OMV.
2. Vet ej, men Freenas kan du köra på den hårdvaran. Hade dock skaffat 4GB extra ram.

Permalänk
Medlem

Inga problem med Plex sålänge enheten du använder för uppspelning kan spela upp filen.
Hade också kör freenas över omw

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem
Skrivet av Sleffermauf:

Hej
Funderar på att slänga ihop en NAS server och har lite funderingar kring hur jag bäst ska göra detta. Bakgrunden till det hela är följande;
Primärt syfte är fillagring att äntligen kunna samla och sortera upp filer som nu är spridda på flera diskar och datorer. Tänkte mig att byggas via RAID1;
A) 2st 3TB, foton, program, arbeten, digitaliserade videoband
B) 2st 4TB, mediafiler; musik, film, TV-serier, spel

Utöver speglingen så tänkte jag sätta upp automatisk backup på A) till externa USBdiskar med visst tidsintervall. B) är inte lika prioriterade filer. Det hade även varit önskvärt att driva en plexserver för att ge åtkomst till film och TV-serier på HTPC och andra TV apparater runt om i huset. Önskvärt att kunna streama 1080p vilket jag är något tveksam att min skrothög reder ut, då den består av föjande;
AMD Phenom X4 9850
GA-MA770-DS3
2x2GB DDR2 ram

Avseende server OS har jag primärt kikat på freeNAS och OMV, där jag tycker OMV verkar smidigast och mest lättkört, och smidigt att man kan köra det från usbsticka.

Har kikat lite på att bygga nytt men tycker det drar iväg lite, har plockat ihop denna; prisjaktkundvagn

Avslutar med några frågeställningar;
1) Är OMV lämpligt OS för vad jag försöker åstadkomma?
2) Är det bortkastad tid att ens försöka lägga in OMV på den Phenom datorn även om man skulle komplettera med ram?
3) Feedback på ihopplock om ja på 2)? Finns det något som kan förenklas (=förbilligas) men ändå klarar ovan?

Tror nog att du klarar dig bra med de delar du sitter på för ändamålet.

Då du troligtvis inte använder ECC ramminnen för ZFS-filsystemet hade jag nog valt OMV i ditt fall.

OMV är byggt på Linux-kärna och har ett bredare stöd för olika komponenter. FreeNAS är byggt på BSD-kärna och har ofta krav på viss hårdvara för att du skall få ut det mesta.
Båda system är bra plattformar men om du inte använder ECC-minnen så tycker jag att FreeNAS går bort då du inte tjänar något på det som annars är FreeNAS kanske främsta feature, nämligen det eminenta underliggande filsystemet "ZFS".
ZFS (filsystemet som FreeNAS använder primärt) vill gärna ha mer ram (ECC) för att prestera bra och bidra med extra integritet mot filkorruption som kan uppstå i ramminnet.

Är tveksam till att transcoding i t.ex. Plex hade varit så schjysst mot din gamla Phenom X4 CPU, men vanlig (direkt) uppspelning av 1080p (utan transcoding) via nätverk borde inte vara några problem för den.

Är Plex något du redan äger en licens för?
Annars kan du även göra en hel del med Kodi kopplat till en vanlig filserver om det är tillgängligt på/för enheterna som du tänker visa filmer/musik/foton osv. på.
Emby (konkurrent till Plex) är också ett bra alternativ som finns för OMV som tillåter uppspelning/streaming av media via webbläsaren, utan premium-licens.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk
Medlem
Skrivet av Sleffermauf:

Hej
Funderar på att slänga ihop en NAS server och har lite funderingar kring hur jag bäst ska göra detta. Bakgrunden till det hela är följande;
Primärt syfte är fillagring att äntligen kunna samla och sortera upp filer som nu är spridda på flera diskar och datorer. Tänkte mig att byggas via RAID1;
A) 2st 3TB, foton, program, arbeten, digitaliserade videoband
B) 2st 4TB, mediafiler; musik, film, TV-serier, spel

Utöver speglingen så tänkte jag sätta upp automatisk backup på A) till externa USBdiskar med visst tidsintervall. B) är inte lika prioriterade filer. Det hade även varit önskvärt att driva en plexserver för att ge åtkomst till film och TV-serier på HTPC och andra TV apparater runt om i huset. Önskvärt att kunna streama 1080p vilket jag är något tveksam att min skrothög reder ut, då den består av föjande;
AMD Phenom X4 9850
GA-MA770-DS3
2x2GB DDR2 ram

Avseende server OS har jag primärt kikat på freeNAS och OMV, där jag tycker OMV verkar smidigast och mest lättkört, och smidigt att man kan köra det från usbsticka.

Har kikat lite på att bygga nytt men tycker det drar iväg lite, har plockat ihop denna; prisjaktkundvagn

Avslutar med några frågeställningar;
1) Är OMV lämpligt OS för vad jag försöker åstadkomma?
2) Är det bortkastad tid att ens försöka lägga in OMV på den Phenom datorn även om man skulle komplettera med ram?
3) Feedback på ihopplock om ja på 2)? Finns det något som kan förenklas (=förbilligas) men ändå klarar ovan?

Jag tycker du ska ta en titt på UNRAID också, jag har använt det sedan snart ett år och jag tycker det är klockrent, särskilt om du vill ha något lättkört.

Permalänk
Medlem
Skrivet av krigelkorren:

Då du troligtvis inte använder ECC ramminnen för ZFS-filsystemet hade jag nog valt OMV i ditt fall.

Båda system är bra plattformar men om du inte använder ECC-minnen så tycker jag att FreeNAS går bort då du inte tjänar något på det som annars är FreeNAS kanske främsta feature, nämligen det eminenta underliggande filsystemet "ZFS".
ZFS (filsystemet som FreeNAS använder primärt) vill gärna ha mer ram (ECC) för att prestera bra och bidra med extra integritet mot filkorruption som kan uppstå i ramminnet.

Fördelarna med ZFS får man oavsett ECC eller inte. ECC ger en extra säkerhet (ZFS är redan hängslen och livrem, så ECC på det blir typ hängslen, livrem och silvertejp).

Visa signatur

Moderkort: Gigabyte X570 Aorus Master | CPU: AMD Ryzen R9 5900X | CPU-kylare: Noctua NH-D15 chromax.black | RAM: Corsair Vengeance LPX 64 GB (4x16) DDR4-3600 CL18 | GPU: Gigabyte RTX 4080 Eagle OC | SSD: 2 x Samsung 970 EVO Plus 1 TB NVMe + Kingston A400 480 GB + Samsung QVO860 1 TB | PSU: EVGA SuperNOVA G2 1000 W Gold | Chassi: Lian Li O11 Dynamic XL | Skärm: BenQ PD3200U @ 3840x2160 + ASUS ROG Strix XG32VQ @ 2560x1440 | Tangentbord: Corsair K68 RGB Cherry MX Red | Mus: Logitech MX Master 2S

Permalänk
Medlem
Skrivet av cyklonen:

Fördelarna med ZFS får man oavsett ECC eller inte. ECC ger en extra säkerhet (ZFS är redan hängslen och livrem, så ECC på det blir typ hängslen, livrem och silvertejp).

Precis! Helt riktigt.

Vill man inte begränsa sig hårdvarumässigt med BSD's implementation av ZFS via FreeNAS så går det att köra Ubuntu 18.04 eller senare (på en USB-sticka om du inte vill dedikera en liten SSD för OS) då Ubuntu är de enda som integrerar ZFS-modulen med i sin kärna, dvs, det är bara att tuta och köra. Då får man en modern Linuxkärna med ZFS inbyggt, och slipper då bygga in modulen vid en dist-upgrade.

Du kan bygga två speglade pooler 2x3TB och 2x4TB. Sen skapar du filsystem på poolerna som du kan tweaka beroende på vad för slags filer du vill lagra på dem. ZFS använder checksums för att säkerställa att filerna behåller sin integritet om x antal år. Skulle din USB-sticka dö eller krascha så är det bara att ansluta dina diskar till en maskin som har ZFS installerat, sen skriver man "zpool import -f <poolnamn>" så har du all din data där. Hängsle och livrem.

Visa signatur

We are the music makers, and we are the dreamers of dreams.
Youtube | Spotify Playlists | Soft | Rapp | Rytm | Kött | Kalas |

Permalänk
Medlem
Skrivet av cyklonen:

Fördelarna med ZFS får man oavsett ECC eller inte. ECC ger en extra säkerhet (ZFS är redan hängslen och livrem, så ECC på det blir typ hängslen, livrem och silvertejp).

Det stämmer till viss del, ZFS är ämnat att ge ett gott skydd i sig, det är egenligen inte ECC minnet i sig utan hur ett system med ECC minne hanterar bitfel som uppstår på en för ändamålet vettig hårdvara.
Tänk på att filsystem som ZFS nyttjar ramminnet långt mer än mainstream filsystem för sitt ändamål och förutsätter att minnet fungerar felfritt, bitfel kan i princip inträffa när som helst i system men utan ECC kommer ZFS att lita på att saker hände felfritt i minnet och korruption kan då inträffa obemärkt.
Har vidare aldrig läst att någon rekommenderat att köra BtrFS eller ZFS utan ECC-minne, snarare motsatsen så fort något av dessa filsystem nämns.
Vill man gå emot rekommendationer kan man givetvis göra det också. Finns inget som hindrar i detta fall.

Förstår att mitt inlägg kan ses som opopulärt, rekommendera OMV framför FreeNAS, -Vad tänker jag med egentligen?
Prestanda och kompatibilitet på hårdvaran som listades var det jag syftade på med mitt förra inlägg, utifrån hur TS planerade att gå tillväga.
Tror inte att originaldelarna TS planerat för bygget lämpar sig något vidare för ZFS p.g.a. ålder, utbyggnadsmöjigheter då ZFS gärna suger upp en massa ram för att prestera bra.

Jag är alla gånger för att inte använda varesig FreeNAS eller OMV just för att de enligt min åsikt är för begränsade för mina enga ändamål.
Ubuntu Server med ZFS är det jag skulle satsa på, men nu är det inte mina ändamål som skall diskuteras.
Jag tolkar det som att TS bara ville ha ett tips på någon "turn-key" plattform som fungerar med befintliga delar, då lägger jag min röst på OMV.
Ser inte att TS vinner något på FreeNAS i nuläget.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk
Medlem
Skrivet av krigelkorren:

Det stämmer till viss del, ZFS är ämnat att ge ett gott skydd i sig, det är egenligen inte ECC minnet i sig utan hur ett system med ECC minne hanterar bitfel som uppstår på en för ändamålet vettig hårdvara.
Tänk på att filsystem som ZFS nyttjar ramminnet långt mer än mainstream filsystem för sitt ändamål och förutsätter att minnet fungerar felfritt, bitfel kan i princip inträffa när som helst i system men utan ECC kommer ZFS att lita på att saker hände felfritt i minnet och korruption kan då inträffa obemärkt.
Har vidare aldrig läst att någon rekommenderat att köra BtrFS eller ZFS utan ECC-minne, snarare motsatsen så fort något av dessa filsystem nämns.
Vill man gå emot rekommendationer kan man givetvis göra det också. Finns inget som hindrar i detta fall.

Förstår att mitt inlägg kan ses som opopulärt, rekommendera OMV framför FreeNAS, -Vad tänker jag med egentligen?
Prestanda och kompatibilitet på hårdvaran som listades var det jag syftade på med mitt förra inlägg, utifrån hur TS planerade att gå tillväga.
Tror inte att originaldelarna TS planerat för bygget lämpar sig något vidare för ZFS p.g.a. ålder, utbyggnadsmöjigheter då ZFS gärna suger upp en massa ram för att prestera bra.

Jag är alla gånger för att inte använda varesig FreeNAS eller OMV just för att de enligt min åsikt är för begränsade för mina enga ändamål.
Ubuntu Server med ZFS är det jag skulle satsa på, men nu är det inte mina ändamål som skall diskuteras.
Jag tolkar det som att TS bara ville ha ett tips på någon "turn-key" plattform som fungerar med befintliga delar, då lägger jag min röst på OMV.
Ser inte att TS vinner något på FreeNAS i nuläget.

I ZFS används RAM för läs och skriv-cache. Läs-cachen ARC (Adaptive Replacement Cache) ansvarar för två listor, MRU (Most Recently Used) och MFU (Most frequently used), och det är typiskt hälften av arbetsminnet som ZFS behöver som används för ARC. Sen skrivcachen hanterar det som skrivs ner till disk i transaktionsgrupper som flushas ner till disk var femte sekund ungefär.

Grejen är dock att det som ser till att data inte förlorar integritet är checksum-verifikationer. Låt oss säga att vi vill kopiera en fil från en plats till en annan, så när ZFS läser filen så påbörjar ZFS integritets-verifikationen genom att göra en crc-check från block på disk. Eftersom ZFS är ett "copy-on-write"-filsystem så kommer aldrig ett block att raderas, dvs den gamla checksums finns lagrade och då kan ZFS verifiera checksum under alla operationer med det blocket. ECC är bra för då är man helt säker på att inget bit flippas längs vägen, men även utan ECC kan man som en användare utan superteknisk data vara ganska lugn.

Har för mig att det ska gå att sätta på en property så att ZFS tar med sig checksums från block --> minne --> block, för att komma runt detta om man inte har ECC, men är osäker..

Jag är dock helt med dig kring biten i ditt inlägg om TS och krav. OMV är ett jättebra tips på en som du säger "turn-key"-lösning som absolut bör nämnas och kanske ger TS det tips han behövde.

Visa signatur

We are the music makers, and we are the dreamers of dreams.
Youtube | Spotify Playlists | Soft | Rapp | Rytm | Kött | Kalas |

Permalänk
Medlem
Skrivet av Cloudstone:

I ZFS används RAM för läs och skriv-cache. Läs-cachen ARC (Adaptive Replacement Cache) ansvarar för två listor, MRU (Most Recently Used) och MFU (Most frequently used), och det är typiskt hälften av arbetsminnet som ZFS behöver som används för ARC. Sen skrivcachen hanterar det som skrivs ner till disk i transaktionsgrupper som flushas ner till disk var femte sekund ungefär.

Grejen är dock att det som ser till att data inte förlorar integritet är checksum-verifikationer. Låt oss säga att vi vill kopiera en fil från en plats till en annan, så när ZFS läser filen så påbörjar ZFS integritets-verifikationen genom att göra en crc-check från block på disk. Eftersom ZFS är ett "copy-on-write"-filsystem så kommer aldrig ett block att raderas, dvs den gamla checksums finns lagrade och då kan ZFS verifiera checksum under alla operationer med det blocket. ECC är bra för då är man helt säker på att inget bit flippas längs vägen, men även utan ECC kan man som en användare utan superteknisk data vara ganska lugn.

Har för mig att det ska gå att sätta på en property så att ZFS tar med sig checksums från block --> minne --> block, för att komma runt detta om man inte har ECC, men är osäker..

Jag är dock helt med dig kring biten i ditt inlägg om TS och krav. OMV är ett jättebra tips på en som du säger "turn-key"-lösning som absolut bör nämnas och kanske ger TS det tips han behövde.

Stämmer bra att ungefär halva ramminnet tas upp för ZFS-cahcen.
Har själv en server med 256GB RAM och c:a 120-130GB tas upp av cachen för ZFS-poolen.
Därmed tycker jag även att det känns en smula saftigt på en gammal hårdvara där jag gissar att max. gränsen för RAM (DDR2-system) ligger någonstans mellan 4-8GB totalt.
Det kan säkert fungera men OMV bör kunna nyttja dessa resurser bättre.

Nu kanske detta låter hårt i sammanhanget men bara för att något går, betyder det inte att man bör göra det.

Du har fortfarande en -för stunden- OK säkerhet även utan ECC.
Men personligen jag ser hellre att man nyttjar ett "vanligt" filsystem i de lägen att ECC inte är en del av ekvationen för ZFS. (Gäller även BtrFS och liknande)
Vanliga filsystem är robusta nog och förutsätter att bitfel kan inträffa därmed finns även gott om verktyg för att återskapa förlorad information.
Dock känner jag inte till ett enda verktyg som skulle kunna göra motsvarande för ZFS. Om man då låter chansen vara domaren så hade jag hellre satsat mina riksdaler på något annat än ZFS om inte hårdvaran är ämnad för det.

Här finns en tråd från just ixsystems som utvecklar FreeNAS:
https://www.ixsystems.com/community/threads/freenas-without-e...

Med det sagt OMV är, för dem som inte känner till, en skapelse från den sista aktiva FreeNAS utvecklaren innan iX-systems tog över utvecklingen av FreeNAS.

Så OMV är i stort sett en motsvarande lösning där den största skillnaden är att den är baserad på Debian Linux istället för FreeBSD med allt vad det innebär.
Det är också en av anledningarna till att OMV inte kan levereras med ZFS out-of-the-box eftersom det är inkompatibla licenser. (-mjukvarulicenser är underbar skit!)
Annars är jag hyfsat säker på att denna f.d. FreeNAS utvecklare hade hyst en enorm förkärlek till ZFS som primärt val av filsystem även för OMV.

Det finns dock inget som hindrar dig från att först installera OMV och sedan ändå skapa upp/lägga din storage på en ZFS pool via ZoL, sen har du i princip ett "bättre" FreeNAS tack vare markant bredare hårdvarusupport på Linux och fler valmöjligheter. -Detta är säkert inte heller någon populär åsikt men faktum är att "det går".
Som jag skrev i mitt första inlägg, både FreeNAS och OMV är bra produkter.
De är framför allt "turn-key" och passar för det mesta dem som vill ha en bra plattform utan att pilla på lägre nivåer.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk
Medlem

ECC är inte tokigt.

Men för just själva ZFS har det ingen betydelse eftersom ZFS redan vägrar ge ut dålig data(den kommer att automatiskt korrigera och ge ut korrekt data förutsatt att allt inte är skadat på alla lagringsmedium relativt i förhållande till skyddsnivån man kör) eller skriva dålig data som är färdig för skrivning(d.v.s. blocket har fått sig en kontrollsumma i minnet men ej skrivet än och verifierat på lagringsytan).

Vägen däremot fram till ZFS lär gå via någon del i kärnan eller kärnmoduler(nu pratar jag ZFS på FreeBSD och inte ZoL) och även stöta på någon demon.

Plus att man vill inte köra något operativsystem som kan få för sig att få panik(motsvarar BSOD för Windows folk) p.g.a. fel på en bit som hade kunnat korrigeras i drift om den biten avser någon del i kärnan eller en kärnmodul.

Följer man cyberjock på FreeNAS forumen skulle man kunna få för sig att ZFS inte fungerar utan ECC och att man måste ha minst 1GB RAM per TB data. Det sistnämnda finns där en sanning i, bara om man kör deduplicering.

Visa signatur

Grundregel för felsökning: Bryt och begränsa.

Permalänk
Medlem
Skrivet av Veni:

ECC är inte tokigt.

Men för just själva ZFS har det ingen betydelse eftersom ZFS redan vägrar ge ut dålig data(den kommer att automatiskt korrigera och ge ut korrekt data förutsatt att allt inte är skadat på alla lagringsmedium relativt i förhållande till skyddsnivån man kör) eller skriva dålig data som är färdig för skrivning(d.v.s. blocket har fått sig en kontrollsumma i minnet men ej skrivet än och verifierat på lagringsytan).

Vägen däremot fram till ZFS lär gå via någon del i kärnan eller kärnmoduler(nu pratar jag ZFS på FreeBSD och inte ZoL) och även stöta på någon demon.

Plus att man vill inte köra något operativsystem som kan få för sig att få panik(motsvarar BSOD för Windows folk) p.g.a. fel på en bit som hade kunnat korrigeras i drift om den biten avser någon del i kärnan eller en kärnmodul.

Följer man cyberjock på FreeNAS forumen skulle man kunna få för sig att ZFS inte fungerar utan ECC och att man måste ha minst 1GB RAM per TB data. Det sistnämnda finns där en sanning i, bara om man kör deduplicering.

Nu ska ju TS system enligt vad jag kan se stödja upp till 16 GB ECC minne, så en variant är att skaffa lämplig mängd beg. ECC minne och enabla ECC-funktionerna, framförallt "scrubbing" i BIOS. Bör gå att hitta sådana minnen relativt billigt.

Med det sagt så kan jag säga att jag kört Fileserver/NAS med raid sen ca år 2000. Då med mdadm på en standard linux dist utan problem. (Fanns varken Freenas, ZFS eller unraid på den tiden så var inte så svårt att välja.) Har även kört med ECC minne där det varit möjligt.

Oavsett vad man väljer ska man alltid kolla att systemet fungerar stabilt innan man tar det i skarp drift, görs lämpligen med att kopiera in minst 1 TB data på systemet, kör checksummor på alla filer med tex md5sum och sen verifiera summorna. Ska inte vara ett enda verifieringsfel.