Uppgraderingsbar NAS

Permalänk

Uppgraderingsbar NAS

Hejsan!

Ska nu under våren bör ja snickra på en lite mer seriös NAS.

Nasen ska användas till att lagra stora mängder semesterbilder. Lite olika applicationr ska också kunna rulla så som Plex Media server etc..

HÅRDVARA:
Chassi: SilverStone DS380B
Hårddiskar: (5xWD RED 6 TB) för att i framtiden kunna utöka detta.
Moderkort: Mitx är ett krav men sedan har jag ingen aning om vad som skulle funka.
Processor: Denna beror lite på vad det blir för moderkort
Kontroller: Inser att jag kommer behöva ett Raid-kort av någon modell då inget moderkort med lite klös i verkar ha fler än sex stycken SATA portar
Minnen: Ska ju passa i moderkortet och stödja ECC
PSU: Här hittar jag något lämpligt

MJUKVARA:
Här är jag som minst påläst tyvärr, vad är det jag bör köra på en sådan server?
Behöver kunna RAIDA diskarna i RAID 5, gärna men kryptering dessutom.
Folk pratar om Freenas.. etc Jag hade tänkt köra den med Windows bara men här tror jag ni sitter på många bättre lösningar.

Har ni några tips på hur jag kommer vidare i tankegången? Väldigt tacksam för svar!

//Terrakowski

Permalänk
Medlem
Skrivet av terrakowski:

Hejsan!
Text

Har du tänkt att använda ESXi ?
Det är nämligen inte helt ovanligt att nas4free(ny version av freenas) strular i samband med ESXi.
Kolla annars på någon version av Windows server beroende på vad du mer ska köra förutom Plex.

Visa signatur

C64 eller A500

Citera så jag hittar tillbaka.

Permalänk
Medlem

Dom två vanligaste alternativen idag är FreeNAS och unRaid.
FreeNAS 10 kommer någon gång under våren, vilket kommer med utökat stöd för VM/Docker och smidigare gränssnitt.
unRaid kan jag inte uttala mig så mycket om, aldrig använt själv, men det verkar rätt så populärt.

Permalänk
Medlem

Supermicroprylar hade jag absolut kört med.
Bra prylar till vettiga pengar.
Min har snart rullat över 5år utan problem.
LSI har raidkort med HW-kryptering

Visa signatur

WS: R7 5800X, 32GB, Suprim X 3080, Acer X38P+Acer XB271HU
FS: HPE ML110 Gen10 Xeon Silver, Qnap TS-h973AX ~100TB
NW: Fortigate, Ruckus, Zyxel XS1930HP 10Gb

Permalänk
Medlem

Hårdvara:
Xeon-d bräda med mycket minne är väl att rekommendera om du vill ha något stabilt att stå på.
Du kan kolla in mitt bygge om du vill ha lite inspiration.

Permalänk

Så FreeNas 10 i ESXi skulle kunna vara något? Såg att det fanns beta av FreeNas 10 att labba runt med. Vilket LSI kort är att rekommendera för säg åtta diskar?
Några förslag på setup av moderkort och processor? Är det värt med ECC-minne tro?

Permalänk

@terrakowski: Generellt går Freenas bäst direkt på hårdvaran,speciellt om du ska använda zfs.
Men, det finns alltså en Virtualbox server i Freenas, som verkar ska förbättras till 10:an, i så fall kör du ju Freenas direkt på hårdvaran o sätter upp shares sen skapar du tex en valfri VM om du behöver nån mer tjänst som inte finns i Freenas.

Permalänk
Inaktiv

Man kan lagra ganska mycket semesterbilder på 5xWD RED 6 TB

Vad har du för budget? Det är rätt stor chans att din NAS kommer bli rätt mycket dyrare än om du köper en "på stan". Jag skulle försöka få ut mer av sin NAS än bara köra just .. well ett filsystem och nätshare om man ändå vill spendera en massa pengar

Permalänk

@BABOON_ASS

Vad är fördelarna med ZFS sett till alternativen? Om det finns en Virtualbox server direkt i Freenas så borde ju det absolut vara det smidigaste!

@studiox_swe

Jo så är det säkert men då förlorar man mycket valfrihet och dessutom nöjet att bygga. Har ingen speciell budget faktiskt, blir det bra får det kosta helt enkelt. Vad tänker du på när du skriver "få ut mer av sin NAS"?

Permalänk

@terrakowski: ZFS med ECC är ett av de säkraste filsystemen, nackdelen är att det rekommenderas 1gb ram per tb lagring.

(En av utvecklarna säger för övrigt att det inte är så illa att köra utan ECC som man kan tro, det är nästan lika säkert som med ECC.)

Vad gäller den inbyggda Virtualboxen i Freenas så vet jag inte mer än att det funkar, men har inte testat nån 24/7 server så kan inte svara för prestanda och stabilitet, men det lät ju som om dom har förbättrat den till nästa version så det är ju bara att testa.

Personligen så fick jag lite "skitburkar" över så jag kör en "server" med ubuntu server på som har all lagring och sedan har jag en annan burk med Proxmox på för VM:s, och sedan en "Backup" med Freenas på som jag drar igång ibland o backupar till o sedan stänger av dels för att spara ström men åxå för att den inte ska ta stryk vid tex strömavbrott eller åska osv,denna skulle ju egentligen vara en offsite backup bakom en ups för bästa effekt, då skyddas man ju mot brand och stöld åxå, men har inte kommit dit ännu.

Permalänk

@BABOON_ASS

Jo det där med 1 GB ram per TB är ju inte så värst roligt. Det innebär att jag skulle behöva runt 64 GB ram om det ska ligga ett par virtuella maskiner på denna. Med ECC minne verkar det inte vara några problem att komma över 30 lök, känns lite mycket för den mängden lagring. Ska sägas dock att jag bara har slängt ihop en kundvagn lite snabbt på Webhallen...

Offsite för backup känns lite som ett måste men inte relevant för min del då det ej är sådan värdefull information som ska lagras.

Permalänk
Medlem

Byggde själv en NAS nyligen, dock något mer blygsam hårdvara Jag installerade OpenMediaVault, och tycker det fungerar kanon! Baserat på debian (linux), men installationen är simpel, och all konfig sker sedan via webgui från en annan maskin på samma nätverk. Du behöver alltså inte kunna linux.

Edit: Du får själv välja filsystem, så zfs är inget krav (du måste själv installera det om du vill använda det). Att rekommendera i de flesta fall för hemmabruk är ext4. Dock inget som hindrar att exportera shares med windowsvänliga samba. Testade detta, men kom fram till att NFS hade mycket bättre prestanda på mitt system, så jag använder det simultant med samba. Har kvar sambasharen då de androidappar jag använder för att streama musik etc från NAS'en kräver samba.

Permalänk

@Mikael07

Tack för tipset! Ska läsa på lite om OpenMediaVault, hade inte hört om detta tidigare
Det här med NAS var en större djungel än jag anade!

Permalänk
Medlem

Fundera en gång till på SilverStone DS380.
Jag byggde själv en NAS på det chassit för drygt ett år sedan med 6st diskar i.
Chassit är otroligt dåligt ventilerat. Jag satte i fullt med högpresterande noctuafläktar men fick nog när temperaturerna på hårddiskarna kröp upp mot 50 grader under en vanlig sommardag och under vintern runt 45.
Chassit stod även väl ventilerat.
Finns lite moddar man kan göra för att få det lite svalare, bara att googla.

Men om du fortfarande prompt skall ha det kan du få köpa mitt billigt.

Jag bytte till ett Fractal Design Node 804 istället och det må vara större men nu ligger diskarna mellan 28-32 grader, vilket var det viktiga för mig.

Ang. Mjukvara
Jag kör Xpenology som fungerar felfritt. Har några Docker Containers på den och kör Plex osv.
Kanske kan vara ett alternativ. Beror lite på hur mycket du vill köra VMs osv, då är inte Xpenology mitt första val.

Visa signatur

Om ni vill ha svar får ni Citera mina inlägg =)

Permalänk

@Vargaas

Tack för tipset! Ska absolut överväga Node 804 istället. Hur ser kabeldragningen ut för sex diskar, kaos?

Permalänk
Medlem

@terrakowski: körde min freenas i node 804 med 6 st 4 TB. Det blev rätt mycket kablar, hade dock bara semimodulärt nätaggregat!

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem
Skrivet av terrakowski:

@Vargaas

Tack för tipset! Ska absolut överväga Node 804 istället. Hur ser kabeldragningen ut för sex diskar, kaos?

Man får göra lite organiserat kaos
Det blir inte så mycket kablar som man kan tro. Jag har två från nätagget (4xSATA ström per kabel).
Sen har jag ett HBA som ger två Mini SAS till 4x SATA kontakter.

Sedan finns det säkert andra jättebra chassin också. Ville endast upplysa om DS380 brister.

Visa signatur

Om ni vill ha svar får ni Citera mina inlägg =)

Permalänk

Lite trångt blir det säkert men ska nog fungera. Vad hade ni valt för moderkort, cpu och ram? Någon variant av Supermicro med stöd för 64 GB ram verkar vara det som folk rekommenderar men vad för CPU och ram väljer man till detta?

Permalänk
Medlem
Skrivet av terrakowski:

Lite trångt blir det säkert men ska nog fungera. Vad hade ni valt för moderkort, cpu och ram? Någon variant av Supermicro med stöd för 64 GB ram verkar vara det som folk rekommenderar men vad för CPU och ram väljer man till detta?

Det beror lite på vad du ska använda det till. Ska du bara ha som NAS för lite semesterbilder skulle jag välja, förutom tillräckligt med SATA portar (rangordnat);

1. IPMI (så man slipper koppla in skärm och tgt-bord när något händer)
2. ECC minnen (minst 1Gb). Mot bitröta.
3. NAS diskar. Ex WD RED.
4. Låg strömförbrukning. Kostar att ha ett system på 24/7.
5. Vettig prisklass.

Vill du ha krypterade diskar är en CPU med AES-NI ett krav. Ev skulle jag lägga till en UPS för att skydda mot strömavbrott och fundera på ett chassi där externa platser för diskarna. Hot-swap är väl bra men ganska låg prio för min del.
Vill du ha något som drar CPU, tex plex i docker eller LXC, så måste du välja en CPU som klarar av att hantera det.

Jag ville ha krypterade diskar och även labba lite med VMar och därför hade jag lite mer krav på mitt system så jag hade följande krav;
1. IPMI
2. ECC minnen. Tillräckligt för att kunna köra några VMar
3. NAS diskar
4. AES-NI (kryptering)
5. VT-d. Direct IO, möjlighet att i tex ESXi dela hårdvara direkt till en VM.
6. UPS.
7. Låg strömförbrukning.
8. Priset.

I mitt fall slutade det med att jag köpte Supermicro X10SL7-F pga av IPMI, ECC och den har extra LSI SATA inbyggt. Till det köpte jag en Xeon 1231 v3 och 32Gb RAM. Jag installerade VMware ESXi på en USB-sticka och hade en gammal SSD över som jag har som storage till VMware.

Jag installerade en linux VM som jag delade LSI-kortet till och har 4 diskar kopplade till det och VMen. Sedan krypterade jag diskarna och kör btrfs RAID 1+0 ovanpå det. Orsaken till att jag valde btrfs och inte ZFS var mest pga jag ville ha Linux och stöd direkt i kärnan för filsystemet. Lägga till och kunna ta bort diskar som jag vill, vad jag har förstått är det ett problem att ta bort diskar från ZFS.
Jag har även skapat en subvolym i btrfs som jag delat via NFS till VMware. Därpå kör jag några VMar. Har inte blivit så mkt labbande, har inte haft tid och tappat lite av intresset. Men det funkar bra det jag testat. Att tänka på är att slå av CoW, copy on write, på subvolymen där man har VMar. CoW fungarar inte alls ihop med hur en VM skriver till disk.
Jag tittade på Rockstor men slutade med att jag installerade Ubuntu server. Kommer inte riktigt ihåg vad var som gjorde att jag valde bort Rockstor. Iaf kör jag utan GUI nu och saknar enkelheten med ett GUI.

Jag köpte även en online-UPS, motsvarande denna, för att skydda mot både undermålig ström och avbrott. Kostade inte så mkt mer med online, så varför inte?

I slutändan blev det rätt mycket pengar allt som allt och det drar en del ström. Ungefär 100W i idle och inkl UPS. Tror UPS tar bra mkt av det. Det gnager lite, men vet inte om det är pga att den är online eller om en UPS helt enkelt tar en del ström.

Permalänk
Medlem
Skrivet av grogt:

2. ECC minnen (minst 1Gb). Mot bitröta.

Får jag fråga lite om bitröta bara? Kollade upp lite på nätet, men de uppskattningar på hur ofta det förekommer varierar en hel del. Och såklart beror det på hårdvara, omgivning, etc. Men till vilken grad tycker du att man behöver bekymra sig om detta för en hemmaserver med musik och foton? Och hur löser ECC bitröta om filerna bara ligger på disk och tappar magnetisk orientation och skapar "soft errors"?

Permalänk
Medlem
Skrivet av Mikael07:

Men till vilken grad tycker du att man behöver bekymra sig om detta för en hemmaserver med musik och foton?

Det beror helt på hur du värderar data - dina foton och musik. En pixel som blir fel i ett foto spelar väl inte så mkt roll kanske. I det stora går ju inte världen under om hela foto blir korrupt. Du har ju säkert flera foton.
Men personligen vill jag kunna lita på att datat inte blir förändrat över tid. Jag vill i framtiden kunna plocka fram +20 år gamla foton, som varit med diverse NAS uppgraderingar och nya filsystem, och bli nostalgisk utan behöva se "igenom" trasiga pixlar, ränder mm.
Jag har själv haft filer som blivit korrupta, ljud i filmer som slutat fungera nån min in i filmen m.m. Foton som ser konstiga ut. Det kostar lite extra att spara med lite skydd, men tycker att det är värt det. Det är ju ändå mina och mina närmstas, minnen vi pratar om.
Men det är jag det. Hur du värderar och hanterar dina gamla foton helt upp till dig och din ekonomi.

Skrivet av Mikael07:

Och hur löser ECC bitröta om filerna bara ligger på disk och tappar magnetisk orientation och skapar "soft errors"?

Bitröta kan ske dels i minnet (RAM), dels på disk. ECC minnen påverkar inte alls i fall bitrötan sker på disken. Däremot har du minne med en felaktig bit så påverkar det när du läser och skriver till disken. Skriver du korrupt data redan från början är det direkt kört. Nu har ju inte min arbetsstation ECC minnen så i princip kan datat jag har där och sedan skriver till NASen vara skadat av bitröta. Men troligen kommer min nuv arbetsstation vara min sista som inte har ECC minnen.

Det har nyligen disskuterats i en tråd här på clockers där @Paddanx förklarade mer ingående här. Det finns även en tråd på FreeNAS där ECC minnen disskuteras och hur bitröta påverkar ditt data.

Permalänk
Medlem
Skrivet av grogt:

Det beror helt på hur du värderar data - dina foton och musik. En pixel som blir fel i ett foto spelar väl inte så mkt roll kanske. I det stora går ju inte världen under om hela foto blir korrupt. Du har ju säkert flera foton.
Men personligen vill jag kunna lita på att datat inte blir förändrat över tid. Jag vill i framtiden kunna plocka fram +20 år gamla foton, som varit med diverse NAS uppgraderingar och nya filsystem, och bli nostalgisk utan behöva se "igenom" trasiga pixlar, ränder mm.
Jag har själv haft filer som blivit korrupta, ljud i filmer som slutat fungera nån min in i filmen m.m. Foton som ser konstiga ut. Det kostar lite extra att spara med lite skydd, men tycker att det är värt det. Det är ju ändå mina och mina närmstas, minnen vi pratar om.
Men det är jag det. Hur du värderar och hanterar dina gamla foton helt upp till dig och din ekonomi.

Tack för ingående svar! Jag värderar min data ganska högt ändå! Det intressanta är ju till vilken grad bitrötan påverkar datan över rimlig tid. Som du säger, några pixlar är ju inte hela världen, men om det börjar bli synliga artefakter är det ju mindre kul, och om hela fotot/musikfilen blir korrupt kan det ju bli mycket tråkigt. Har varit med om att bitröta påverkat mp3-filer, och det var inte så kul att lyssna på med blirps och blops här och där hela tiden. Men det var inte på mina diskar, så jag vet inte hur de underhölls.
Har ett gäng foton som varit med i 12 år och har nog migrerat ett dussintal gånger vid det här laget. Ska kolla igenom dem och se om det har blivit någon förruttnelse.
För datamigration borde det väl finnas gott om stöd för att kopiera filer och jämföra bit för bit med originalet? Då eliminerar man väl behovet av ECC (för arkiveringssyfte)?

Permalänk
Medlem

@Mikael07
När jag så här i efterhand läser vad jag skrivit tycker jag det låter lite pretto. Är inte min mening om något uppfattat det så.

Har funderat lite mer på frågan "till vilken grad man ska oroa sig". Så som jag ser det är främst 3 punkter som gör att jag vill skydda mig mot bitröta.

1. Det är omöjligt att i förväg avgöra eller estimera hur mycket skada bitröta gör eller på vad. Har jag tur får jag inte bitröta över huvudtaget. Alternativt så händer inte mycket. En pixel i ett foto - ingen större skada.
Har jag däremot maximal otur är det tillräckligt med felaktiga bitar och på fel ställe, för att jag ska förlora hela partitionen eller stora delar av vad jag vill bevara.
Det finns säkert någon undersökning som statistiskt ger svar på hur stor, eller liten, sannolikheten är att råka ut för bitröta. Ska jag vara ärlig vet jag inte. Men även med liten sannolikhet kan man få stora problem.

2. Jag får inte i förväg reda på om det är något problem. En disk eller minne kan helt plötsligt gå sönder och ger felaktigt data. Jag vet inte om det förrän jag ska använda datat och då.. tja då är det redan försent.

3. Slutligen, pengar. Istället för att lägga pengar på hårdvaruraid, eller hot-swap chassi, så lägger jag pengar på ECC minnen. Så mycket mer kostar inte ECC minnen mot vanliga. Men allt är beroende på ekonomi, jag själv har råd. Men har man inte råd så har man inte råd. En NAS byggd med vanliga minnen är bättre än inget alls.
Filsystem som skyddar mot bitröta på disk såsom ZFS och BtrFS är gratis som tur är.

Permalänk
Medlem
Skrivet av terrakowski:

Hejsan!

Ska nu under våren bör ja snickra på en lite mer seriös NAS.

Nasen ska användas till att lagra stora mängder semesterbilder. Lite olika applicationr ska också kunna rulla så som Plex Media server etc..

HÅRDVARA:
Chassi: SilverStone DS380B
Hårddiskar: (5xWD RED 6 TB) för att i framtiden kunna utöka detta.
Moderkort: Mitx är ett krav men sedan har jag ingen aning om vad som skulle funka.
Processor: Denna beror lite på vad det blir för moderkort
Kontroller: Inser att jag kommer behöva ett Raid-kort av någon modell då inget moderkort med lite klös i verkar ha fler än sex stycken SATA portar
Minnen: Ska ju passa i moderkortet och stödja ECC
PSU: Här hittar jag något lämpligt

MJUKVARA:
Här är jag som minst påläst tyvärr, vad är det jag bör köra på en sådan server?
Behöver kunna RAIDA diskarna i RAID 5, gärna men kryptering dessutom.
Folk pratar om Freenas.. etc Jag hade tänkt köra den med Windows bara men här tror jag ni sitter på många bättre lösningar.

Har ni några tips på hur jag kommer vidare i tankegången? Väldigt tacksam för svar!

//Terrakowski

Här är mitt recept på NAS.

* ZFS - kanske viktigaste av allt, och alla andra krav styrs av detta.
* ECC RAM minimum 8 GB + vad VM behöver (ZFS käkar RAM och det finns ingen anledning att svälta den)
* Billigaste processorn som klarar jobbet (pris per passmark score så lågt som möjligt + andra funktioner som behöver eg AES-NI)
* Server grade moderkort (supermicro eg)
* LSI kontrollerkort utan raid (eg lsi 9240-8i med plats för 8 SATA diskar)
* NAS/Enterprise hårddiskar (eg Ironwolf eller Red, just nu verkar 4TB ge mest ZFS GB/pengar)
* Intel nätverkskretsar (moderkort eller PCIE)
* Chassi som ventilerar diskarna till under 45 grader

När det kommer till att bygga server kräver ZFS en del pluggande. Om man vill använda "färdiga" OS som FreeNAS får man endel serverat men inte allt.
En utmaning är hur man sätter upp sina diskar. ZFS kan leverera det mesta konfigurationer men vissa är vettigare än andra.

Något att tänka på när man jobbar med ZFS är att en vdev inte är expanderbar (inte enkelt iaf)
Dina 5 diskar är inte optimalt. Bakgrunden är hur ZFS fungerar. Du bygger något som kallas vdev. En ZFS pool består sen av en eller flera vdev. En fil skrivs sen till ett dataset i poolen. Det finns flera sätt att bygga vdevs (mirror, stripe, RAIDZ, RAIDZ2 mm).

Det säkraste sättet att bygga en ZFS Pool är att bygga den av mirror vdev. Du parar hårddiskarna två och två och du sätter ihop så många sånna du vill. Detta gör att du kan expandera din pool, även om du inte kan expandera en vdev.

http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-n...

Det finns kalkylatorer för att plannera sina vdevs

https://jsfiddle.net/Biduleohm/paq5u7z5/1/embedded/result/

Det gäller att lära känna sin nya server och testa, testa... testa

https://forums.freenas.org/index.php?threads/building-burn-in...
https://forums.freenas.org/index.php?threads/how-to-hard-driv...

Och kanske det viktigaste av allt, Backup!
Fundera ut hur du ska backa upp din NAS box. Det finns många alternativ men se till att dina bilder klarar en husbrand!!
och Testa din lösning innan du sätter den i "produktion"

__

Den senaste "budget" servern jag byggt inför släppet av FreeNAS 10 är

* Dell SuperServer T20, 3700 sek på dustin
* 2 x 8 GB ECC RAM, 1000 sek på amazon
* 4 x 2 TB IronWolf i två vdev = ~3,1 TB netto lagring (då ZFS ej bör fyllas mer än 80%) eller ~1000 sek/TB, (~ 6,3 TB med IronWolf 4TB, ~840 sek/TB)
* MegaRAID SAS 9240-8i (inte ett krav med bara 4 diskar, men va fan ^^), från Ebay

totalt pris för detta ca 8000 sek (men jag fick tillbaka lite av dom pengarna på Dell cashback plus att jag sålde hårddisken och minnet som kom med från Dustin)
Mer än hälften är lagring/minnen (ett bra riktvärde)