Bygga egen NAS med plex för hemmabruk

Permalänk
Inaktiv

@Garmzon: Jo det är en stor risk, oavsett om man har backups eller inte. Krashar din nya vdev, så förlorar du all data i hela poolen. OpenZFS rekommenderar inte att man skapar nya vdevs för att utöka lagringen och de påstår att vi kommer ha möjlighet till riktig expansion till samma vdev nästa år. https://www.youtube.com/watch?v=Njt82e_3qVo

Bara för att man har backups så betyder det inte att man kan riskera sin data när man skapar flera vdevs. Det är som att säga "jag bryr mig inte att jag röker en cigg varje timma, jag kan ju alltid gå på lungoperation".

Jag fattar vad du menar med backups, men du missförstår hela syftet med ZFS och ett filsystem. Ingen ska få behöva riskera sin data när man utökar lagring i ett modernt filsystem.

Permalänk
Medlem
Skrivet av anon285805:

@Garmzon: Jo det är en stor risk, oavsett om man har backups eller inte. Krashar din nya vdev, så förlorar du all data i hela poolen. OpenZFS rekommenderar inte att man skapar nya vdevs för att utöka lagringen och de påstår att vi kommer ha möjlighet till riktig expansion till samma vdev nästa år. https://www.youtube.com/watch?v=Njt82e_3qVo

Bara för att man har backups så betyder det inte att man kan riskera sin data när man skapar flera vdevs. Det är som att säga "jag bryr mig inte att jag röker en cigg varje timma, jag kan ju alltid gå på lungoperation".

Jag fattar vad du menar med backups, men du missförstår hela syftet med ZFS och ett filsystem. Ingen ska få behöva riskera sin data när man utökar lagring i ett modernt filsystem.

Ge dig, ZFS är byggd på mirror vdev och multipla vdevds är design intent. Enskilda vdevs har inbyggd redundans enligt den risk man är villig att ta. Att man sen har fler än en spelar ingen som helst roll..

Skickades från m.sweclockers.com

Permalänk
Inaktiv

Litar jag på OpenZFS, dokumentation och fakta eller på nån random snubbe från Sweclockers... hmm, choices!

Ge upp, du har ingen argument och du förstår inte syftet med ZFS.

Permalänk
Medlem

Alltså har du nån som helst dokumentation på vad du säger?

Här har du i alla fall ett citat från OpenZFS..

Citat:

The use of multiple top level vdevs will affect IOPS in an additive manner where total IOPS will be the sum of the top level vdevs. Consequently, the loss of any main top level vdev will result in the loss of the entire pool, such that proper redundancy must be used on all top level vdevs.

Om du har en officiell rekommendation mot multipla vdevs så vill jag gärna se den, många med mig skulle nämligen bli något förvånade då i stort sätt alla ZFS implementationer i produktion använder sig av multipla mirror vdev..

Skickades från m.sweclockers.com

Permalänk
Medlem

Här har du ett citat till

Citat:

Two-disk failures are common enough[5] that raidz1 vdevs should not be used for data storage in production. 2-disk mirrors are also at risk, but not quite as much as raidz1 vdevs unless only two disks are used. This is because the failure of all disks in a 2-disk mirror is statistically less likely than the failure of only 2 disks in a parity configuration such as raidz1, unless only 2 disks are used, where the failure risk is the same. The same risks also apply to RAID 1 and RAID 5.

http://www.open-zfs.org/wiki/System_Administration

Och denna är även den bra läsning
http://www.openoid.net/zfs-you-should-use-mirror-vdevs-not-ra...

Skickades från m.sweclockers.com

Permalänk
Medlem

ixSystems är ganska skarpa på ZFS och dom säljer dessa https://www.ixsystems.com/truenas/

Ingen av dom har så få diskar att du skulle kunna köra dom i en enda vdev. En raidZ vdev bredare än typ 8 diskar är en prestandamardröm

Skickades från m.sweclockers.com

Permalänk
Inaktiv

Vi pratar om RAIDZ expansion och inte mirrors. Men om du tycker att det är en bra ide att skapa flera vdevs i samma pool istället för att utöka en vdev med nya diskar, så får du tycka det. Förstår inte varför du tar upp för och nackdelar med mirrors när vi snackar om RAIDZ :S OpenZFS kommer ge möjlighet till RAIDZ expansion om några år från och med nu, så det är bara att bita i det sura äpplet och acceptera att RAIDZ är mer populär än mirrors.

Permalänk
Medlem

Det spelar ingen roll vilken vdev typ du använder.. multipla vdevs är definitivt ett krav om du tänkt sjösätta fler än 8-12 diskar. Något som exempelvis en av OpenZFS co-author Allan Jude jobbar med till vardags. Hans föreläsningar och böcker är värt att läsa ifall man vill ha lite på fötterna om ZFS men det har du väl redan gjort?
FreeBSD Mastery: ZFS (IT Mastery Book 7) (English Edition) https://www.amazon.de/dp/B00Y32OHNM/ref=cm_sw_r_cp_api_xMQjBb...

Skickades från m.sweclockers.com

Permalänk
Medlem

Skärp till er och kom med något konstruktivt till ts istället. Vill ni gräla om tekniska termer å citat kan ni gå pm.

Visa signatur

Fractal Design Define R6, ASUS X99a, Xeon E5-2697v3@3.5Ghz allcore, 64gb Hynix ECC REG 2133Mhz, ASUS 1070GTX, 2.5gb nic

Server: Proxmox med OMV 5 och annat virtuellt: Supermicro X9SRH-7F, 64gb RAM, Xeon 2651v2, 4x10tb, 2.5gb Nic

Permalänk
Medlem

Kan vi inte prata om antal hårddiskar vs storlek. Vad som är optimalt att starta med?

2x3TB, 3x2TB 6x1TB ? RAID5? raid6?

hur tycker ni man ska resonera? har "endast" 2TB data i dag men det kommer öka såklart speciellt med tanke på att rippa sina bluerays bland annat

Permalänk
Medlem

Servern jag har hemma nu har 4 platser för disk. Då jag redan hade 2 st 2TB diskar när jag köpte den la jag in dom som enkel mirror vdev och när jag hade mer än 1TB data köpte jag två nya 4TB diskar och la till dom i poolen som ytterligare en mirror vdev. På få antal diskar tycker jag inte det finns någon poäng med RAIDZ. På grund av storleken på diskar idag och tiden det tar att göra en resilver (eller byte ev disk) så är rekommendationen från OpenZFS med flera att inte använda sig av RAIDZ1 (mots RAID5). Risken att det uppstår fel på ytterligare en disk under utbytesfasen är helt enkelt oacceptabelt stor.

Den kostnadseffektivaste poolen idag är nog 8x4TB diskar i RAIDZ2 för runt €50/TB. Men har man inte ett behov av 18 TB är det fortfarande en stor investering.

Jag tycker du ska planera för hur mycket data du faktiskt kommer lagra och sen kan du räkna lite på priser med https://jsfiddle.net/Biduleohm/paq5u7z5/1/embedded/result/

Den ger en bra approximation av vad olika konfigurationer ger för netto TB och säkerhet.

Antal diskar spelar som sagt roll, för ”normala” chassin med upp till kanske 6 diskplatser skulle jag sätta i fyra diskar i mirrror vdevs och spara två platser. Den ena skulle jag sätta en 120 GB SSD för OS och den andra skulle jag använda för att byta ut diskar i poolen.

Med 4 diskar i 2 mirror vdevs får du; 3,1 TB med 2 TB diskar, 4,7 TB med 3 TB diskar, 6,3 TB med 4 TB diskar och 9,4 TB med 6 TB diskar.

Allt detta baserat såklart på att man gör det enda vettiga och använder ZFS för lagring

Skickades från m.sweclockers.com

Permalänk
Medlem

Investeringen i alltför stor pool är var skon klämmer och då fick jag inte heller ihop ekvationen att köra raidz2. Om man kör 2 mirror vdevs med 4 diskar är dem då i samma pool eller kör man 2 separata pooler? När du snacka om 4 diskar funderade jag på om jag kunde köra med mina 2x1TB och sen köpa 2 st större. Om någon av 1TB går sönder kommer det påverka dem större då?

Permalänk
Medlem

@miyago: Nej, alltså en pool består av en eller flera virtual devices (vdev) som i sin tur består av en eller flera diskar. Du förlorar mycket av funktionen med ZFS ifall du har en enda disk i en vdev. Du vill ha någon form av redundans och småskaligt är mirror helt okey. Du kan bygga en pool med en enda RAIDZ2 vdev med 4 diskar, då kan du förlora vilka två diskar som helst innan du börjar förlora data. Grejjen är att IOPS på den poolen blir densamma som den långsammaste disken i det fallet och om dom är olika stora blir den totala storleken på poolen [antal diskar * storleken på den minsta] - [2 diskar paritet] - [metadata].

Om du kör dubbla mirror vdevs förlorar du möjligheten att förlora vilken disk som helst, du kan bara förlora en disk per vdev. Men du kan ha olika stora vdev. Storleken på en mirror vdev är helt enkelt lika med den minsta i paret minus metadata. En annan fördel är att det går mycket snabbare att ersätta en disk som börjar ge ifrån sig S.M.A.R.T fel eller slocknar

Permalänk
Medlem
Skrivet av anon193054:

Behövs inte en rätt schyst GPU för bra transcode från typ 4K/HDR? Jag har iofs en Ryzen vilket ställer till det men vad jag har förstått med hobbyläsning så skulle mycket sådant bli bättre om jag slängde det på en GPU ist. Rätta mig gärna, jag vill också lära mig

Jag kör hw med en i5 8600T, 3 st 4k ~70Mbps till 1080p 10Mbps med ca 60% usage.

Sen rekommenderar även jag unraid, allt blir enkelt och fungerar då.

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem
Skrivet av miyago:

Investeringen i alltför stor pool är var skon klämmer och då fick jag inte heller ihop ekvationen att köra raidz2. Om man kör 2 mirror vdevs med 4 diskar är dem då i samma pool eller kör man 2 separata pooler? När du snacka om 4 diskar funderade jag på om jag kunde köra med mina 2x1TB och sen köpa 2 st större. Om någon av 1TB går sönder kommer det påverka dem större då?

En exempelbild på hur en ZFSpool kan se ut med 4st. VDEVs.
Man kan ha olika antal diskar i varje VDEV för redundansens skull men en VDEV kommer alltid att behålla samma storlek i en pool oavsett antal diskar som används för redundans per VDEV.

Du kan alltså utöka poolen med en 5:e VDEV och på så vis lägga till 4TB mer utrymme till poolen. Redundansen för varje VDEV påverkar inte den tillgängliga lagringskapaciteten.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk
Medlem
Skrivet av krigelkorren:

En exempelbild på hur en ZFSpool kan se ut med 4st. VDEVs.
Man kan ha olika antal diskar i varje VDEV för redundansens skull men en VDEV kommer alltid att behålla samma storlek i en pool oavsett antal diskar som används för redundans per VDEV.

https://i.imgur.com/9a4KjHh.png

Du kan alltså utöka poolen med en 5:e VDEV och på så vis lägga till 4TB mer utrymme till poolen. Redundansen för varje VDEV påverkar inte den tillgängliga lagringskapaciteten.

Ja det verkar vara en bra lösning och lätt att uppgradera i framtiden. Två frågor. Uppfattar clienter som ansluter sig till servern på något sätt poolen som en enda stor lagring? eller är det en för varje VDEV?

Kan jag använda olika stora diskar i olika vdevs? tex 2x4TB och 2x2TB blir en ZFSpool?

Permalänk
Medlem

Med ZFS skapar du något som kallas dataset. Dom kan man tänka på som filsystem. Datasetet har tillgång till all lagring som finns tillgängligt i poolen den skapats i.

I FreeBSD, Linux etc finns inte diskar så som du är van vid från Windows. Istället för enhetsbokstäver monterar man lagring i en root struktur. Med andra ord, vilken mapp som helst kan vara ett eget dataset, hårddisk med något traditionellt filsystem, nätverksdisk etc

Allt användarna ser är mappar

Skickades från m.sweclockers.com

Permalänk
Medlem

Om du vill prova på ZFS och FreeNAS tycker jag du ska läsa igenom dessa länkar, dom svarar på dom flesta frågor man kan tänkas ha

https://doc.freenas.org/11/zfsprimer.html#zfs-primer
https://forums.freenas.org/index.php?threads/slideshow-explai...
https://forums.freenas.org/index.php?threads/terminology-and-...

och såklart, läs igenom manualen
http://doc.freenas.org/11/freenas.html

Permalänk
Medlem

Kanske är OT nu, men tolkade det som att du inte besämt dig för vad du ska köra för chassi, jag skulle starkt rekommendera detta:

https://www.servercase.co.uk/shop/server-cases/rackmount/4u-c...

Kör det i min NAS och det är sjukt trevlig

Permalänk
Medlem

@gonace: ska man inte ha 24 diskar kan man köpa något lite mer anpassat för hemmabruk
http://mullet.se/product.html?product_id=340261

Permalänk
Medlem

är nog inne på ett mindre chassi men moderkortet är mATX 24cmX24cm

sitter och kollar på om man skulle kunna bygga chassit själv för att passa hemma miljön

Permalänk
Medlem

Såhär resonerar jag personligen vad gäller mediaserver/medialagring, jag har kört med Plex i lite olika servrar under 4-5 år. Alla tycker vi olika...

1) Media kan laddas ned igen, RAID är enligt mig lite överkurs för nedladdad media - Ladda ned det igen, och kör 1:1 kopia på det material som är svåråtkomligt. Allt annat viktigt (bilder, dokument) trycker du upp i molnet eller / och cold storage på disk.

En arbetskamrat har kört en Synology med 8 bays á 3TB (24TB) där en hårdvarukomponent gick sönder, vare sig han får en ny Synology eller väljer annan lösning Får hoppas ingen disk rasar när han bygger upp arrayen igen..

Personligen tar jag hellre risken och köper ny disk och ersätter materialet, eller får en ersättningsdisk om garantitiden inte utgått. RAID is not a backup osv.

Än en gång, vi tycker olika. Vissa vill pilla och hatar på Windows mm.

2) Xeon, ECC och server-moderkort i all ära, men kostnaden reflekterar inte alltid prestandan och dess funktionalitet för dig som svensson. Datorkomponenter har ofta en lång livslängd, och chansen är att du vill uppgradera innan grejerna går sönder. På begagnatmarknaden kan man förvisso göra extrema fynd på dessa typer av utr.

3) Operativsystem. Jag har bara kört Win server 2008, 2012, 2016...unraid ser ju trevligt ut men faktum är att jag nyttjar min server till lite annat. Jag känner inte att jag offrat något med mitt val så att säga, utan satsar på enkelheten.

Jag har en själv en Dell T20 minitornserver jag ägt i två år och jag kommer gå över till en hederlig pc (i5 8400, z370 mini-ITX, M2-disk) med FD node 804 alt. 302 vad det verkar och bygga en NAS pga platsbrist. Extremt nöjd med maskinen i övrigt.

Visa signatur

“More Human Than Human”
kniffswelt

Permalänk
Medlem

Tack för dina råd @KniFF, jag har märkt när jag läste på om det här att det finns många nivåer och vinklar man kan gå.

Mina komponenter är antagligen inte rättfärdigat för min anvädning för tillfället men jag valde dem ändå mycket på grund av stabiliteten och möjlighet till expansion. Alternativet var färdig NAS eller "vanliga" datorprylar och det lät inte som om någon tycker det är en bra idé, åtminstone inte det sistnämnda.

Jag valde inte heller enfärdigbyggd server för jag ville göra eget chassi

Permalänk
Medlem

Hur gick det sen?

Skrivet av miyago:

Tack för dina råd @KniFF, jag har märkt när jag läste på om det här att det finns många nivåer och vinklar man kan gå.

Mina komponenter är antagligen inte rättfärdigat för min anvädning för tillfället men jag valde dem ändå mycket på grund av stabiliteten och möjlighet till expansion. Alternativet var färdig NAS eller "vanliga" datorprylar och det lät inte som om någon tycker det är en bra idé, åtminstone inte det sistnämnda.

Jag valde inte heller enfärdigbyggd server för jag ville göra eget chassi

Hur har det gått nu då Miyago?
Hur blev slutresultatet?