Forum Datorkomponenter Lagring Tråd

Hur många zfs vdevs för ”hemmafilmer”?

1
Skriv svar
Permalänk
Medlem
●

Hur många zfs vdevs för ”hemmafilmer”?

Tänkte sätta upp en 24-disks nas i truenas CORE (gratisalternativet) som endast ska agera lagring för ~50gb stora hemmafilmer, som ska streamas till Plex (infuse). Dock mestadels lokalt hemma, så minimalt med transcoding, dels för att jag kör med infuse, men även för att det som sagt är lokalt (mot enheter som inte kräver transcoding).

Målet är väl 20TB diskar i alla slots, men plånboken spricker om jag köper alla på en gång. Så börjar väl med ett gäng först och slänger in fler efter hand. Vill också ha möjlighet att öka utrymmet till större även när alla 24 slots är fulla med 20TB diskar i framtiden (när större diskar till rimliga priser finns)

Dvs det ska endast vara lagring av dessa 2,5h långa hemmafilmer. All hantering av dessa (Plex, qbittorrent, radarr osv) sköts från en annan nas samt en intel nuc med proxmox. Så ingen docker, vm eller liknande.

Jag tänker att jag ska köra raidz2 då jag inte vill förlora så mycket utrymme som man gör i mirror och raidz3 känns lite overkill.

Så vad rekommenderar ni att man kör för antal vdevs?

Som jag förstått det kan man oavsett antal vdevs få det i en och samma pool i zfs så det blir som ”en disk” men att man förlorar två diskar per vdev?

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av naaw:

Jag tänker att jag ska köra raidz2 då jag inte vill förlora så mycket utrymme som man gör i mirror och raidz3 känns lite overkill.

Så vad rekommenderar ni att man kör för antal vdevs?

Som jag förstått det kan man oavsett antal vdevs få det i en och samma pool i zfs så det blir som ”en disk” men att man förlorar två diskar per vdev?

Gå till inlägget

Du kan ju t.ex. köra 8*3 raidz2. Du får då 360TB användbar lagring i en pool. Det är plats för 7200 filmer (på din familj) vilket är motsvarande att du kan filma dem dygnet runt i två år. Är det för lite så kan du chansa och köra 12*2 och får då 400TB vilket ger dig ett kvartal till.

Men du har 'bara' råd att tappa 3-5 diskar innan du blir av med alla data och är de i samma låda är det inte otänkbart att du t.ex. spiller en kopp kaffe eller att blixten tar ett gäng på samma gång.

Men ditt use-case har extremt låga krav så det gör inte så stor skillnad. Diskprestandan för läsning är ungefär 100MB * antalet diskar avrundat nedåt till den långsammaste diskens prestanda.
Så du är och nosar på siffror som överstiger 10GE reads, d.v.s om dina filmer är på 50Mbit så kan du streama det till 200 skärmar parallellt innan du behöver fundera på ett till nätverkskort..

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Kamouflage:

Du kan ju t.ex. köra 8*3 raidz2. Du får då 360TB användbar lagring i en pool. Det är plats för 7200 filmer (på din familj) vilket är motsvarande att du kan filma dem dygnet runt i två år. Är det för lite så kan du chansa och köra 12*2 och får då 400TB vilket ger dig ett kvartal till.

Men du har 'bara' råd att tappa 3-5 diskar innan du blir av med alla data och är de i samma låda är det inte otänkbart att du t.ex. spiller en kopp kaffe eller att blixten tar ett gäng på samma gång.

Men ditt use-case har extremt låga krav så det gör inte så stor skillnad. Diskprestandan för läsning är ungefär 100MB * antalet diskar avrundat nedåt till den långsammaste diskens prestanda.
Så du är och nosar på siffror som överstiger 10GE reads, d.v.s om dina filmer är på 50Mbit så kan du streama det till 200 skärmar parallellt innan du behöver fundera på ett till nätverkskort..

Gå till inlägget

Tack för förslaget och den fina uträkningen.

Några funderingar..

1. Vad är det du menar att jag chansar på om jag väljer 12*2 istället?
2. Går det att få dem i en pool som jag nämnde i inlägget? (Får lite blandade budskap när jag söker efter informationen)
3. Gissar att det inte är någon mening med att dedikera en eller två platser för SSD-cache och ”bara” köra 20 platser för lagringen?
4. Om jag väljer att köra 8*3 eller 12*2 (eller vad det kan bli med 20 diskar om jag kör SSD-cache), är det möjligt att utöka med större diskar i framtiden, när alla platser är upptagna med diskar, eller är jag låst till det jag har? (Även här har jag hittat lite blandad info)

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av naaw:

Tack för förslaget och den fina uträkningen.

Några funderingar..

1. Vad är det du menar att jag chansar på om jag väljer 12*2 istället?
2. Går det att få dem i en pool som jag nämnde i inlägget? (Får lite blandade budskap när jag söker efter informationen)
3. Gissar att det inte är någon mening med att dedikera en eller två platser för SSD-cache och ”bara” köra 20 platser för lagringen?
4. Om jag väljer att köra 8*3 eller 12*2 (eller vad det kan bli med 20 diskar om jag kör SSD-cache), är det möjligt att utöka med större diskar i framtiden, när alla platser är upptagna med diskar, eller är jag låst till det jag har? (Även här har jag hittat lite blandad info)

Gå till inlägget

3. Nej, men då gör jag antagandet att du inte kollar på samma film på repeat, eller att du inte har igång många strömmar av samma film samtidigt.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av naaw:

1. Vad är det du menar att jag chansar på om jag väljer 12*2 istället?

Gå till inlägget

Det är väl just hur lång tid resilver-operationen kommer ta för t.ex. 12x20TB, och risken att något ytterligare rasar under den perioden av onormalt hög aktivitet. (Och då allmänt "2 av hur många?")

Skrivet av naaw:

2. Går det att få dem i en pool som jag nämnde i inlägget? (Får lite blandade budskap när jag söker efter informationen)

Gå till inlägget

Ja, en pool kan bestå av flera vdevs

Skrivet av naaw:

3. Gissar att det inte är någon mening med att dedikera en eller två platser för SSD-cache och ”bara” köra 20 platser för lagringen?

Gå till inlägget

Förmodligen inte direkt meningsfullt, utifrån hur jag förstått användningsområdet iaf

Skrivet av naaw:

4. Om jag väljer att köra 8*3 eller 12*2 (eller vad det kan bli med 20 diskar om jag kör SSD-cache), är det möjligt att utöka med större diskar i framtiden, när alla platser är upptagna med diskar, eller är jag låst till det jag har? (Även här har jag hittat lite blandad info)

Gå till inlägget

Nja... Det går rent tekniskt men inte snabbt och smidigt utan på ett närmast plågsamt vis. Om du byter en disk i taget i en vdev tills alla diskarna är en större storlek så kan sedan, när alla är bytta, det större utrymmet nyttjas.

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●
Skrivet av naaw:

Tack för förslaget och den fina uträkningen.

Några funderingar..

1. Vad är det du menar att jag chansar på om jag väljer 12*2 istället?
2. Går det att få dem i en pool som jag nämnde i inlägget? (Får lite blandade budskap när jag söker efter informationen)

Gå till inlägget

1. Ju fler diskar i samma RAIDZ2 desto större risk blir det ju. Tre diskar är minimum, då måste alla tre dö för att något ska förloras. Med 8 diskar kan 2 valfria av de 8 dö utan dataförlust. Med 12 kan 2 valfria av de 2 dö utan dataförlust. Sannolikheten att tre diskar i samma RAIDZ2-vdev dör ökar ju förstås ju fler diskar du har i dem. (Och sannolikheten att flera diskar dör under en rebuild lär också öka ju fler diskar du har per vdev.)
2. Jo, du ska kunna köra allt i samma pool vad jag vet. Rekommenderar att experimentera med "låtsasdiskar" för att själv känna att du förstår exakt hur allt funkar, speciellt smidigt om du är van vid kommandoraden. Man kan bara skapa "diskar" med kommandot "truncate -S 2G <filnamn>" så får du en "disk" på 2 GB som till en början tar 0 plats. Skapa ett gäng och skapa ett gäng vdevs i en pool, kopiera in lite data, och se hur den beter sig; du kan även testa vad som händer när diskar försvinner, eller när man skriver över innehållet i den med nonsens.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6700K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av naaw:

Tack för förslaget och den fina uträkningen.

Några funderingar..

1. Vad är det du menar att jag chansar på om jag väljer 12*2 istället?
2. Går det att få dem i en pool som jag nämnde i inlägget? (Får lite blandade budskap när jag söker efter informationen)
3. Gissar att det inte är någon mening med att dedikera en eller två platser för SSD-cache och ”bara” köra 20 platser för lagringen?
4. Om jag väljer att köra 8*3 eller 12*2 (eller vad det kan bli med 20 diskar om jag kör SSD-cache), är det möjligt att utöka med större diskar i framtiden, när alla platser är upptagna med diskar, eller är jag låst till det jag har? (Även här har jag hittat lite blandad info)

Gå till inlägget

1. Det finns mängder av underlag på internet för att beräkna risken för dataförlust för dom olika konfigurationerna. Vad jag har erfarenhet av, och vad som generellt anses vara lite best practice är att man sällan ser RAID6/RAIDZ2 på en grupp över 10diskar. 8, som är ett av dina alternativ är vad jag skulle säga en av dom vanligaste när man även mill maximera utrymme. Så skulle jag göra en rekommendation baseat på branchpraxis så säger jag 8x3 RAIDZ2, alternativt 12x2 RAIDZ3. Med det sagt, så tror jag inte det faktiskt spelar så en jättestor roll så länge du undviker RAIDZ1, med tanke på vad det är för data och belastningen. Kan dock nämna att jag var med om nyligen dataförlust pga att tre diskar rasade i samma grupp, så det händer...

2. Det är inga problem alls att lägga flera vdevs i samma pool, snarare tvärtom, är ju det som rekommenderas. Kör själv Två vdevs med mirror hemma (dvs samma som RAID10).

3. Ska det bara vara massmedia för stora filer så skulle jag säga nej, finns ingen poäng med flashlagring och använda det för cachning etc. Har själv två SSDer i min truenas utöver mina 4a HDDer, men har det som lagring för jails och Dataset/loggar osv.

4. Ja det går, men är inte supersmidigt, och vad jag vet så rekommenderas det att undvika det. Men du får byta en disk i taget och köra en resilver varje gång tills alla är bytta, då kan du utöka volymen. Har du många diskar i din vdev, som dessutom är gamla, så är det förhöjd risk att det kommer smälla disk under processen.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem
●

Tack för alla svar!

Verkar ju helt klart som att utöka med större diskar i framtiden, när alla diskplatser är upptagna och det inte går att lägga till fler diskar, inte är något man borde ge sig på. Är väl tyvärr den saken som står och väger om jag ska köra unraid istället för truenas. Så där har jag något att fundera över istället för att sova.

Anledningen till att jag frågade angående chansa/risken var för att jag undrade om det var något annat än just risken att flera diskar går. Att hela raiden skulle rasa är väl egentligen inget jag skulle ligga sömnlös över, även om det så klart är segt att låna tillbaka hemmafilmerna. förstår att man inte vill köra raidz1, men att bli av med två diskar i varje vdev suger ju lite också. Har kanske blivit bortskämd med synology där jag kört alla i en enda raid6 pool och således bara "förlorat" två diskar. Å andra sidan har det ju inte handlat om några 24 diskar då.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Hur löser du backup av filerna?

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av joakim99:

Hur löser du backup av filerna?

Gå till inlägget

Om du fattar vad TS menar med sina citattecken, så borde du också inse att det troligen inte heller behövs egen backup, utan att den faktiskt redan finns i "molnet".

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Ett alternativ är att dela upp diskarna i flera pooler. Då förlorar du inte all data om en vdev pajar. Det blir också lättare att uppgradera till större hårddiskar .

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon75480:

Om du fattar vad TS menar med sina citattecken, så borde du också inse att det troligen inte heller behövs egen backup, utan att den faktiskt redan finns i "molnet".

Gå till inlägget

Om allt finns i molnet och är enkelt att plocka hem så ser jag inte en anledning att bygga sig en lagringsserver med 20 diskar.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av joakim99:

Om allt finns i molnet och är enkelt att plocka hem så ser jag inte en anledning att bygga sig en lagringsserver med 20 diskar.

Gå till inlägget

För att det är kul, duger det?

Visa signatur

Gigabyte FO32U2P | RX 9070 XT | AMD R7 5800X3D | 32GB 3600MHz DDR4 | Gigabyte X570 Aorus Master | 5TB NVMe | 80TB NAS | Seasonic Focus GX 1000 3.1 | Audeze LCD2 Classic | Fractal North XL | LG CX55 | Yamaha HS7+HS8S | Nvidia Shield TV Pro (2019)

Citera för svar!

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Meto:

Ett alternativ är att dela upp diskarna i flera pooler. Då förlorar du inte all data om en vdev pajar. Det blir också lättare att uppgradera till större hårddiskar .

Gå till inlägget

Blir tyvärr problematiskt med flera pooler att köra radarr, sonarr osv om jag inte minns fel. Men får titta på det, tack.

Skrivet av joakim99:

Om allt finns i molnet och är enkelt att plocka hem så ser jag inte en anledning att bygga sig en lagringsserver med 20 diskar.

Gå till inlägget

Nu finns det väl risk att tråden låses eller att jag blir varnad, men eftersom du inte verkar förstå vad jag ska göra så handlar det alltså om nerladdade filmer och serier som ska sparas på NASen. Inget jag tänker ha backup på och inte heller något som är särskilt enkelt att se/streama utan att först ha laddat ner dem på sitt eget share så att säga..

Redigera
Citera flera Citera
Permalänk
Quizmästare Gävle 2022 ★
●

Har för mig att det är rätt så stökigt att utöka storleken i den typen av konfigurationer.
Var några år sedan jag körde truenas/freenas så kan ha fel men kolla det ordentligt. ZFS är ingen direkt nödvändighet för hemmalagring av filmer heller kan jag tycka.

Jag slår ett slag för Unraid. Kostar nog några spänn idag men i sammanhanget så är det inte en så stor hög med pengar. Det är sjukt smidigt att lägga till/ta bort diskar utan att behöva bygga om hela raid konfugurationer.

Det finns andra sätt att köra jbod med paritet-diskar också som är gratis, kanske går det i truenas också? Så slipper du stöka med raidkonfigurationer i onödan.

Visa signatur

Datorn jag använder just nu
https://www.sweclockers.com/galleri/13459-triggers-xproto-n

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Wizbro:

För att det är kul, duger det?

Gå till inlägget

Det duger absolut. Jag hade dock haft större förståelse om det hade handlat om att samla på sig material som är svårt att få tag på.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Trigger:

Har för mig att det är rätt så stökigt att utöka storleken i den typen av konfigurationer.
Var några år sedan jag körde truenas/freenas så kan ha fel men kolla det ordentligt. ZFS är ingen direkt nödvändighet för hemmalagring av filmer heller kan jag tycka.

Jag slår ett slag för Unraid. Kostar nog några spänn idag men i sammanhanget så är det inte en så stor hög med pengar. Det är sjukt smidigt att lägga till/ta bort diskar utan att behöva bygga om hela raid konfugurationer.

Det finns andra sätt att köra jbod med paritet-diskar också som är gratis, kanske går det i truenas också? Så slipper du stöka med raidkonfigurationer i onödan.

Gå till inlägget

Hur är det med hastigheten på läs/skriv i unraid då? Den info jag hittar säger att man inte får bättre prestanda (som i raidz/raid) när man kör unraid (om man inte väljer zfs i unraid så klart). Stämmer detta? Är det ändå fullgott för att streama(läsa) till ett par enheter samtidigt och att skriva från nerladdning osv?

Redigera
Citera flera Citera
Permalänk
Quizmästare Gävle 2022 ★
●

Det stämmer, du får inte högre läshastighet än den disk som filen ligger på men det är vadå?, ett par hundra megabyte/s för en modern disk, typ wd-red. Det räcker ju för att fylla ett par gigabit linor.

Vad gäller skrivhastighet så se upp med SMR diskar om just det är viktigt. Att köra SMR diskar modell större ska man nog undvika för raid ändå. Lär ta många dagar att återbygga en ZFS raid med dem…

Cache funktionen i Unraid kan ju användas för att lösa snabbare skrivning om man vill. Dock blir det begränsat till storleken/hastigheten på den disken. Men allt beror ju på behoven… är det bara för lagring så hoppa allt sådant. Du skyfflar in all data en gång och fyller sedan på med mindre mängder då och då…
Har du inte 10gb i nätet hemma så lär begränsningen snarare sitta i nätverket, inte i läs/skrivhastighet på dina diskar

Edit:
Jag tror inte raid skulle hjälpa dig med hastigheten vid simultana läs/skriv jobb som du nämnder men kanske kan någon mer om detta. Jag tror det t.o.m. kan försämra för dig…
Bättre köra läs/skriv lite mer var för sig. Lägg alla torrents/intensiva jobb på cache disken i Unraid så slipper du belasta din array med det samtidigt som du läser/streamar där ifrån. Schemalägg hur ofta och när du vill skyffla över allt du fyllt cachen med.
Jag kör själv så och har ett par ssd diskar för det ändamålet.

Egentligen tror jag du klarar dig gott och väl med ett par streams och rimlig mängd torrents även med hastigheten från bara en modern disk ändå. Har du bara en gigabitlina att leka med så sitter nog begränsningarna där som sagt…

Senast redigerat
Visa signatur

Datorn jag använder just nu
https://www.sweclockers.com/galleri/13459-triggers-xproto-n

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag har bestämt mig för att köra unraid istället (och då utan zfs), så tack för all hjälp och info samt att ni tog er tid. Men denna frågeställning är ej längre aktuell.

Redigera
Citera flera Citera
1
Skriv svar