Fråga om ZFS

Jag tror att det rekommenderade i ditt fall är att göra en vdev med 3+1 av 2 tb diskarna och en mirror av 2x4tb. Sen kan du stoppa båda vdev'en i samma pool om du vill för att få en stor 10tb pool. Då kan du tappa en och i bästa fall 2 diskar utan att tappa någon data.

Stoppar man olika stora diskar i ett zfs-vdev så kommer den minsta disken bestämma hur mycket som kommer nyttjas av de större diskarna om du vill ha paritet.

Edit: Typo

Nästan, du kan spegla dina 2Tb-diskar två och två, och spegla de två 4Tb-diskarna så att du får 3 st "vdev". Sen sätter du ihop dessa tre till en "partition" (zpool) som du tänker.

Edit: lösningen som @rebben föreslår fungerar också, då får du ca 2Tb extra till priset av lite mer komplexitet. Min lösning ger 8Tb totalt. Det går inte att få 12Tb med redundans med de diskar du har.

Hm, vet inte om jag tänker rätt här men... För varje "raid0" hårdvarupool du har så får du inte förlora en enda disk, för då ryker hela den poolen. Sen är det då beroende på hur du gör med ZFS så finns RAIDZ1. som är som en hårdvaru RIAD5, men den är inte beroende av hårdvaran den sitter i på samma sätt.
Du kommer inte kunna nyttja 100% av all diskyta och få vettig redundans på datan utan du behöver ha någon disk som "kan gå förlorad".

EDIT: Ah, du hade fått andra svar där av någon som kanske kan ZFS bättre

Hyffsad video som förklarar skillnader på olika typer ZFS vdev config på hög nivå, jämför dem med för och nackdelar, samt vissa enklare prestandatester.

https://www.youtube.com/watch?v=ykhaXo6m-04

En fördel som inte nämnts med att köra speglade diskar såsom Oegat föreslog är att du då kan uppgradera genom att byta ut två stycken (dvs ett speglat par) 2 TB-diskar mot något större vid ett senare tillfälle. Kör du istället en RAID-Z1 med alla fyra 2 TB-diskarna behöver du byta ut alla 4 samtidigt när du vill uppgradera.

2 TB-diskar är väldigt små i dagsläget, jag tror inte du kommer vilja köra med dem för all framtid...

Nackdelen med ZFS är just att det inte går att "rekonfigurera" i någon större utsträckning så det gäller att tänka på framtiden. Det är en av anledningarna till att det är vanligt att rekommendera att ha zpool:er bestående av vdevs som är speglade ("RAID-10"). Man kan då både enkelt lägga till fler speglade par, och uppgradera befintliga genom att bara köpa två större diskar.

Om du stripar 2x2 TB till 4 TB så dubblas risken för diskhaveri. Verkligen inte att rekommendera till annat än som korttidslagring. Förr använde man striping till t.ex. videoproduktion för att öka hastigheten, och kopierade sedan materialet till mer stabil lagring när arbetsdagen var över. Numera är det SSD som gäller för allt som kräver hög hastighet. Till ZFS i en NAS vill jag påstå att striping bara är riskabelt och onödigt.
Lägger du en stripad vdev i en pool med andra diskar ökar det risken för att hela poolen förstörs.

Kör inte hårdvaru-RAID och ZFS samtidigt. Med hårdvaru-RAID abstraheras SMART-info bort så att systemet inte kan följa status på diskarna ordentligt. Man blir också beroende av den specifika hårdvaru-kontrollern man har, och skulle den fallera är det högst osäkert om man kan stoppa in diskarna i en annan modell/märke för att få data tillbaka.
Eller du kanske menade mjukvaru-RAID? Bäst att låta ZFS sköta allt sånt med sin mjukvara och inte blanda in andra RAID-system, oavsett om de är hårda eller mjuka.

Jag håller med tidigare svar om att bästa användningen av 2TB-diskar är att spegla dem, eftersom man då enkelt kan utöka poolen senare. Kort sagt funkar det så här:
- Börja med en 2+2 TB mirror. Det ger 2 TB tillgänglig lagring eftersom diskarna kopierar varandras innehåll.
- Lägg till en ny disk, så att man t.ex. med en ny 10TB speglar 2+2+10 TB).
- Resilver. Det ger då identisk 2TB data på varje disk, men ger bara 2 TB tillgängligt.
- Ta bort en av 2TB-diskarna. Då får man en mirror med 2+10 TB.
- Lägga till en till 10TB disk, så att man får en mirror med 2+10+10 TB.
- Resilver. Ger fortfarande bara 2 TB tillgängligt.
- Ta bort den andra 2TB-disken. Voilá: det blir en mirror med 10 TB tillgängligt.

Ja, jag förstod senare att det var något sådant du var inne på när du frågade om en array med 12Tb användbart utrymme. Grundproblemet är att ZFS minsta enhet är det som kallas vdev, som kan vara en spegel eller raidz(1,2,3 etc) men inte stripe*. Sedan kan man stripa flera vdev, men det motsatta (göra en spegel eller raidz av flera stripes) går inte.

* Edit: Jag hade fel, en vdev kan vara en stripe, men det finns inget sätt att skapa en redundant konfiguration som innehåller en sådan vdev.

Som @oooskar skriver är det nog tekniskt möjligt att först bygga 2st mjukvaru-raidvolymer (stripe) med 2x2Tb diskar i varje, och sen bygga en frankestein-zpool med en raidz1-vdev bestående av dina två 4Tb-diskar och dina två "fejk"-4Tb diskar som mjukvaruraiden skapat. Den skulle få 3x4Tb lagring + 4TB paritet = 12Tb tillgängligt utrymme. Jag tror (utan att ha testat) att ZFS rent praktiskt skulle tillåta en sådan lösning, men det är som sagt inte rekommenderat. Ett ytterligare problem med att lägga in extra lager mellan ZFS och de fysiska diskarna är att den inbyggda felkorrigeringen i ZFS behöver information om de fysiska diskarna för att kunna hantera trasiga sektorer korrekt. Du får inte bara den adderade risken för fel på stripe-volymen pga stripingen, utan också att fel som ZFS annars hade kunnat korrigera leder till att hela stripen faller bort.

Dokumentationen för OpenZFS har ungefär en sida med argument varför man inte ska blanda ZFS och hårdvaru-raid, det mesta gäller också för mjukvaru-raid.

Så, ovanstående lösning "for the lulz" och testa vad som händer med data som man kan förlora, visst. Men knappast värt det för endast 2Tb extra användbart utrymme.

Jag har gjort något liknande i Linux när jag ville ersätta en 4TB-disk med två stycken 2TB i min ZFS-array.
Men istället för raid0 så använde jag LVM för att slå ihop de två diskarna till en 4TB stor lagringsenhet som jag sedan stoppade in som en 4TB disk i ZFS-arrayen. Det är lite större risk med detta då det är större sannolikhet att någon av de två diskarna går sönder än en enda disk. Å andra sidan körde jag raidz2, alltså två diskars redundans i ZFS så det kändes som en OK temporär lösning att ersätta en av diskarna med LVM fram tills jag hade köpt en ny 4TB disk.

Hur som helst detta fungerade utan problem. Men det blir lite rörigare setup.

Jag har dessutom backup på min ZFS array så risken om den pajar är mera att det blir extra jobb och nertid att återskapa från backupen jämfört med att bara byta en disk. Men det är ingen katastrof.

Har kört zfs sedan 2009, i slutändan blev det enklast att köra raid1+0, kört både raidz1(5) och raidz2(6) och raidz3(7?)

Du får sämre utrymmes utnyttjande idag, men bättre längre fram och smidigare och minst lika bra redundans. Plus bättre fart.

När du väl vill utöka utrymmet, så behöver du bara köpa 2st diskar och lägga till dessa till poolen som en mirror.
Eller byta ut ett befintligt par om det är slut på fysiskt utrymme i chassit, tex 2st 2tb till 2st 8tb.

När diskarna är 4tb och större så går det betydligt mkt snabbare med resilver vid raid1+0 än vid "raidzX"

Med de andra raiderna så måste du byta ut alla diskar för att få mer utrymme. Så på längre sikt blir det både billigare och smidigare att få mer utrymme, tänk dig att du satt på 2TB när det kom och låste fast dig i raidz6...Några år senare var 8TB+ diskarna riktigt billiga, köpa 2st och bam rätt mkt mer utrymme, men att köpa 6-8st 8TB+...onödigt när de gamla diskarna kanske fungerar bra fortfarande och dyrt. För i det första scenariot när du utökat med 2st 8TB+ och det är dags igen några år senare så kan du utöka med 2st 18TB+....istället för återigen med samtliga diskar i en raidz...

Inte implementerat i TrueNAS Core än, kanske i Scale, men det går nu mera att utöka RAID-Z vdevs med enskilda diskar.

https://freebsdfoundation.org/blog/openzfs-raid-z-expansion-a...

Jag kan inte svara för hur det funkar i TrueNAS, men om man satt upp sin zpool från kommandoraden och använt /dev/disk/by-id/ata-... så är det inga problem att flytta runt dem lite hur som helst. Det är också det rekommenderade sättet att sätta upp en zpool på. Om man däremot använt /dev/sda, /dev/sdb osv så kan man behöva göra lite handpåläggning för att få det att funka efter man flyttat runt dem.