Hba eller raid! Sata eller sas? Hjälp...

Jag har donat med freenas i snart 5 år.
Det är inga problem med stora diskar.
Däremot är det viktigt att fundera igenom antal per vdev. När diskarna är större än ca 3TB, rekomenderas raidz2, eller even raidz3 om det är hanterbart.

Jag skulle säga att en tacksam middleground att börja på är 6st disk i raidz2.
Nästa gång du expanderar poolen, gör du det med 6 disk, i en ny vdev.
Mycket går åt till redundans. 8disk i en raidz2 är fine.

Min rekomendation är att sikta på fler, men mindre diskar.
ZFS styrka är att kunna ge hysteriskt med prestanda och trygghet på i stort sett konsumentdiskar, utan avancerade raidkort.
Se för guds skull till att du inte skaffar SMR diskar.

Det som tydligen har hänt med just ZFS är att SMR-diskar fyller upp sin 'cache' PMR-del när det skrivs väldigt mycket småfiler och uppdaterar metadata fram och tillbaka på samma sektorer (NTFS lider av det när $MFT hela tiden skall uppdateras - det är därför NTFS fungerar så illa på SMR-diskar prestandamässigt när det är mycket småfiler) och då kan disken sluta att svara under ett antal sekunder och ofta så kickas disken ur RAID:en efter ofta 8 sekunder om det inte svarat innan dess och i ZFS-fallet så har man fått situationen att flera diskar kickas ut nästan samtidigt och förbi antalet paritetsdiskar och man fått seriöst svåra filsystemshaverier...

- ZFS har haft väldig dåligt med reparationsprogram (även om det sakta blir bättre med utvecklingen av zfs for linux) eftersom man har haft filosofi att ZFS gör inte fel och därför behövs inte reparationsprogram (ungefär samma filosofi att kärnkraftverk aldrig havererar och när det gör det ändå så blir det storkatastrof) och man har som datalagrare betydligt värre situation på en havererad ZFS-array än när många andra filsystem krachar och där kan använda fsck-program mm. för att reparera filsystemet (eller i alla fall rädda ut datat), få igång det igen utan allt för mycket förluster.

Kort sagt SMR-diskar i samband med ZFS har alltså gett situationer med svårräddningsbara katastrof-fel medans med andra filsystem (som ext4/btrfs/XFS) har konsekvenserna varit mycket mindre och mera påverkan av prestandaskäl än att man förlorat hela filsystem...

Det är väl ganska självklart att du får ett sådant svar av tillverkaren.
Svaret är ju vad som gäller just idag (nu).

Säg att du har din lösning i många år. Vad har hänt under tiden med deras HW-Raid kort? Har det bestämt sig för att någon gång under denna tidpunkt gå över till "nyare-versionen-som-ger-bättre-prestanda-och-funktioner-som-inte-är-bakåtkompatibel"?

Då sitter du där och försöker köpa ett nytt kort av den gamla generationen, finns de ens att köpa i butik eller behöver du leta på blocket och ebay?

Så jag tror, och håller med, att råden du får att inte köra HW-Raid är just detta.

För större företag så är ju inte detta resonemang samma - där förväntas det att man byter HW ca vart 3e år och har ofta (alltid) avtal om service så om något går sönder så ser leverantören till att fungerande hårdara sätts in.

Men för oss privat personer så är resonemanget att köra HBA och sedan låta OS:et sköta disk/filsystemet med den redundans som man önskar.

Kom att tänka på en annan sak som kanske inte hör till tekniken i ämnet men ändå..

Jag har själv märkt att saker som jag köper sällan aldrig blir 100%. Jag lär mig något varje gång som jag ska tänka på för framtiden.
Exempelvis så är det inte många av oss som köper en ny bil ofta - vilket gör att det är flera år mellan varje tillfälle och som jag upptäckte för 3 bilar sedan att sätes komforten är viktig så att benen inte somnar (vilket gjorde att den bilen såldes alldeles för tidigt) och i den senaste att jag verkligen borde bett om att få läsa instruktionsboken innan jag beställde bilen för då hade jag vetat att kameran för virtual reality GPS navigering (som jag inte ansåg mig behöva) också fungerade som Dash-Cam som jag ville ha men som jag nog inte eftermonterar.

Min poäng då ? Jo forumet och din tråd är super att få synpunkter men det finns ett annat sätt också.
Läs gamla trådar av personer som har haft samma eller liknande frågeställning och ställ en fråga i PM till dem ifall hur det blev - det är ju inte alltid de skriver vad de beslutade sig för och hur det funkade och vad de hade önskat gjort annorlunda med vad de vet idag.

Hoppas jag satte lite fler hjärnspöken ...

Jag tycker att Windows är lite sådär när det gäller redundanta filsystem.

Det finns Storage Spaces (http://techgenix.com/windows-10-storage-spaces/) men jag hade själv aldrig kört detta.

Microsoft har lite dåligt track record när det handlar om att ha långvarig support för olika lagringslösningar. Det som de intruducerade i Win 8 har jag för mig att de har slutat underhålla (kommer inte ihåg namnet).

På jobbet satt vi upp ett Hyper-V cluster (inkl lagring) där MS hade problem (erkända buggar) i implementationen där klustret tappade diskpoolen titt som tätt. Slutade med att vi testade 3 (tror jag) patchar åt MS för att komma till rätta med problemet.

Så nej - vad du än gör använd inte Windows till att sätta upp ett redundant filsystem, du blir besviken när det väl börjar strula.
Du får bättre support i olika internet forum om du använder någon av NAS paketen.

@Faltaren:

Gör som jag har gjort då spar du pengar på det med.

Kör med FreeNAS med HBA kort går att få tag på ebay till ett okej pris, sen så skaffa du dig två 10 gigabit nätverkskort helst SFP+ så att du kan köra med SFP+ kabel och koppla ihop det till din speldator, och skit i router/switch så kan du komma åt allt via NFS V4.2 eller smb tänkt på att du behöver en slog disk och den disken måste ha mer iops än dina HDD samt gärna ha skriv/läs hastighet mer än alla dina HDD för att få ut så mycket prestanda tänkt även på att du måste skydda slog disken med Striped Mirror VDEV, om slog disken går sönder så förstörs hela din pool och då förlora allt.

Om du bara ska ha den till en dator så kommer du får ut mycket bra prestanda, mina fördelas på över 20-40 VM.

Du kan inte köra FreeNAS utan slog disk, det går om man väljer att ta bort synk detta kan man göra först för att se hur snabba dom blir.

Gör inte mitt misstag att jag köpte två svindyr slog disk som kostar totalt över 12 tusen men dom hade så dålig iops så mina HDD diskar inte kan köra full speed.

Den kallas även för cache disk, man skulle kunna beskriver det som en mellanhand när du skriver till disken så går den via slog disken sen till dina diskar, detta ha med iops att göra på HDD diskar då dom har så lite och inte kan göra så mycket uppgifter så har man löst det med ett ha en mycket bättre disk som hantera det och sen fördelas det på HDD diskarna då klara den av mycket mer uppgifter.

Men jag har aldrig testat utan slog disk med SMB, men NFS/iscsi kräver det för att ens funka med säkerhet (synk).

@Faltaren:
Det är inga problem att nå 16 disk, men du gör det bäst i etapper om 2x8.

Dvs, köp av 8 disk i stöten.

Du kan specifikt ge en VM direkttillgång till en viss hårdvara, men normalt så delar de på "allt", inklusive nätverk, lagring, gpu, etc.

Hypervisorn sköter det, varje VM-gäst har (minst ett) virtualiserat interface, som bryggas via värden, så alla kan prata med varandra.
Fungerar helt utan konstigheter.

Du kommer tappa mer om du håller dig inom ramen för hur mkt free space som är rekomenderat.
ZFS optimerar kraftigt annorulunda efter 80-90-95% fyllnadsgrad, i stort rekomenderar FreeNASfolket att du håller dig under 80% use av formatterat utrymme, idiothelst under 90%.

Exempel, med 7x6TB i Raidz2 och 80% fyllnadsgrad motsvar det 20TB data. (ZFS/FreeNAS är lurigt med hur mkt som är exakt in use och exakt free, vilket till en början är frustrerande, sedan inser man att man ändå absolut inte ska spela på marginalerna i detta system och plötsligt spelar det inte alls så stor roll).