HW RAID lösning?

Det kommer säkert komma någon lagringsguru med en wall of text, men några spontana synpunkter.

* Du vill inte köra 26-30 diskar i en raid6, det är rätt osäkert. Du ska kolla på raid60 istället isf. Nu beror det såklart vad man är ute efter och andra faktorer men tre grupper med 6+2 eller 8+2 är väl helt ok alternativ.

* För att monitorera raiden så installerar du en mjukvara kompatibel med ditt raidkort, ett exempel är t ex MegaRAID Storage Manager

* Det kan vara värt att kolla på olika jbod lösningar och köra mjukvaruraid också. Det kan också vara värt att ta en funderare på att köra windows 11 är den bästa lösningen. Men har ingen aning vad du vill åstakomma så svårt att säga.

Kanske https://min.io/ och kubenet - om man tänker på att lagra massiva mängder data och tex använder S3- interface. Där förlitar man inte på några ömtåliga RAID-strukturer.

Man byter heller inte diskar när de gå sönder i varje nod utan man har tillräckligt många av dem per set och kör tills lite över 50% är kvar om man har satt upp för 50% paritet och då byter man rubbet. (samma filosofi som tex blackblaze använder sig av med många disktråg, man byter inte diskar inom ett disktråg utan körs tills pariteten blir under en viss nivå och därefter kasserar hela disk-seten för nya och mycket större diskar)

Minio är mappbaserad S3-server och gör ingen distinktion om mapparna är på samma disk eller om var mapp är monterad till en underliggade fysisk disk med enkelt och snabbt filsystem under (som ext4) - ingen RAID-hantering alls utan billiga HBA i IT-mode fungerar.

Dessutom är byggklossar för mycket större system för replikering, multipla noder etc. det gör också att man kan prova saker i sin egna dator utan att behöva en massa diskar för att prova en koncept.

minio kan hantera disk-set på minimum 4 (om man skall ha redundans) upp till 12 diskar per nod och med paritet så använder man Reed-Solomo på filnivå för integritet, felrättning och kunna hantera partiella förluster (läs diskbortfall)

minio har också webb-gränssnitt där man skapa bucket, bestämmer generationshantering när samma filer modifieras med ny överskrivning och därmed kan få fram tidigare versioner, retentionstid och livslängder för filer (dvs. kan försvinna efter en tid om man bestämmer så (dvs räkningen är inte betald ), men också att filer inte försvinner hur mycket man än försöker radera utifrån av ett illsinnat angrepp förrän satt tid har förlöpt)

Det går också att ladda upp och ned filer via web-intrefacet - självklart kan man accessa via rclone liksom många backupprogram som hanterar molnlagringstjänster.

---

Med andra or lyft blicken lite och se hur de större grabbarna löser det idag när man pratar om +20 diskar i lagring

Vad försöker du göra? Är detta privat eller till en företagsmiljö?

Generellt vill man inte köra hårdvaru-raid alls. Kika på exempelvis TrueNAS som är en mjukvara du kan köra på i princip vilken hårdvara som helst som innefattar motsvarande RAID-funktionalitet, men betydligt säkrare för att lagra din data. Du kan kryptera individuella diskpooler och få mycket bättre vy över din data jämfört med en traditionell hårdvaru-raid-kontroller.

Om du väljer en mjukvarulösning, läs på ordentligt om hårdvaran så att du har möjlighet att expandera och att du har rätt minnen etc då detta är väldigt viktigt. Finns hur många guider som helst på Google

TrueNAS kör ZFS som kör Raidz istället, raidz2 motsvarar RAID6 (dvs två diskar paritet). Men som sagt du bör inte kör en så stor lagring med alla diskar i en grupp. Det är som sagt Raid60 du är intresserad av egentligen, i ZFS så jobbar man med vdevs för att göra samma sak med Raidz. Eftersom det är för privat bruk, och för att arkivera (dvs inga enorma mängder läs och skriv) så kan du iof använda ganska stora grupper/vdevs. Hur stora, ja det får du själv bestämma, 10+2 är nog det största jag har sett i en faktiskt lagringslösning.

Ja, du kan se i GUI:t när en disk går sönder. Hur man identifierar disken fysiskt är mer en fråga om hårdvara än mjukvara egentligen. Det beror på om vaggor etc är märkta, eller t ex ordentliga disklådor har du ju SES. Men oavsett så rapporterar TrueNAS seriesnummer, så du kan märka upp det i förväg så du kan identifiera vilken disk som är vart om du t ex har ett chassi utan märkta vaggor.

Ja, tror dom kör med det som är inbyggt i ZFS (filsystemet som truenas använder) nu för tiden, finns nog lite olika alternativ men antar att defaut är AES-256-GCM eller liknande.

edit. Här är en bra genomggång av krypteringen https://blog.elcomsoft.com/2021/08/nas-forensics-truenas-encr...

TrueNAS har egna lösningar, bara spana in deras webbplats. Beroende på vad det ska användas till och hur stabilt det ska vara kan det vara en bra idé att köpa ett färdigt system med support etc. Men det är också väldigt enkelt att köpa andrahandshårdvara och bygga för redundans.

Jag skulle exempelvis INTE köra 26-30 diskar i en enda RAIDz2-array, utan minst 2-3 stycken vdevs som i sin tur kör exempelvis RAIDz2. Jag bygger hellre för redundans och stabilitet än för rå lagringskapacitet. Kör lite diverse storage pools på min TrueNAS hemma, men den största är 9x4TB som består av 3 stycken vdevs i raidz1.

RAID 6 fungerar bra om du inte har för höga krav på prestanda. Hårdvaru-RAID kan hjälpa till med prestanda, det hjälper framförallt till med enkelheten att sätta upp och glömma tekniken. Med RAID 60 tappar du mycket lagringsutrymme.

Vilket är du mest intresserad av i din lösning? Utrymme, hastighet, flexibilitet att ändra konfiguration, m m?

Du installerar hårddiskvaggor med indikator / LED för trasig disk. Hårdvaru-RAIDen pratar med vaggorna / ”backplane”.

Okomprimerad video tar mkt plats. Är det i stil med någon av Avids codecs du ska köra med eller? Är det flera som ska jobba, än om bara läsa, mot disken samtidigt? Vad har du för nät?

Filsystemet och formatering spelar roll.

Det är också väldigt bra ide att bygga upp det strukturmässigt att vid krångel/haveri att inte hela lagringen försvinner utan det är uppdelat så att bara en begränsad mängd data berörs när det skiter sig på riktigt - och tänk på hur backuphanteringen skall göras, det skiter sig alltid förr eller senare, det är inte ett 'om', utan ett när - i morron eller om 4 år... därför kanske man skall titta lite hur kubernet mfl. molnlösningar arbetar så att en "single point of failure" inte släcker allt du har och får all din lagring att bli korrupt och mycket svårräddningsbar.

- bygger man lagring kring ZFS så förutsätter det också att man har ofta uppdaterad backup då när ZFS skiter sig så är det dåligt med verktyg och program att rädda ut data i frisk form. Detta är känt med ZFS sedan länge, det har viss tålighet, ganska mycket till och med, men när det skiter sig så skiter det kungligt och det är inte mycket att ta rätt på efteråt. ...och använd ECC-minne i dina servrar och om SSD används för ZIL och L2ARC - se till att de är av server-klass då om de skiter sig där så är det på samma nivå som få minnesfel i RAM-minnet och med stor sannolikhet förlorat dina data.

och varför all detta kravhöjning med både ECC-minne och serverSSD (och helst NL-E-Diskar av SAS-modell) gentemot en soffice-NAS på 10-20 TB som mest - jo, du hanterar 10-50 ggr mer data än normalt - din 'träffyta' för fel är större och felen kommer tidigare.

---

500 TB är så mycket data att man kan överväga bandbackup typ LTO8 och bandrobot, nu vet jag inte riktigt aktiviteterna på just denna plan och kostnader men gissar att det är lättare att få tag på bandrobot för LTO-kassetter än något motsvarar att hantera 3.5"-diskar. - för backup i någon form behöver du oavsett då en RAID-lösning är ingen backup - bara tillgänglighet, och också kan angripas av skadlig mjukvara förutom rena HW-fel och inte minst användarfel.

Det enda säkra datat är det som ligger oanslutet off-line - oavsett om det är lösa diskar/USB-diskar eller bandkassetter.

Varför vill man kryptera tv-serier o blu-ray? Blir det fel på nyckelhanteringen kan man förlora allt.

Du kommer också vilja ha backup på allt... så räkna med minst lika många ytterligare diskar till det.

Själv byggde jag min första RAID6 år 2003 med 8 x 185 GB diskar i array + en boot disk. Mjukvaru-raid med mdadm då det inte fanns så mycket annat att välja på på den tiden. Har fungerat bra så fortsatt med det.

Du verkar inte riktigt förstått vad raid60 är. Raid60 är att du gör en raid av flera raid6 grupper (nested raid). Detta pga att det finns en de problematik i att ha allt för många diskar i en raid6/raidz2. Så hur många diskar du kan förlora bestäms av antalet grupper raid6/raidz2 du väljer att använda. Så delar du in 48 disk i tre så kommer varje grupp innehålla 16 diskar, du kan då tappa två diskar per grupp utan att förlora data (dvs sex diskar totalt). Och som jag redan skrivit så använder TrueNAS/ZFS vdevs för att uppnå samma sak som nested raid, så du skapar flera Raidz2 grupper och lägger till samma pool. Det kan också vara smidigare i jämförelse mot en enda stor grupp när det kommer till hur du ska växa din lagring, för du kan inte lägga till disk i en grupp i efterhand. Men om du nu vill köra allt i en korg, så kanske Raidz3 hade vart värt att kolla på också (det är tre diskar i paritet), för dina endamål kan du säkert köra med 24 diskar i en grupp utan att det är allt för wild n crazy.

Det ser alltså ut såhär om du behöver en visuell representation eller i TrueNAS/ZFS

Så säg att du siktar på att köra 24 diskar initialt, och har utrymme att växa till 48. Då sätter du upp en vdev med en Raidz3 på 24 diskar, när du sedan vill fylla ut med 24 diskar till så lägger du till en ny Raidz3 vdev som du lägger till i samma pool, på så sätt kommer alla diskar vara i samma volym så du slipper ha "2 lagring platser".

Som på bilden jag länka innan, men där är det två stycken vdevs med 6 diskar i raidz2.

Om det handlar om så stora datamängder som halv Petabyte så skulle jag också utvärdera objektlagring som kubernet, Ceph mfl. Har inte själv läst på mig detta mer än provat 'minio' och sett konceptet liknande de som används på blackblaze, där man _inte_ byter ut trasiga diskar utan disk-seten körs tills det är under en viss nivå av kvarvarande paritetsdiskar och sedan skrotar man hela disk-setet då om nära hälften av diskarna redan rasat så är det inte många tusen timmar kvar i de som fortfarande fungerar!.

När man har så stora datamängder så måste man bygga efter att saker går sönder och delar faller ifrån - ofta - att det självläker och verifierar sin egna data (oftast med olika hash-värden) och man kan hela tiden utöka volymen.

Visst man kan bygga det på ZFS, kanske unRAID - men jag är rädd att de är ganska mycket glaskanoner - dvs. har bra tålighet till en viss nivå men sedan blir det totalhaveri och inget att rädda.

När man ha så här mycket data så bör enskilda fel i lagringen (tex. en hel VDEV i ZFS försvann av olika orsaker) inte sprida sig till att hela volymen kollapsar och du förlorar all data.

och som sagt - fundera på hur backupper hanteras, de behövs även på en mycket påkostad RAID-lösning...

RAID är inte backup - det är upptid och tillgänglighet.

Om du absolut inte måste ha prestandan som du får men raid så kan jag tala gott om Unraid, stödjer dock bara upp typ 30diskar. Ang. chassi så kan du kolla på https://www.45drives.com/ De har chassin med alla möjliga konfigs.

Mycket frågor i denna tråden.

Köp denna:
https://www.dustinhome.se/product/5011244466/diskstation-ds24...

och 24 st 18 TB diskar så lär du klara dig ett tag

Varför ska hen köpa 24 stycken diskar när NAS-en bara tar 12 stycken?

Skrev fel, menar 12

Har nog aldrig i mitt liv rekommenderat en bluray spelare förut, men att lägga runt 100.000kr för att lagra lite film låter rätt galet

Ja det är lite åt det extrema hållet.
Siktar man på 72st diskar så får man vara beredd att underhållet kommer kosta en del.
Plus att elen inte är helt gratis idag så blir det en tusing på räkningen i månaden där också