HW RAID lösning?

Kanske https://min.io/ och kubenet - om man tänker på att lagra massiva mängder data och tex använder S3- interface. Där förlitar man inte på några ömtåliga RAID-strukturer.

Man byter heller inte diskar när de gå sönder i varje nod utan man har tillräckligt många av dem per set och kör tills lite över 50% är kvar om man har satt upp för 50% paritet och då byter man rubbet. (samma filosofi som tex blackblaze använder sig av med många disktråg, man byter inte diskar inom ett disktråg utan körs tills pariteten blir under en viss nivå och därefter kasserar hela disk-seten för nya och mycket större diskar)

Minio är mappbaserad S3-server och gör ingen distinktion om mapparna är på samma disk eller om var mapp är monterad till en underliggade fysisk disk med enkelt och snabbt filsystem under (som ext4) - ingen RAID-hantering alls utan billiga HBA i IT-mode fungerar.

Dessutom är byggklossar för mycket större system för replikering, multipla noder etc. det gör också att man kan prova saker i sin egna dator utan att behöva en massa diskar för att prova en koncept.

minio kan hantera disk-set på minimum 4 (om man skall ha redundans) upp till 12 diskar per nod och med paritet så använder man Reed-Solomo på filnivå för integritet, felrättning och kunna hantera partiella förluster (läs diskbortfall)

minio har också webb-gränssnitt där man skapa bucket, bestämmer generationshantering när samma filer modifieras med ny överskrivning och därmed kan få fram tidigare versioner, retentionstid och livslängder för filer (dvs. kan försvinna efter en tid om man bestämmer så (dvs räkningen är inte betald ), men också att filer inte försvinner hur mycket man än försöker radera utifrån av ett illsinnat angrepp förrän satt tid har förlöpt)

Det går också att ladda upp och ned filer via web-intrefacet - självklart kan man accessa via rclone liksom många backupprogram som hanterar molnlagringstjänster.

---

Med andra or lyft blicken lite och se hur de större grabbarna löser det idag när man pratar om +20 diskar i lagring

Vad försöker du göra? Är detta privat eller till en företagsmiljö?

Generellt vill man inte köra hårdvaru-raid alls. Kika på exempelvis TrueNAS som är en mjukvara du kan köra på i princip vilken hårdvara som helst som innefattar motsvarande RAID-funktionalitet, men betydligt säkrare för att lagra din data. Du kan kryptera individuella diskpooler och få mycket bättre vy över din data jämfört med en traditionell hårdvaru-raid-kontroller.

Om du väljer en mjukvarulösning, läs på ordentligt om hårdvaran så att du har möjlighet att expandera och att du har rätt minnen etc då detta är väldigt viktigt. Finns hur många guider som helst på Google

TrueNAS har egna lösningar, bara spana in deras webbplats. Beroende på vad det ska användas till och hur stabilt det ska vara kan det vara en bra idé att köpa ett färdigt system med support etc. Men det är också väldigt enkelt att köpa andrahandshårdvara och bygga för redundans.

Jag skulle exempelvis INTE köra 26-30 diskar i en enda RAIDz2-array, utan minst 2-3 stycken vdevs som i sin tur kör exempelvis RAIDz2. Jag bygger hellre för redundans och stabilitet än för rå lagringskapacitet. Kör lite diverse storage pools på min TrueNAS hemma, men den största är 9x4TB som består av 3 stycken vdevs i raidz1.

RAID 6 fungerar bra om du inte har för höga krav på prestanda. Hårdvaru-RAID kan hjälpa till med prestanda, det hjälper framförallt till med enkelheten att sätta upp och glömma tekniken. Med RAID 60 tappar du mycket lagringsutrymme.

Vilket är du mest intresserad av i din lösning? Utrymme, hastighet, flexibilitet att ändra konfiguration, m m?

Du installerar hårddiskvaggor med indikator / LED för trasig disk. Hårdvaru-RAIDen pratar med vaggorna / ”backplane”.

Okomprimerad video tar mkt plats. Är det i stil med någon av Avids codecs du ska köra med eller? Är det flera som ska jobba, än om bara läsa, mot disken samtidigt? Vad har du för nät?

Filsystemet och formatering spelar roll.

Det är också väldigt bra ide att bygga upp det strukturmässigt att vid krångel/haveri att inte hela lagringen försvinner utan det är uppdelat så att bara en begränsad mängd data berörs när det skiter sig på riktigt - och tänk på hur backuphanteringen skall göras, det skiter sig alltid förr eller senare, det är inte ett 'om', utan ett när - i morron eller om 4 år... därför kanske man skall titta lite hur kubernet mfl. molnlösningar arbetar så att en "single point of failure" inte släcker allt du har och får all din lagring att bli korrupt och mycket svårräddningsbar.

- bygger man lagring kring ZFS så förutsätter det också att man har ofta uppdaterad backup då när ZFS skiter sig så är det dåligt med verktyg och program att rädda ut data i frisk form. Detta är känt med ZFS sedan länge, det har viss tålighet, ganska mycket till och med, men när det skiter sig så skiter det kungligt och det är inte mycket att ta rätt på efteråt. ...och använd ECC-minne i dina servrar och om SSD används för ZIL och L2ARC - se till att de är av server-klass då om de skiter sig där så är det på samma nivå som få minnesfel i RAM-minnet och med stor sannolikhet förlorat dina data.

och varför all detta kravhöjning med både ECC-minne och serverSSD (och helst NL-E-Diskar av SAS-modell) gentemot en soffice-NAS på 10-20 TB som mest - jo, du hanterar 10-50 ggr mer data än normalt - din 'träffyta' för fel är större och felen kommer tidigare.

---

500 TB är så mycket data att man kan överväga bandbackup typ LTO8 och bandrobot, nu vet jag inte riktigt aktiviteterna på just denna plan och kostnader men gissar att det är lättare att få tag på bandrobot för LTO-kassetter än något motsvarar att hantera 3.5"-diskar. - för backup i någon form behöver du oavsett då en RAID-lösning är ingen backup - bara tillgänglighet, och också kan angripas av skadlig mjukvara förutom rena HW-fel och inte minst användarfel.

Det enda säkra datat är det som ligger oanslutet off-line - oavsett om det är lösa diskar/USB-diskar eller bandkassetter.

Varför vill man kryptera tv-serier o blu-ray? Blir det fel på nyckelhanteringen kan man förlora allt.

Du kommer också vilja ha backup på allt... så räkna med minst lika många ytterligare diskar till det.

Själv byggde jag min första RAID6 år 2003 med 8 x 185 GB diskar i array + en boot disk. Mjukvaru-raid med mdadm då det inte fanns så mycket annat att välja på på den tiden. Har fungerat bra så fortsatt med det.

Om det handlar om så stora datamängder som halv Petabyte så skulle jag också utvärdera objektlagring som kubernet, Ceph mfl. Har inte själv läst på mig detta mer än provat 'minio' och sett konceptet liknande de som används på blackblaze, där man _inte_ byter ut trasiga diskar utan disk-seten körs tills det är under en viss nivå av kvarvarande paritetsdiskar och sedan skrotar man hela disk-setet då om nära hälften av diskarna redan rasat så är det inte många tusen timmar kvar i de som fortfarande fungerar!.

När man har så stora datamängder så måste man bygga efter att saker går sönder och delar faller ifrån - ofta - att det självläker och verifierar sin egna data (oftast med olika hash-värden) och man kan hela tiden utöka volymen.

Visst man kan bygga det på ZFS, kanske unRAID - men jag är rädd att de är ganska mycket glaskanoner - dvs. har bra tålighet till en viss nivå men sedan blir det totalhaveri och inget att rädda.

När man ha så här mycket data så bör enskilda fel i lagringen (tex. en hel VDEV i ZFS försvann av olika orsaker) inte sprida sig till att hela volymen kollapsar och du förlorar all data.

och som sagt - fundera på hur backupper hanteras, de behövs även på en mycket påkostad RAID-lösning...

RAID är inte backup - det är upptid och tillgänglighet.

Om du absolut inte måste ha prestandan som du får men raid så kan jag tala gott om Unraid, stödjer dock bara upp typ 30diskar. Ang. chassi så kan du kolla på https://www.45drives.com/ De har chassin med alla möjliga konfigs.

Mycket frågor i denna tråden.

Köp denna:
https://www.dustinhome.se/product/5011244466/diskstation-ds24...

och 24 st 18 TB diskar så lär du klara dig ett tag

Eftersom du har backup på annat ställe så tänker jag såhär:
Kör flera set om 8 diskar raidz2 så räcker det rätt gott och du kommer förmodligen klara
dig fint utan att tappa något. Då kan ju 2 diskar på varje 8 gå utan att du förlorar något.
Agerar du snabbt med att ersätta trasiga diskar så kan du vara lugnt.
TrueNAS och ECC minne räcker till detta.
Tänk bara på att när du fyller allt och behöver utöka utrymme men inte har fysisk plats
så måste du byta ut alla diskar i ett set (8 disk, en i taget eller 2 om du är busig).
Först när du bytt ut alla 8 så kan du expandera hela volymen och nyttja mer utrymme.

/S

Varför ska hen köpa 24 stycken diskar när NAS-en bara tar 12 stycken?

Skrev fel, menar 12

Har nog aldrig i mitt liv rekommenderat en bluray spelare förut, men att lägga runt 100.000kr för att lagra lite film låter rätt galet

Ja det är lite åt det extrema hållet.
Siktar man på 72st diskar så får man vara beredd att underhållet kommer kosta en del.
Plus att elen inte är helt gratis idag så blir det en tusing på räkningen i månaden där också

Jag rekommenderar starkt att man läser igenom guiden som finns på denna sida innan man sätter igång med ZFS.

https://www.truenas.com/community/resources/introduction-to-z...

Här finns en enklare introduktion:

https://www.servethehome.com/an-introduction-to-zfs-a-place-t...

Tidigare inlägg i tråden har berört viktiga saker, som att man inte kan lägga till diskar i en vdev, men det är bra att skaffa sig en grundläggande förståelse för helheten.