BTRFS + RAID 5/6 Dåligt?

Trädvy Permalänk
Medlem
Plats
Gbg
Registrerad
Dec 2006

BTRFS + RAID 5/6 Dåligt?

Hittade precis denna artikel på nätet:
https://www.phoronix.com/scan.php?page=news_item&px=Btrfs-RAI...

Den säger sammanfattat att RAID 5 och 6 med btrfs som filsystem är katastrofalt dåligt... What!??
Det är precis det jag kör på min synology... Stämmer detta någon som har koll?

Citera för svar!

Trädvy Permalänk
Medlem
Registrerad
Feb 2017
Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Har kört BTRFS i raid 5 ett tag och tycker mig inte se några problem, dessutom är refererade inlägget från 2016 och det gjordes en stor förbättring av situationen hösten 2017 där både scrub och balance kan reparera i dom situationerna i RAID5/6 som innan dess var ett problem med (fans ingen verktyg för kontroll och reparation innan detta), det som dock inte är fixat är 'write hole' när det är 2 saker som sker samtidigt - att en disk havererar samtidigt som det bryts mitt under skrivningar av tex. strömavbrott. och det är ganska många RAID-system som ännu idag har sådana problem inklusive den allmänt erkända MDADM (finns patch eller näst intill exprimentell kod för det för MDADM, men är normalt inte aktiverat som standard hos Ubuntu med flera då sådan kostar prestanda...

Men det är klar att det alltid finns någon extremsituation då en RAID kan välta - men gäller alla RAID med var och en sina svagheter

RAID är heller ingen ingen ursäkt att inte också ha regelbundet uppdaterad backup, då RAID är en tillgänglighetsförbättring (systemet fungerar även om man har trasiga diskar) - inte att det är en bättre dataskydd!!

ZFS är tyngre att köra och kräver mer minne och har också sina problem när vissa 'olyckor' händer och det då är enormt viktigt att man gör saker i rätt ordning av ZFS-haverikunniga människor om inte RAID:en skall förloras.

Problemet med RAID-havrerier i allmänhet är att det sker så sällan och alla är nybörjare för situationen när det väl händer, ofta som blixt från klar himmel alternativt man ignorera att byta diskar fast varnat i kanske åratal innan (bortglömd server i en skrubb som när den pajar visade sig att hela företaget blir förlamat för att olika funktioner plötsligt slutar att fungera), och dessutom kan haverierna ske på olika sätt med var och en sin lösning om RAID skall vara räddningsbar.

Se till istället att ha regelbunden backup så att det inte är för mycket som förloras eller kräver kostsam konsultation för att rädda RAID den dagen när det skiter sig.

---

Köpe-NAS använder förvisso också btrfs (i princip alla som är tänkta att kunna hantera diskararrayer över 8 - 16 TB) för funktioner som är svårare med äldre filsystem som ext4 (snapshot, komprimerande filsystem, checkumma på både data och metadata etc.), men läggs traditionellt som JBOD/RAID0 ovanpå en MDADM-RAID där, som sköter själva diskarna - mest för att de kan det bäst och känner sig trygga med det.

Det finns dock en sak man skall vara noga med köpeNAS och BTRFS - alltid 64-bits processor (kolla noga!!), är det 32-bit, ha aldrig större logiska RAID-volymer på mer än 16 TB - helst inte över 8 TB (ext4 har samma bekymmer när volymerna är över 16 TB, 32-bitas processorer hanterar det inte bra eller ens alls när man precis går över 16TB-sträcket och det är tyvärr sällan programmen varnar eller hindrar det vid tex. formatering för det eftersom både kodbasen och filsystemen som sådan hanterar lätt över 16 TB - väldigt mycket mer än så faktiskt - _OM_ det är på 64-bits processor)

(det verkar som ext4 också har nyupptäckta allvarliga buggar (BLK-MQ) fast filsystemet som sådan är att anses som väldigt moget)

Trädvy Permalänk
Medlem
Plats
Gbg
Registrerad
Dec 2006

@xxargs: Hej!

Tack för svar. Skall poängtera direkt att jag är väldigt rookie vad gäller sånt här.

Jag kör på en xpenology vilket är en egenbyggd server som använder sig av synology mjukvaran.
Där kör jag en pentium G4560 vilket jag tror kör x64.

Det jag däremot fått svar om på annat håll är att just synology baserar sitt raid 5/6 system på ett annat sätt om man kör brtfs. fick denna länk som illustration:
https://www.synology.com/en-us/knowledgebase/DSM/tutorial/Gen...

Så de som kör på synology system behöver tydligen inte oroa sig om de kör BRTFS och RAID 5 eller 6 som jag förstår det.

Citera för svar!

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Nej, de flesta köpenas (eller OS från dessa som xpenology) behöver inte oroa sig då det ligger på LVM och MDADM.

men samtidigt tappar man en del saker som inte är så dumma när BTRFS/ZFS själva får rå om sina diskar och inte till en RAID-lager under.

Att tex plocka in och ur diskar som man vill, och i olika storlekar (BTRFS), och just BTRFS kan också minska sin filsystem-storlek medans ZFS är betydligt mer fyrkantig (ZFS mer är tänkt för riktigt stora system som är ganska statiska när man väl bestämt hur de skall se ut).

Andra fetaure är att diskarna inte behöver synkas och kolla mot varandra mer än mängder filer upptar i volymen, medans MDADM synkar på sektorer utan en aning hur den övergripande filsystemet fungerar, är tom eller nära full och därför måste gå igenom samtliga sektorer på samtliga diskar vid varje förändring av RAID. - den här 1-2 dygns synkningen som sker i en MDADM när man petat in en ytterligare disk behövs inte på en ZFS/BTRFS mer än för den faktiska filinnehållet.

(i BTRFS så möblerar man om fyllnaden och plattar ut datat jämnare över diskarna tex mellan Jbod/RAID0 med 'balance', med balance kan man också byta RAID-mode, det kan brytas halvvägs mitt i och fortsättas senare och allt sker online)

BTRFS/ZFS har med sina checksummor inom filsystemen lättare att lösa konflikter som tex. i RAID1 att man har olika uppdaterade sektorer för att skrivningen bröts under en strömavbrott, en MDADM kan inte lösa konflikten om inte ena disken samtidigt säger att den har IO-error, medans ZFS/BTRFS med checksummor inom filsystemet kan avgöra vilken version av diskarna som stämmer (eller helt förkasta filerna om det inte körts committ innan tex strömavbrottet).

Trädvy Permalänk
Medlem
Plats
Gbg
Registrerad
Dec 2006

@xxargs: Jösses...
Var va du när jag skulle välja mitt raid-system
Dock verkar det som att inget är perfekt här..
ZFS tror jag inte ens är möjligt för mig på synology? Känner igen det från när jag kikade på freenas och där behövde man väl massvis med RAM baserat på hur många TB man skulle ha i lagring.

För det som finns tillgängligt för synology, vad tror du är absolut bäst att köra både som filsystem och som RAID? iofs RAID är väl inte så mycket alternastiv, det är väl raid 5/6 eller SHR/SHR2 som gäller.
Jag minns dock itne avrför jag valde RAID över SHR...

Angående strömavbrott så har jag löst det med en UPS. Så förhoppningsvis bör jag inte råka ut för de problemen. NASen borde stänga ner sig försiktigt efter 30 sekunder om strömmen går. Vet inte hur säkert detta är dock för det har aldrig inträffat med min nuvarande SMT-750i APC.

Citera för svar!

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Prova alltid din nya RAID med en experimentuppsättning först med förlorbar data.

Stressa den med glappa sladdar (om det är på USB-diskar), slita ut och byta diskar mitt under tung skriv och läsa-las, byt disk för att simulera haveri och se hur krångligt det är innan RAID:en är tillbaka där den var innan (med BTRFS får man göra manuella kommandon vid tex diskbyte eller för att ersätta en förlorad disk - det är inte lika automatiskt som med en 10000:- HW-raid eller för den delen MDADM i många NAS - är det acceptabelt???)

Lita inte på vad andra säger - prova själv och se om tänkta RAID så småningom förtjänar ditt förtroende - det är ditt data och se till att ha regelbundet uppdaterade backupper så att du inte gråter för mycket om det skulle skita sig en dag.

BTRFS i JBOD/RAID0 har jag använt i backupdiskar i flera år (bl.a för att man kan göra snapshot vilket gör att man kan ha revision/historia över sina backupper över tiden på mycket bättre ätt än med hårda länkar (ala time machine), ja förutom att filsystemet är komprimerande om man vill) och utan någon förlorad eller oläsbar filsystem trots burdusa strömavbrott och glappa USB3-sladdar mer än en gång

btrfs i RAID5/6 är för min del att betraktas som tillräckligt bra att köras skarpt - har använd en sådan i 2TB storlek på 7diskar och har använt denna för allehanda diskflyttningsövningar och mellanlagring av filer nu i ett halvår - både stora mediafiler och miljoner med småfiler - helt utan problem (körs dock på serverhårdvara)

- men det är helt upp till dig om du vill ge samma förtroende för BTRFS, men själv tycker jag att man ställer massor av krav och dissar väldigt mycket när det inte uppfylls perfekt, medans man bryr sig inte om att om man ställde samma krav på tex NTFS så skulle det i många fall fungera betydligt sämre eller tom. katastrofalt - men man dissar inte och baktalar NTFS alls på samma nivå som mot BTRFS i många fall, fast NTFS är rejält dålig och borde verkligen rödflaggas med blinklampor om man tittar rent krasst...

Trädvy Permalänk
Medlem
Registrerad
Feb 2017
Skrivet av Nima2001:

@xxargs: Jösses...
Var va du när jag skulle välja mitt raid-system
Dock verkar det som att inget är perfekt här..
ZFS tror jag inte ens är möjligt för mig på synology? Känner igen det från när jag kikade på freenas och där behövde man väl massvis med RAM baserat på hur många TB man skulle ha i lagring.

För det som finns tillgängligt för synology, vad tror du är absolut bäst att köra både som filsystem och som RAID? iofs RAID är väl inte så mycket alternastiv, det är väl raid 5/6 eller SHR/SHR2 som gäller.
Jag minns dock itne avrför jag valde RAID över SHR...

Angående strömavbrott så har jag löst det med en UPS. Så förhoppningsvis bör jag inte råka ut för de problemen. NASen borde stänga ner sig försiktigt efter 30 sekunder om strömmen går. Vet inte hur säkert detta är dock för det har aldrig inträffat med min nuvarande SMT-750i APC.

FreeNAS är en applikation byggd på FreeBSD och ZFS. Dom har minimikrav på minne pga kraven från deras applikation om minst 8 GB. OpenZFS har inte direkt några minimikrav, det beror helt enkelt på vad du gör med din pool. Men ska det skrivas och läsas mycket samtidigt som du kör en media och minecraft server så ställer det såklart krav på resurserna. En lagringspool med enbart Linux och OpenZFS kräver inte speciellt mycket mer minne än någon annan lagringslösning

Skickades från m.sweclockers.com