Hårdvaru Raid kontra ZFS

2014-01-06 13:26

Permalänk

MrGizmo

Medlem

Plats: Skövde
Registrerad: Feb 2002

●

Hårdvaru Raid kontra ZFS

Har köpt mig en intel nuc för att ersätta min gamla htpc.
Tanken var att använda den gamla till en nas server.

Jag är helt grön på området så jag försöker att läsa till mig det mesta men jag har lite frågor som jag behöver hjälp med.

Jag har fått tag på ett raidkort, men vad jag har förstått så har ZFS systemen tagit över helt.
Jag undrar vilket som är snabbast?

Det enda som jag hittar jämförelser med är med mjukvaruraid och då är ZFS systemen snabbare. Men vilken är snabbast om man jämför med hårdvaruraid??

Tanken är att köra raid 5.
Jag vet att jag får snabbare acesstid med raid 0 eller 10 osv. men det är jag inte intresserad utav

Vilka stora för/nackdelar har de båda systemen?? (raid 5 mot ZFS motsvarighet)

Moderkort: http://www.prisjakt.nu/produkt.php?p=951682
Processor: AMD A6 3500
Internminne: 8gb DDR3
HDD: 6st 2TB diskar till att börja med
Raid: Rocketraid 2340 http://www.prisjakt.nu/produkt.php?p=248773

//Micke

Visa signatur

Ett tips om hur du "moddar" om din diskmaskin te en snöslunga... släng te kärringen en snöskyffel

Rapportera Redigera

Citera flera Citera

2014-01-06 16:01

Permalänk

evil penguin

Medlem ★

Registrerad: Apr 2002

●

Skrivet av MrGizmo:

Har köpt mig en intel nuc för att ersätta min gamla htpc.
Tanken var att använda den gamla till en nas server.

Jag är helt grön på området så jag försöker att läsa till mig det mesta men jag har lite frågor som jag behöver hjälp med.

Jag har fått tag på ett raidkort, men vad jag har förstått så har ZFS systemen tagit över helt.
Jag undrar vilket som är snabbast?

Det enda som jag hittar jämförelser med är med mjukvaruraid och då är ZFS systemen snabbare. Men vilken är snabbast om man jämför med hårdvaruraid??

Tanken är att köra raid 5.
Jag vet att jag får snabbare acesstid med raid 0 eller 10 osv. men det är jag inte intresserad utav

Vilka stora för/nackdelar har de båda systemen?? (raid 5 mot ZFS motsvarighet)

Moderkort: http://www.prisjakt.nu/produkt.php?p=951682
Processor: AMD A6 3500
Internminne: 8gb DDR3
HDD: 6st 2TB diskar till att börja med
Raid: Rocketraid 2340 http://www.prisjakt.nu/produkt.php?p=248773

//Micke

Gå till inlägget

Fördelarna med ZFS/RAIDZ är väl i första hand relaterade till dataintegritet snarare än accesstid/överföringshastighet.

En fördel som mjukvarulösningar i allmänhet har jämfört med hårdvaruraid är ju att man inte är beroende av att lyckas få tag på exakt en sån där raidkontroller (med samma firmwareversion om man ska vara på säkra sidan) för att kunna komma åt innehållet på diskarna om kontrollerkortet skulle gå sönder på något vis.
Istället kan du köra samma mjukvara på i stort sett vilken dator som helst som har en vanlig SATA-kontroller.

Sedan har ju ZFS/RAIDZ specifikt löst en del problem som RAID lider av (som "write hole"-problemet som RAID5 har, t.ex.) samt en hel del avancerad funktionalitet.

Vad gäller ren överföringsprestanda så kan det ju variera en hel del men du kan iaf absolut få riktigt bra resultat även med ZFS förutsatt att du använder vettig hårdvara.

https://calomel.org/zfs_raid_speed_capacity.html är ett exempel på någon som har en utläggning om ämnet...

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Rapportera Redigera

Citera flera Citera

2014-01-09 06:46

Permalänk

MrGizmo

Medlem

Plats: Skövde
Registrerad: Feb 2002

●

Tack för ditt svar och även för länken. Det lutar nog åt att köra med zfs

Visa signatur

Ett tips om hur du "moddar" om din diskmaskin te en snöslunga... släng te kärringen en snöskyffel

Rapportera Redigera

Citera flera Citera

2014-01-09 14:06

Permalänk

odvi12rh

Medlem

Registrerad: Sep 2012

●

Byggde precis ihop en liten server och min första tanke var att köra FreeNAS och ZFS, ändrade mig dock då jag via skolan har tillgång till Server 2012. Har du tillgång till Windows Server 2012 kan jag rekommendera det starkt. Deras Storage Space är liknande ZFS och sjukt smidigt att ha å göra med, plus att kan kan använda servern till lite annat som enkelt rullar på windows.

Rapportera Redigera

Citera flera Citera

2014-01-10 09:52

Permalänk

Kyroz

Medlem

Plats: /dev/null
Registrerad: Nov 2004

●

Skrivet av odvi12rh:

Byggde precis ihop en liten server och min första tanke var att köra FreeNAS och ZFS, ändrade mig dock då jag via skolan har tillgång till Server 2012. Har du tillgång till Windows Server 2012 kan jag rekommendera det starkt. Deras Storage Space är liknande ZFS och sjukt smidigt att ha å göra med, plus att kan kan använda servern till lite annat som enkelt rullar på windows.

Gå till inlägget

Så Storage Space har data integrity (checksumming), komprimering, copy-on-write, deduplication, read/write cache? - Det visste jag inte.

Rapportera Redigera

Citera flera Citera (3)

2014-01-11 00:54

Permalänk

odvi12rh

Medlem

Registrerad: Sep 2012

●

Skrivet av Kyroz:

Så Storage Space har data integrity (checksumming), komprimering, copy-on-write, deduplication, read/write cache? - Det visste jag inte.

Gå till inlägget

Nä att jämföra Storage Space rakt av med ZFS var något klumpigt då ZFS är ett filsystem, skulle kanske skrivit REFS vilket kanske inte heller är helt rättvist. Dock får man vid användande av REFS fördelar som data integritet vilket även ZFS ger och storage space löser mjukvaru RAIDEN i Windows miljön.

Rapportera Redigera

Citera flera Citera

2014-01-13 02:14

Permalänk

MrGizmo

Medlem

Plats: Skövde
Registrerad: Feb 2002

●

Är det någon skillnad mellan raid och ZFS när det gäller behovet av ECC minnen??

Jag har tyvärr inte ECC minnen, Visst går ju att köpa men grundtanken var att använda mig utav det jag har liggandes. Det känns jobbigt att behöva köpa mb,minnen å prolle.

Jag kommer att nästan enbart ha filmer och foton. fotona är säkerhetskopierade på en annan burk. Så om någon film eller bild skulle bli korrupt vore inte hela världen. Men det vore tråkigt om hela filsystemet lägger av.

Visa signatur

Ett tips om hur du "moddar" om din diskmaskin te en snöslunga... släng te kärringen en snöskyffel

Rapportera Redigera

Citera flera Citera

2014-01-15 07:58

Permalänk

trexake

Medlem

Plats: Järfälla
Registrerad: Jan 2004

●

Här har du ett exempel där en hårdvaruraid kan komma att bli jobbig:
http://www.sweclockers.com/forum/6-lagring/1270904-freenas-mo...

Inte säkert att det är problem dock (han kör mycket möjligt mjukvaruraid), men hade du kört zfs eller någon annan mjukvariraid hade det varit chill.

Rapportera Redigera

Citera flera Citera

2014-01-16 13:51

Permalänk

steele

Medlem

Plats: Göteborg
Registrerad: Okt 2012

●

Om du är rädd om din data (dina filer) du ska lagra på din ZFS-server så använd ECC-ram.
Om du inte är rädd om datat och vill köra på billiga konsumetkomponenter så kör utan ECC.

Alla dina filer kan bli korrupta med hjälp av trasiga ramminnen (icke ECC) och ZFS.

Här är en riktigt bra forumpost som beskriver vad/hur/varför ZFS gör så och fungerar.

http://forums.freenas.org/threads/ecc-vs-non-ecc-ram-and-zfs....

Citat från posten:

Citat:

"For those that don't want to read, just understand that ECC is one of the legs on your kitchen table, and you've removed that leg because you wanted to reuse old hardware that uses non-ECC RAM. Just buy ECC RAM and trust ZFS. Bad RAM is like your computer having dementia. And just like those old folks homes, you can't go ask them what they forgot. They don't remember, and neither will your computer."

Edit: Ang. dina foton och ifall du ändå skulle köra ZFS utan ECC-minnen och du får problem; Du kommer inte märka att dina filer blivit korrupta på ZFS och när du kör dina backuper som vanligt så skriver du över dina backupade (fungerande) filer med korrupta från din ZFS-server. Inte bra. Som sagt, läs posten i länken ovan om du är rädd om dina filer.

Ang. raidkortet du länkade så tycker jag att du istället ska hitta ett som har inbyggt ECC-ram och köra det tillsammans med ext4 (Linux) eller NTFs (Windows). Hårdvaruraidkort har för det mesta (om det är ett tillräckligt bra raid-kort) inbyggt ECC-ram och fungerar ganska likt ZFS-filsystemet i den bemärkelsen.
ECC = Error-correcting code memory (Error Checking & Correction, ECC memory)
Själv är jag inte så himla insatt i hårdvaruraid, så jag kan tyvärr inte tipsa.

Senast redigerat 2014-01-16 14:10

Visa signatur

Rapportera Redigera

Citera flera Citera

2014-01-17 07:30

Permalänk

deegan

Medlem ★

Plats: /bin/bash
Registrerad: Mar 2002

●

Dålig kvalité på videon men en eyeopener så att säga. http://www.youtube.com/watch?v=3-KesLwobps (Becoming a ZFS Ninja), det finns en part2 också. Enjoy!

Visa signatur

Cisco - Linux - VMWare
-- Citera mig om ni vill få återkoppling --

Rapportera Redigera

Citera flera Citera

2014-01-17 08:09

Permalänk

ozric

Medlem ★

Plats: Jönköping
Registrerad: Okt 2003

●

Skrivet av deegan:

Dålig kvalité på videon men en eyeopener så att säga. http://www.youtube.com/watch?v=3-KesLwobps (Becoming a ZFS Ninja), det finns en part2 också. Enjoy!

Gå till inlägget

Den är bra. Borde alla se.

Visa signatur

Jag ser ner på folk som särskriver!

Rapportera Redigera

Citera flera Citera

2014-01-25 14:10

Permalänk

MrGizmo

Medlem

Plats: Skövde
Registrerad: Feb 2002

●

Skrivet av steele:

Citat från posten:

Edit: Ang. dina foton och ifall du ändå skulle köra ZFS utan ECC-minnen och du får problem; Du kommer inte märka att dina filer blivit korrupta på ZFS och när du kör dina backuper som vanligt så skriver du över dina backupade (fungerande) filer med korrupta från din ZFS-server. Inte bra. Som sagt, läs posten i länken ovan om du är rädd om dina filer.

Gå till inlägget

Du har ju helt rätt. Fattar att jag inte tänkte på det.

Visa signatur

Ett tips om hur du "moddar" om din diskmaskin te en snöslunga... släng te kärringen en snöskyffel

Rapportera Redigera

Citera flera Citera

2014-01-25 14:53

Permalänk

MrGizmo

Medlem

Plats: Skövde
Registrerad: Feb 2002

●

Jag har insett att jag inte kommer undan ecc.

Funderar på följande paket:

Paket 1
Moderkort med cpu: http://webshop.multitech.se/PartDetail.aspx?q=p:7125603

Minne: http://webshop.multitech.se/PartDetail.aspx?q=p:5703000

3888:- Detta känns som ett riktigt bra setup med trevliga funktioner och med lågt TDP.

Paket 2

Moderkort: http://www.prisjakt.nu/produkt.php?p=498998
Cpu:http://www.prisjakt.nu/produkt.php?p=1379853
Minne: samma som ovan

2824:- Tusenlappen billigare men det känns inte som det är ett kompetent paket överhuvudtaget.

Har ni några synpunkter på detta?

/Micke

Visa signatur

Ett tips om hur du "moddar" om din diskmaskin te en snöslunga... släng te kärringen en snöskyffel

Rapportera Redigera

Citera flera Citera

2014-01-27 09:00

Permalänk

steele

Medlem

Plats: Göteborg
Registrerad: Okt 2012

●

Jag hade kört på Asrock-koret om jag var tvungen att välja mellan de där. Dubbelt så många sata-portar.
Har sett en del personer som länkat till det moderkortet i diverse byggtrådar baserat på ZFS.
Drar säkert mindre ström också jämfört med många andra byggen.

Tips är kanske att kolla upp så att all hårdvara funkar med mjukvaran du ska köra.

Mer än så vet jag inte ang. kortet!

Visa signatur

Rapportera Redigera

Citera flera Citera

2014-01-27 09:21

Permalänk

Quim

Medlem ★

Plats: Stockholm
Registrerad: Aug 2005

●

Skrivet av MrGizmo:

Jag har insett att jag inte kommer undan ecc.

Funderar på följande paket:

Paket 1
Moderkort med cpu: http://webshop.multitech.se/PartDetail.aspx?q=p:7125603

Minne: http://webshop.multitech.se/PartDetail.aspx?q=p:5703000

3888:- Detta känns som ett riktigt bra setup med trevliga funktioner och med lågt TDP.

Paket 2

Moderkort: http://www.prisjakt.nu/produkt.php?p=498998
Cpu:http://www.prisjakt.nu/produkt.php?p=1379853
Minne: samma som ovan

2824:- Tusenlappen billigare men det känns inte som det är ett kompetent paket överhuvudtaget.

Har ni några synpunkter på detta?

/Micke

Gå till inlägget

Alltså kör du ZFS eller vilken sorts Raid eller singel disk som helst utan ECC minnen så riskerar du att förstöra dina bilder/filer - precis när du för över dem från mobilen/kameran/sd-kortet till din dator, men öppnar du bilderna och tittar på dem så ser du ju tydligt om något är förstörd eller inte går att öppna, då för du bara över den bilden igen.

Sen när skiten väl ligger på hårddisk & du kontrollerat att den är "tillräckligt" hel, du kanske inte märker en grön pixel som är röd. Så kommer bilden efter det att alltid vara likadan då ZFS tagit över, ECC minnet påverkar bara _första_ gången du skriver filen till disk, sen när den väl ligger på disk är allt chill. Viktigast med ECC är ju ifall du har en produktionsserver med databaser osv och du skriver massor som du inte går igenom.

ECC är riktigt bra att ha, men som hemma bruk så riskerar du inte så mycket, så länge du provar öppna filen efter du kopierat över den och är nöjd med det du ser så är du safe.

Visa signatur

Rapportera Redigera

Citera flera Citera

2014-01-27 14:10

Permalänk

zonar

Medlem ★

Plats: Stockholm
Registrerad: Jan 2006

●

Skrivet av MrGizmo:

Jag har insett att jag inte kommer undan ecc.

Funderar på följande paket:

Paket 1
Moderkort med cpu: http://webshop.multitech.se/PartDetail.aspx?q=p:7125603

Minne: http://webshop.multitech.se/PartDetail.aspx?q=p:5703000

3888:- Detta känns som ett riktigt bra setup med trevliga funktioner och med lågt TDP.

Paket 2

Moderkort: http://www.prisjakt.nu/produkt.php?p=498998
Cpu:http://www.prisjakt.nu/produkt.php?p=1379853
Minne: samma som ovan

2824:- Tusenlappen billigare men det känns inte som det är ett kompetent paket överhuvudtaget.

Har ni några synpunkter på detta?

/Micke

Gå till inlägget

Bara en notering. Jag TROR inte moderkortet stödjer Registrerade ECC utan tror du borde ha UDIMM.

Någon mer kunnig kanske kan dubbelkolla...

/z

Visa signatur

Rapportera Redigera

Citera flera Citera

2014-01-27 14:54

Permalänk

aluser

Medlem

Registrerad: Apr 2013

●

Skrivet av zonar:

Bara en notering. Jag TROR inte moderkortet stödjer Registrerade ECC utan tror du borde ha UDIMM.

Någon mer kunnig kanske kan dubbelkolla...

/z

Gå till inlägget

Korrekt det skall INTE vara registrerad ecc till den utrustningen utan unregistered ecc aka ecc udimm

Rapportera Redigera

Citera flera Citera

2014-01-28 15:40

Permalänk

steele

Medlem

Plats: Göteborg
Registrerad: Okt 2012

●

Skrivet av Quim:

Alltså kör du ZFS eller vilken sorts Raid eller singel disk som helst utan ECC minnen så riskerar du att förstöra dina bilder/filer - precis när du för över dem från mobilen/kameran/sd-kortet till din dator, men öppnar du bilderna och tittar på dem så ser du ju tydligt om något är förstörd eller inte går att öppna, då för du bara över den bilden igen.

Sen när skiten väl ligger på hårddisk & du kontrollerat att den är "tillräckligt" hel, du kanske inte märker en grön pixel som är röd. Så kommer bilden efter det att alltid vara likadan då ZFS tagit över, ECC minnet påverkar bara _första_ gången du skriver filen till disk, sen när den väl ligger på disk är allt chill. Viktigast med ECC är ju ifall du har en produktionsserver med databaser osv och du skriver massor som du inte går igenom.

ECC är riktigt bra att ha, men som hemma bruk så riskerar du inte så mycket, så länge du provar öppna filen efter du kopierat över den och är nöjd med det du ser så är du safe.

Gå till inlägget

Ni borde alla läsa på om ZFS och "scrubbing". Default är det aktiverat på ZFS-installationer (typ Freenas), men minns ej riktigt.
Det kan i alla fall förstöra alla dina filer även om de är hela och ligger sparade på din hårddisk.
Läs min post lite längre upp och klicka på länken. Ett tips om man vill lära sig mer

Så, ska du köra ZFS, kör då ECC-minnen om du är rädd om dina filer.

Visa signatur

Rapportera Redigera

Citera flera Citera (1)

2014-01-28 20:49

Permalänk

Quim

Medlem ★

Plats: Stockholm
Registrerad: Aug 2005

●

Skrivet av steele:

Ni borde alla läsa på om ZFS och "scrubbing". Default är det aktiverat på ZFS-installationer (typ Freenas), men minns ej riktigt.
Det kan i alla fall förstöra alla dina filer även om de är hela och ligger sparade på din hårddisk.
Läs min post lite längre upp och klicka på länken. Ett tips om man vill lära sig mer

Så, ska du köra ZFS, kör då ECC-minnen om du är rädd om dina filer.

Gå till inlägget

Well jag läste hela länken innan jag postade & även med ECC minnen så kan du förstöra hela din share om det är tillräckligt mycket fel på Ram Minnena, då ECC bara skyddar mot 1 bit fel och inte flera bitfel...

Så det som står i länken gäller ju bara om du har fel på dina ram minnen, inte om ram minnet vid några tillfällen får fel.
Har du fel på ram minnena som det står i länken så är chansen rätt stor att du har flera bit fel också, inte bara 1 vid varje tillfälle och då är du lika körd med ECC.

Sen får man väl ta och köra 48h test på sina ram minnen innan man sätter dem i bruk :).

Jag föredrar ECC helt klart, men att påstå att alla filer kan förstöras eller räddas för att man kör med eller utan ECC är väldigt långsökt.
ECC är allra bäst mot typ kosmiskt strålning osv, har du så brutala fel på ram minnena att de hela tiden har bit fel så ska man inte ens sätta dem i bruk.

Visa signatur

Rapportera Redigera

Citera flera Citera

Hårdvaru Raid kontra ZFS

Hårdvaru Raid kontra ZFS

Externa nyheter

Spelnyheter från FZ