Att köra eller inte köra: ZFS on Linux

Trädvy Permalänk
Medlem
Plats
Haninge
Registrerad
Jun 2003

Att köra eller inte köra: ZFS on Linux

Hej!

Jag undrar om det är någon som har erfarenhet av att köra ZFS under Linux med ZFS on Linux? Jag har knölat lite med FreeBSD men känner mig inte alls lika hemma som jag gör i Debian, även jag tycker det är okej att jobba med FreeBSD.

1. Hur stabilt är det? Är det stabilt nog att köra på en hemmaserver för backup och lagring av fotografier med mera? Är datan säker? Kommer systemet hänga sig stup i kvarten?
2. Hur snabbt är det? Är det mycket långsammare än att köra ZFS på FreeBSD eller OpenIndiana?
3. Är det slöseri med tid? Borde jag bara vänja mig vid FreeBSD eller OpenIndiana istället?

Jag är ganska rädd om en del av datan (gamla skolarbeten, fotografier med mera) som jag inte vill ska försvinna. Annan data är jag mindre rädd om. Har tänkt köra en mirror med två diskar på 1TB för den viktiga datan, och något annat för den oviktiga datan. OS-disken är en SSD av modellen Intel 330.

Tackar på förhand.

Trädvy Permalänk
Avstängd
Registrerad
Maj 2012

Om du är rädd om datan rekommenderar jag (!) att du kör mer än två diskar.

Student, Webbutvecklare, Dj - Macbook Air i7
Nexus 7: Paranoid - 4.2.1 - M-Kernel - (500/700 GPU/LP) -200mv UV

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Nov 2005
Skrivet av aekblom:

Om du är rädd om datan rekommenderar jag (!) att du kör mer än två diskar.

Om han är rädd om datan rekommenderar jag backup.

Dator - Maskinfan du arbetar med
Data - Ettor och nollor lagrade på t.ex hårddisken
Hur svårt kan det vara? :p

Trädvy Permalänk
Medlem
Plats
Haninge
Registrerad
Jun 2003
Skrivet av aekblom:

Om du är rädd om datan rekommenderar jag (!) att du kör mer än två diskar.

Skrivet av Worfen:

Om han är rädd om datan rekommenderar jag backup.

Jag tror två diskar i en mirror plus backup på det viktigaste på två andra platser (SkyDrive + USB-minne) duger. Gör det inte det får jag stå mitt kast.

Hur var det med ZFS on Linux nu då?

Trädvy Permalänk
Medlem
Registrerad
Nov 2009

Jag rekommenderar att du kör FreeBSD.

  • Känner du dig osäker på kommandoraden finns väldigt bra dokumentation man lätt kan använda: FreeBSD handbok. Sen har FreeBSD till skillnad från många Linux-distar kvar man-pages. Skriv "man kommando" eller "man man". Skriv "man hier" för att förstå var filer osv ska ligga.

  • Vill du ha desktopmiljö, eller kommandorad med lättare installer kan du testa http://www.pcbsd.org/
    PC-BSD är FreeBSD (oförändrat) med en del tillägg så som grafisk installer, ett gäng desktopmiljöer (om man vill), enklare hantering av jails osv osv.

  • Vill du bara installera vanliga FreeBSD fast på ett enklare sätt, så kan du göra det via PC-BSD installern. Det är bara välja FreeBSD alternativet där du väljer desktopmiljö. T.ex är det mycket lättare att få till ZFS on root med denna installer.

  • Vill du bara ha en filserver kan du testa FreeNAS. Då hanterar du servern via web-ui och slipper kommandoraden.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Dec 2008
Skrivet av Santrium:

Hur var det med ZFS on Linux nu då?

Kör hårt!

Trädvy Permalänk
Medlem
Plats
Umeå
Registrerad
Maj 2003

Jag kör ZFS-on-linux på min hemmaserver sedan ett par veckor tillbaka. Har funkat klockrent än så länge, men det är å andra sidan en ganska kort tid.

Athlon X4
4GB RAM
Debian Squeeze 64bit
Gigabit-LAN
Poolen:
5x2TB WD Green i RAIDZ (RAID5)
Compression: false
Checksum: true
Deduplication: false

FTP-prestada:
Download: 95MB/s
Upload: 35MB/s

Upplever också att det går ganska sakta att flytta data mellan olika ZFS-filsystem i samma pool (40MB/s) men jag har inget att jämföra med så det kanske är normalt.

Angående säkerheten på datan bör det inte vara någon skillnad mot FreeBSD såvida ingen allvarlig bugg existerar.

Även om t.ex. servicen skulle krascha så är ju datan "säker" iom den bakomliggande arkitekturen.

I say go for it!
Glöm bara inte att installera servicen efter installation, det gjordes inte automatiskt för mig.

Trädvy Permalänk
Medlem
Registrerad
Jul 2012
Skrivet av usilusken:

Jag rekommenderar att du kör FreeBSD.

  • Känner du dig osäker på kommandoraden finns väldigt bra dokumentation man lätt kan använda: FreeBSD handbok. Sen har FreeBSD till skillnad från många Linux-distar kvar man-pages. Skriv "man kommando" eller "man man". Skriv "man hier" för att förstå var filer osv ska ligga.

  • Vill du ha desktopmiljö, eller kommandorad med lättare installer kan du testa http://www.pcbsd.org/
    PC-BSD är FreeBSD (oförändrat) med en del tillägg så som grafisk installer, ett gäng desktopmiljöer (om man vill), enklare hantering av jails osv osv.

  • Vill du bara installera vanliga FreeBSD fast på ett enklare sätt, så kan du göra det via PC-BSD installern. Det är bara välja FreeBSD alternativet där du väljer desktopmiljö. T.ex är det mycket lättare att få till ZFS on root med denna installer.

  • Vill du bara ha en filserver kan du testa FreeNAS. Då hanterar du servern via web-ui och slipper kommandoraden.

Kan du motivera din rekommendation till TS mer än att du har en länk till freebsd.org i din signatur?

Kört ZoL i ett flertal månader utan problem. Så länge som du har cpu/minne så det räcker så säger jag kör så det ryker. Men som någon annan redan nämnt, backup är A & O. En spegel räddar dig inte från brand eller när du fyllse-styr burken och skriver rm -rf [random felaktig="felaktig" path="path"] t ex.

Trädvy Permalänk
Medlem
Registrerad
Jul 2012
Skrivet av MrMadMan:

Jag kör ZFS-on-linux på min hemmaserver sedan ett par veckor tillbaka. Har funkat klockrent än så länge, men det är å andra sidan en ganska kort tid.

Athlon X4
4GB RAM
Debian Squeeze 64bit
Gigabit-LAN
Poolen:
5x2TB WD Green i RAIDZ (RAID5)
Compression: false
Checksum: true
Deduplication: false

FTP-prestada:
Download: 95MB/s
Upload: 35MB/s

Upplever också att det går ganska sakta att flytta data mellan olika ZFS-filsystem i samma pool (40MB/s) men jag har inget att jämföra med så det kanske är normalt.

Angående säkerheten på datan bör det inte vara någon skillnad mot FreeBSD såvida ingen allvarlig bugg existerar.

Även om t.ex. servicen skulle krascha så är ju datan "säker" iom den bakomliggande arkitekturen.

I say go for it!
Glöm bara inte att installera servicen efter installation, det gjordes inte automatiskt för mig.

Din burk skulle må bra av mer minne, I'd say.

Trädvy Permalänk
Medlem
Registrerad
Nov 2009
Skrivet av stevenseagal:

Kan du motivera din rekommendation till TS mer än att du har en länk till freebsd.org i din signatur?

Det beror ju på trådskaparens användningsområden och där nämns inte mycket. Vi vet inte ens om det är en server eller desktop det handlar om. Därför är det svårt att lista för och nackdelar utan att skriva massa halvsanningar och FUD. Två snabba generella:

- ZFS on root.
- Det är testat mycket längre.

Eftersom trådskaparen är så fåordig gav jag istället några grundläggande tips på lösningar till de problem jag tänkte att han kanske hade med FreeBSD, typ som att installern till PC-BSD är lättare om man vill ha ZFS on root osv:

Skrivet av usilusken:

Jag rekommenderar att du kör FreeBSD.

  • Känner du dig osäker på kommandoraden finns väldigt bra dokumentation man lätt kan använda: FreeBSD handbok. Sen har FreeBSD till skillnad från många Linux-distar kvar man-pages. Skriv "man kommando" eller "man man". Skriv "man hier" för att förstå var filer osv ska ligga.

  • Vill du ha desktopmiljö, eller kommandorad med lättare installer kan du testa http://www.pcbsd.org/
    PC-BSD är FreeBSD (oförändrat) med en del tillägg så som grafisk installer, ett gäng desktopmiljöer (om man vill), enklare hantering av jails osv osv.

  • Vill du bara installera vanliga FreeBSD fast på ett enklare sätt, så kan du göra det via PC-BSD installern. Det är bara välja FreeBSD alternativet där du väljer desktopmiljö. T.ex är det mycket lättare att få till ZFS on root med denna installer.

  • Vill du bara ha en filserver kan du testa FreeNAS. Då hanterar du servern via web-ui och slipper kommandoraden.

FreeBSD är lite annorlunda än linux men tack vare den exceptionella dokumentationen lär man sig det rätt snabbt. Det är utmärkt som server-OS eftersom det inte ändrar utseende hela tiden.

Trädvy Permalänk
Medlem
Plats
Umeå
Registrerad
Maj 2003
Skrivet av stevenseagal:

Din burk skulle må bra av mer minne, I'd say.

Jag har funderat på det, men jag använder varken deduplication eller compression vilket jag förstått är de features som kräver mycket minne...

Vad tror du mer minne skulle ge för effekt?

Trädvy Permalänk
Medlem
Plats
Jönköping
Registrerad
Okt 2003

ZFSGuru - Det blir inte enklare än så.
Jag ser ingen anledning att köra FreeNAS när man kan köra ZFSGuru.

http://zfsguru.com/

Jag ser ner på folk som särskriver!

Trädvy Permalänk
Medlem
Plats
Närmaste router
Registrerad
Jul 2001

Jag har kört ZFS på linux i runt 3 år. både kört ZFS-FUSE (riktigt segt) Men sedan bytte jag till ZFS-on-Linux. Som fungerar riktigt bra,
Aldrig haft några problem med hängningar och upplever det 100% stabilt.

Kör en Raidz2 på 7x2TB på desktopversionen av ubuntu. Brukar uppgradera veckorna efter varje realease och det har aldrig varit något problem.

"Datorn har ju fan mer dragningskraft än jorden. Skulle jag ramla skulle jag hamna i datorstolen & inte på golvet."

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av stevenseagal:

En spegel räddar dig inte från brand eller när du fyllse-styr burken och skriver rm -rf [random felaktig path] t ex.

Snapshots räddar dig från "rm -rf..."

Till TS så vill jag säga att flera kör ZoL med framgång. Själv vill jag vara säker, och kör bara Solaris, eller möjligtvis FreeBSD. Men när jag läser om ZoL så ser jag inte rapporter om att det strular, tvärtom så säger folk att det funkar bra och är stabilt. Möjligen går det lite långsamt, säger de. Men som sagt, inga rapporter om strul. Jo, förresten, det var en rapport om att de skapade ett ZFS raid på FreeBSD och sen installerade Linux och då kunde de inte importera ZFS raidet först. De var tvungna att... relabel diskarna, tror jag. Det gick att lösa. Men inga andra problem. Inga tappade data.

Jag tror mirror är ganska säkert om du har små diskar, typ 1TB eller mindre. Om du har stora diskar som går sönder, så tar det lång tid att reparera spegeln, kanske flera dagar. Och då kanske den andra disken kraschar och då är du toast. Så om du har stora diskar, så bör du köra 2 vägs redundans (dvs raidz2) eller trevägs redundans (dvs raidz3).

Trädvy Permalänk
Medlem
Registrerad
Jul 2012
Skrivet av saddam:

Snapshots räddar dig från "rm -rf..."

Jo, men rm -fr skulle ju lika gärna kunna vara zfs destroy -r.

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av stevenseagal:

Jo, men rm -fr skulle ju lika gärna kunna vara zfs destroy -r.

Hahaha!!! Du har så rätt!

Trädvy Permalänk
Medlem
Plats
Haninge
Registrerad
Jun 2003

Har lekt runt nu de senaste dagarna med FreeBSD men gillar det inte riktigt av någon anledning. Svårt att säga varför.

Har därför en annan fråga, finns det någon form webbinterface som skulle tänkas passa en Debian-baserad NAS med ZFS on Linux?

Trädvy Permalänk
Medlem
Plats
Närmaste router
Registrerad
Jul 2001
Skrivet av Santrium:

Har lekt runt nu de senaste dagarna med FreeBSD men gillar det inte riktigt av någon anledning. Svårt att säga varför.

Har därför en annan fråga, finns det någon form webbinterface som skulle tänkas passa en Debian-baserad NAS med ZFS on Linux?

Senast uppgraderingen testade jag Amahi tycker det fungerar men ja har ju inte så mycket mer än vanliga samba shares och pptp-server på min nas.
Annars har du också Webmin som är betydligt mer avancerat.

Skickades från m.sweclockers.com

"Datorn har ju fan mer dragningskraft än jorden. Skulle jag ramla skulle jag hamna i datorstolen & inte på golvet."

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002

Prestandan i linux är bra, minst lika bra som på FreeBSD. Jag upplever det också som stabilt. Men å andra sidan är det kanske ett bra tillfälle att prova på FreeBSD. För något år sedan hade jag helt klart sagt FreeBSD men numera säger jag kör vilket du vill, det kommer att funka ändå.

saddam: Angående mirrors är min erfarenhet att dessa är mycket snabbare på rebuild än vad en raidz2 är. Raidz2 är säkrare men mirrors är snabbare. Går en disk sönder i en pool byggd av mirrors är det bara diskarna i denna vdev (alltså vanligen 2 stycken) som jobbar under själva rebuilden. Går en disk sönder i raidz2 jobbar också alla diskar i denna vdev men då är det många fler hårddiskar som scannas samtidigt. Du har rätt i att man är "toast" om den andra disken i paret också går sönder men har man backup så är det inte hela världen.

Trädvy Permalänk
Medlem
Registrerad
Nov 2012
Skrivet av MrMadMan:

Jag kör ZFS-on-linux på min hemmaserver sedan ett par veckor tillbaka. Har funkat klockrent än så länge, men det är å andra sidan en ganska kort tid.

Athlon X4
4GB RAM
Debian Squeeze 64bit
Gigabit-LAN
Poolen:
5x2TB WD Green i RAIDZ (RAID5)
Compression: false
Checksum: true
Deduplication: false

FTP-prestada:
Download: 95MB/s
Upload: 35MB/s

Upplever också att det går ganska sakta att flytta data mellan olika ZFS-filsystem i samma pool (40MB/s) men jag har inget att jämföra med så det kanske är normalt.

Angående säkerheten på datan bör det inte vara någon skillnad mot FreeBSD såvida ingen allvarlig bugg existerar.

Även om t.ex. servicen skulle krascha så är ju datan "säker" iom den bakomliggande arkitekturen.

I say go for it!
Glöm bara inte att installera servicen efter installation, det gjordes inte automatiskt för mig.

Jag skulle byta diskar om jag var du, dina diskar är i princip värdelösa i ett ZFS system ( jag hade likadana förut) , WD green diskar är 4096K diskar som emulerar 512K, detta skapar problem då diskarna "ljuger" för din maskin att de är 512K sector size, detta skapar stora problem i ZFS raidZ.

Du kan läsa mer om det här:

http://community.wdc.com/t5/Desktop-Portable-Drives/Problem-w...

Mvh

Trädvy Permalänk
Medlem
Plats
Närmaste router
Registrerad
Jul 2001
Skrivet av kim997:

Jag skulle byta diskar om jag var du, dina diskar är i princip värdelösa i ett ZFS system ( jag hade likadana förut) , WD green diskar är 4096K diskar som emulerar 512K, detta skapar problem då diskarna "ljuger" för din maskin att de är 512K sector size, detta skapar stora problem i ZFS raidZ.

Du kan läsa mer om det här:

http://community.wdc.com/t5/Desktop-Portable-Drives/Problem-w...

Mvh

Värdelösa? Knappast! jag har 7st WD green som emiulerar sektorer. sitter i en Raidz2, den sprutar ur sig ~ 300MB/s i både läs och skriv så de är långt ifrån värdelösa.

root@NASDISK:~# dd if=/dev/zero of=/nasdisk/zerofile.000 bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 36.046 s, 291 MB/s

root@NASDISK:~# dd if=/nasdisk/zerofile.000 of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 32.6235 s, 321 MB/s

"Datorn har ju fan mer dragningskraft än jorden. Skulle jag ramla skulle jag hamna i datorstolen & inte på golvet."

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Mar 2002
Skrivet av kim997:

Jag skulle byta diskar om jag var du, dina diskar är i princip värdelösa i ett ZFS system...

Ojsan vad du är ute och far med osanning nu.

Edit.

Gjorde även ett litet snabbt test med några WDC Green 2TB-diskar samt en l2arc.

ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark Pool : tank1 (9.06T, 36% full) Test size : 16 GiB normal read : 423 MB/s normal write : 291 MB/s I/O bandwidth : 23 GB/s"

Marantz NR1605, Rotel RB1090, Ino Audio piPs
Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002

Med parametern ashift=12 när man skapar arrayen och gärna i kombination med "rätt" antal diskar (3,5 eller 9 för raidz1, 4,6 eller 10 för raidz2 samt 5, 7 eller 11 för raidz3) så är det inga problem med 4K-diskarna.