Budget filserver med ZFS och FreeBSD

Permalänk

Budget filserver med ZFS och FreeBSD

Har funderat länge på att flytta min data lagring utanför min stationära nu.
Har precis fått lös lite hårdvara som använts på annat håll så funderar på att bygga en filserver av det.
Specs på delarna är:
P4HT@2.6 ghz
1.5 gb DDR ram
2 sata1 och två ide portar på moderkortet
1 agp port och några pci portar

1. Har länge velat pröva på FreeBSD och ZFS, men om man ska lira ZFS i raid kan man börja med två diskar och senare skaffa ett kontroller kort eller flytta diskarna till ett nytt system för att bygga ut/uppgradera det till raidz med flera diskar. Kan köra systemet på en ide disk.

2. Hur billiga kontroller kort kan man komma undan med i FreeBSD?

3. Hur är prestandan på ZFS på 32 bits system med lite ram, den måste klara av att streama hd över nätverket?

Servern kommer mest användas till att streama hd film över nätverket och köra ftp/torrents mot Internet.
Är inte speciellt sugen på att köpa några nya grejer förutom hårddiskar och möjligtvis kontroller kort.

Visa signatur

Stationär: PC-K62 | i7 930 @ 2.8ghz | TRUE | Gigabyte X58A UD7 | 6 gb | GTX570 | 2x500+2x1000+320 gb | Windows 7
Server: Athlon II X2 240E | Asus M4A78T-E | 8 gb | 320 GB + 8x2TB | FreeBSD
Bärbar: Thinkpad T60 | C1S 1.6 ghz | 2 gb | 40 gb hdd | Archlinux https://www.dropbox.com/referrals/NTEzMjU3MDk

Permalänk
Medlem

du kan inte slänga på fler diskar i en raidz som du kan i en raid5 med mdadm. dvs ingen grow...

Permalänk

Ok, så om man tänkt ha 4:a eller 8:a diskar i slutändan så lär man börja med så många eller med ZFS?

Visa signatur

Stationär: PC-K62 | i7 930 @ 2.8ghz | TRUE | Gigabyte X58A UD7 | 6 gb | GTX570 | 2x500+2x1000+320 gb | Windows 7
Server: Athlon II X2 240E | Asus M4A78T-E | 8 gb | 320 GB + 8x2TB | FreeBSD
Bärbar: Thinkpad T60 | C1S 1.6 ghz | 2 gb | 40 gb hdd | Archlinux https://www.dropbox.com/referrals/NTEzMjU3MDk

Permalänk
Avstängd

Re: Budget filserver med ZFS och FreeBSD

Citat:

Ursprungligen inskrivet av The_SLain_Man
1. Har länge velat pröva på FreeBSD och ZFS, men om man ska lira ZFS i raid kan man börja med två diskar och senare skaffa ett kontroller kort eller flytta diskarna till ett nytt system för att bygga ut/uppgradera det till raidz med flera diskar. Kan köra systemet på en ide disk.

2. Hur billiga kontroller kort kan man komma undan med i FreeBSD?

3. Hur är prestandan på ZFS på 32 bits system med lite ram, den måste klara av att streama hd över nätverket?

1. Ett ZFS raid består av en/flera grupper av diskar. En grupp kan vara raidz1 (dvs raid-5) eller raidz2 (dvs raid-6) eller en mirror. Du kan inte ändra antalet diskar i en grupp. Men du kan fritt lägga till flera nya grupper utan problem, till ditt ZFS raid. Så du kan lägga till 4 nya diskar med raidz1. Du kan inte radera en grupp av diskar. Du kan byta diskarna i en grupp mot större diskar.

2. Inte en aning. Men antagligen kan du köra vanliga SATA PCI kort för nån hundralapp.

3. Jag har kört OpenSolaris med 1GB ram och 32 bit CPU med 4diskar i ett år. Den konfigen gav ca 20-30MB/sek. Kör du 64bit CPU så går det mycket snabbare. Du kan enkelt byta diskarna till en annan FreeBSD dator utan problem - bara ta ut diskarna och stoppa in dem i nya datorn. Så om du tröttnar efter nåt år så kan du byta ut moderkortet och CPUn.

Permalänk

Vad kör folk med för arrays här på Sweclockers då?
Funderar på om man ska börja med tre diskar i raidz1 och sen lägga till tre till i en annan raidz1 när man behöver mer utrymme.
Har för mig att jag läst att 8:a diskar är ganska optimalt? Ska man köra två raidz2 då eller en stor?

Visa signatur

Stationär: PC-K62 | i7 930 @ 2.8ghz | TRUE | Gigabyte X58A UD7 | 6 gb | GTX570 | 2x500+2x1000+320 gb | Windows 7
Server: Athlon II X2 240E | Asus M4A78T-E | 8 gb | 320 GB + 8x2TB | FreeBSD
Bärbar: Thinkpad T60 | C1S 1.6 ghz | 2 gb | 40 gb hdd | Archlinux https://www.dropbox.com/referrals/NTEzMjU3MDk

Permalänk
Medlem

Ska du börja med två diskar så är mitt tips att köra dessa som ZFS mirror.
På min filserver kör jag opensolaris med två hårddiskar som ZFS mirror på systemdisken. Där får jag ganska mycket utrymme över som funkar bra att använda till lagring. Utöver detta har jag ytterligare en grupp diskar (fem stycken) i raidz1 som står för den större delen av lagringsutrymmet för filerna.

Nackdelen med mirror på systemdisken är att det är aningen pilligare att få det att funka jämfört med att använda det på rena lagringsdiskar. Fördelen är att man får redundans på systemdisken och därför någorlunda tryggt kan utnyttja utrymmet för lagring av filer.

Om du sedan längre fram vill bygga ut utrymmet kan du lägga till någon grupp diskar i raidz eller kanske ytterligare en mirror.

Permalänk

När jag tänkte att man kunde börja med två diskar och bygga ut sedan var i tron om att det enkelt gick att expandera raidet eller uppgradera från raidz1 till raidz2 på ett enkelt sätt. En annan anledningen till två diskar var för att jag inte ville lägga ut så mycket pengar till att börja med, därav budget i trådnamnet.

Mirror låter inte så kul för en lagringsdisk. Kan tänka mig att höja till tre eller fyra för att få raidz1. Hur många diskar kan man ha i ett raidz1 och ändå kunna ha en disk fail? Börjar man med fyra diskar så kan man ju lägga till en till grupp med fyra diskar, eller ska man inte dela upp det på så många grupper?

Visa signatur

Stationär: PC-K62 | i7 930 @ 2.8ghz | TRUE | Gigabyte X58A UD7 | 6 gb | GTX570 | 2x500+2x1000+320 gb | Windows 7
Server: Athlon II X2 240E | Asus M4A78T-E | 8 gb | 320 GB + 8x2TB | FreeBSD
Bärbar: Thinkpad T60 | C1S 1.6 ghz | 2 gb | 40 gb hdd | Archlinux https://www.dropbox.com/referrals/NTEzMjU3MDk

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av The_SLain_Man
Kan tänka mig att höja till tre eller fyra för att få raidz1. Hur många diskar kan man ha i ett raidz1 och ändå kunna ha en disk fail? Börjar man med fyra diskar så kan man ju lägga till en till grupp med fyra diskar, eller ska man inte dela upp det på så många grupper?

I raidz1 kan du tappa en disk och köra på ändå. Tappar du två diskar är du kokt.

Du kan ha flera raidz1-grupper i din zpool. Men du kan fortfarande bara tappa en disk per raidz1-grupp, två raidz1-grupper blir inte lika bra som en raidz2.

Men hemmaservrar med ZFS är inte raketforskning precis, internet är fullt av information om detta! Jag tror inte att du blir missnöjd med vare sig 2*raidz1 eller 1*raidz2. Även speglade diskar funkar nog fint. Möjligen blir kostnaden per effektivt lagringsutrymme lite för hög med speglar.

Slutligen så fixar du till automatiserad offsite backup på datan du inte kan återskapa. Då har du en lösning som är väldigt bra. Med en UPS på servern (kostar runt 1500) så har du en extremt bra lagringslösning för hemmabruk.

Permalänk
Avstängd
Permalänk
Medlem

Hmm, nu kankse det inte är något för dig men kolla in freenas så har du ett freebsd system som jätteenkelt kan konfas upp via en lokal websida.

Permalänk
Citat:

Ursprungligen inskrivet av Dinin
Hmm, nu kankse det inte är något för dig men kolla in freenas så har du ett freebsd system som jätteenkelt kan konfas upp via en lokal websida.

Har kör en del m0n0wall och det väldigt trevligt. Men till det här så vill jag lära mig köra FreeBSD på riktigt.

Förövrigt så lutar det mot att börja med fyra diskar i raidz1 och sen vid behov utöka med fyra till i raidz1. Mycket tack för tips och länkar, ska ta och läsa igenom saddams bloglänk.

Visa signatur

Stationär: PC-K62 | i7 930 @ 2.8ghz | TRUE | Gigabyte X58A UD7 | 6 gb | GTX570 | 2x500+2x1000+320 gb | Windows 7
Server: Athlon II X2 240E | Asus M4A78T-E | 8 gb | 320 GB + 8x2TB | FreeBSD
Bärbar: Thinkpad T60 | C1S 1.6 ghz | 2 gb | 40 gb hdd | Archlinux https://www.dropbox.com/referrals/NTEzMjU3MDk

Permalänk
Avstängd

Tänk dock på att raidz2 är mycket säkrare än raidz1. Antag en stor disk pajar, säg 3-4TB, då tar det kanske en vecka innan raidet är reparerat. Under den tiden stressas de andra diskarna mycket och en annan disk kan krascha. Då är du kokt om du kör raidz1. Kort sagt, raidz2 rekommenderas om du ska köra stora diskar. Och eftersom du kan switcha diskarna mot större, så kanske du i framtiden sitter med 4TB diskar i raidz1. Då kommer du ångra dig att du valde raidz1.

Läs här för mera info om detta. I framtiden när diskarna är riktigt stora så räcker inte raidz2, då måste man köra raidz3.
http://blogs.zdnet.com/storage/?p=805

Botemedlet är att inte switcha till stora diskar, utan stanna på små diskar: 500GB-1TB. Då hinner raidet reparera sig om en disk kraschar och då är raidz1 inte dåligt val.

Permalänk
Medlem

Jag håller på med att sätta upp en liknande server just nu faktiskt. Personligen är jag osäker på om jag vill köra ZFS under FreeBSD, jag har i alla fall inte fått det att fungera tillfredsställande ännu. Du kan läsa mer om mitt problem här.

1. Då min server är en ren backupserver har jag valt att köra med zmirror, vill jag har mer utrymme behöver jag byta alla diskarna med det är okay för mig. Sen tycker jag, att du inte ska köra ZFS på /. Dock kan du med fördel trixa in lite special delar som inte är kritiska på ZFS delen för att ha nytta av dess egenskaper (tex. home, ports).

3. Har inte gjort några större tester, men fyller 100Mbit via SCP. Kan testa med 1GBit om du är intresserad.

Permalänk
Citat:

Ursprungligen inskrivet av saddam
Tänk dock på att raidz2 är mycket säkrare än raidz1. Antag en stor disk pajar, säg 3-4TB, då tar det kanske en vecka innan raidet är reparerat. Under den tiden stressas de andra diskarna mycket och en annan disk kan krascha. Då är du kokt om du kör raidz1. Kort sagt, raidz2 rekommenderas om du ska köra stora diskar. Och eftersom du kan switcha diskarna mot större, så kanske du i framtiden sitter med 4TB diskar i raidz1. Då kommer du ångra dig att du valde raidz1.

Läs här för mera info om detta. I framtiden när diskarna är riktigt stora så räcker inte raidz2, då måste man köra raidz3.
http://blogs.zdnet.com/storage/?p=805

Botemedlet är att inte switcha till stora diskar, utan stanna på små diskar: 500GB-1TB. Då hinner raidet reparera sig om en disk kraschar och då är raidz1 inte dåligt val.

Jo har läst lite mer nu och blir nog raidz2 men då lär det inte bli av förens senare i sommar när man kanske fått jobb (studerar just nu).

Citat:

Ursprungligen inskrivet av Intenso
Jag håller på med att sätta upp en liknande server just nu faktiskt. Personligen är jag osäker på om jag vill köra ZFS under FreeBSD, jag har i alla fall inte fått det att fungera tillfredsställande ännu. Du kan läsa mer om mitt problem här.

1. Då min server är en ren backupserver har jag valt att köra med zmirror, vill jag har mer utrymme behöver jag byta alla diskarna med det är okay för mig. Sen tycker jag, att du inte ska köra ZFS på /. Dock kan du med fördel trixa in lite special delar som inte är kritiska på ZFS delen för att ha nytta av dess egenskaper (tex. home, ports).

3. Har inte gjort några större tester, men fyller 100Mbit via SCP. Kan testa med 1GBit om du är intresserad.

Hade inte tänkt köra ZFS på / för att göra det enklare.
Kör du på 32 bits? Isåfall skulle det vara intressant att se vad du får för hastigheter på gigabit. Har sett mycket rekommendationer för 64 bits men har inte tillgång till något sådan system.

Visa signatur

Stationär: PC-K62 | i7 930 @ 2.8ghz | TRUE | Gigabyte X58A UD7 | 6 gb | GTX570 | 2x500+2x1000+320 gb | Windows 7
Server: Athlon II X2 240E | Asus M4A78T-E | 8 gb | 320 GB + 8x2TB | FreeBSD
Bärbar: Thinkpad T60 | C1S 1.6 ghz | 2 gb | 40 gb hdd | Archlinux https://www.dropbox.com/referrals/NTEzMjU3MDk

Permalänk
Medlem
Citat:

[i]Har sett mycket rekommendationer för 64 bits men har inte tillgång till något sådan system. [/B]

Kör "dessvärre" 64bit

Permalänk
Citat:

Ursprungligen inskrivet av Intenso
Kör "dessvärre" 64bit

Jahaja, kan ju vara intressant hur ZFS prestandan är i FreeBSD annars.

Visa signatur

Stationär: PC-K62 | i7 930 @ 2.8ghz | TRUE | Gigabyte X58A UD7 | 6 gb | GTX570 | 2x500+2x1000+320 gb | Windows 7
Server: Athlon II X2 240E | Asus M4A78T-E | 8 gb | 320 GB + 8x2TB | FreeBSD
Bärbar: Thinkpad T60 | C1S 1.6 ghz | 2 gb | 40 gb hdd | Archlinux https://www.dropbox.com/referrals/NTEzMjU3MDk

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av Intenso
Jag håller på med att sätta upp en liknande server just nu faktiskt. Personligen är jag osäker på om jag vill köra ZFS under FreeBSD, jag har i alla fall inte fått det att fungera tillfredsställande ännu. Du kan läsa mer om mitt problem här.

1. Då min server är en ren backupserver har jag valt att köra med zmirror, vill jag har mer utrymme behöver jag byta alla diskarna med det är okay för mig. Sen tycker jag, att du inte ska köra ZFS på /. Dock kan du med fördel trixa in lite special delar som inte är kritiska på ZFS delen för att ha nytta av dess egenskaper (tex. home, ports).

3. Har inte gjort några större tester, men fyller 100Mbit via SCP. Kan testa med 1GBit om du är intresserad.

Intenso,
Om du har problem att growa en zpool (switcha diskarna mot större diskar), så beror det på att du måste köra ett kommando. Kommer inte ihåg vilket kommando, men typ
zpool growZpool=on
eller nåt sånt. Syntaxen här, är helt tokfel, men innebörden i kommandot var nåt sånt. Googla lite. Läs ZFS manualen på SUNs hemsida.

Kanske hjälpte det att exportera och importera poolen också.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av saddam
Intenso,
Om du har problem att growa en zpool (switcha diskarna mot större diskar)[...]

Inte det som är problemet, utan det verkar vara något med ZFS som trasslar till det med disk-IO delen i systemet. Har lyckas ersätta en disk och fått i den andra och systemet tycker att det finns ~1.3TB, efter massa trassel. Men just nu får alla kommandon som involverar den gamla disken, som inte är i systemet längre, systemet att tappa kontakten med ZFS diskarna,eller va fan det nu är som händer ;).

Ska testa att installera om hela systemet samt kompilera kärnan med Dtrace för att kunnna får mer information. Uppför det sig inte bättre då blir det antingen en vanlig gmirror eller BTRFS.

Kolla min tråd på freebsd.org.

Permalänk
Avstängd

ZFS tillåte rinte att du ersätter bara en disk. ZFS kräver att alla diskar har exakt samma storlek. Den minsta disken betsämmer storleken.

Jag är fortfarande inne på att du måste enabla att du kan swappa små diskar mot större.

Permalänk
Hedersmedlem

Här har du ett enkelt kontrollerkort med åtta portar som fungerar i FreeBSD:
http://www.mullet.se/product.html?product_id=133690

Kör själv FreeBSD och zfs som filserver.. men ingen fancy zfs-raid. Har ett HP-kort med hårdvaru-raid och batteribackup etc. Har bara den arrayen i en pool där jag senare tänkte addera en array till, om det behövs.

Jag är en nybörjare på det här men fungerar ganska fint. Var inga som helst problem att installera och konfa. Har ett litet problem med dålig prestanda men osäker på var det ligger. Om det är dåliga komponenter, kompatiblitet eller zfs som behöver patchas vet jag inte. Som tur är behöver jag inte monster-prestanda, stör mig bara lite på det.

Maskinen är en E2200 med 2GB ram, 64-bitars FreeBSD, åtta diskar i raid5 med 128MB BBWC och streaming över nätverket fungerar utmärkt, förutom att den är lite slö ibland. HD-filmer etc fungerar dock utmärkt att streama.

Visa signatur

yayaya I am Lorde yayaya

Permalänk
Avstängd

Tråkigt att du har prestanda problem, men det kanske åtgärdas i nästa version?

Citat:

Ursprungligen inskrivet av CCWarlock
Kör själv FreeBSD och zfs som filserver.. men ingen fancy zfs-raid.

Vad menar du med detta?

Och du vet väl att raidz1 (dvs raid5) är lite osäkert om en disk kraschar?

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av saddam
Tråkigt att du har prestanda problem, men det kanske åtgärdas i nästa version?

Vad menar du med detta?

Och du vet väl att raidz1 (dvs raid5) är lite osäkert om en disk kraschar?

Läs resten av hans post, han kör hårdvaru-raid

Permalänk
Hedersmedlem
Citat:

Ursprungligen inskrivet av saddam
Tråkigt att du har prestanda problem, men det kanske åtgärdas i nästa version?

Vad menar du med detta?

Och du vet väl att raidz1 (dvs raid5) är lite osäkert om en disk kraschar?

Som jag skrev.. men jag kanske är dålig med termerna?
Jag kör FreeBSD. Har skapat en zfs-pool. I den poolen har jag lagt min raid5-array som sitter på ett HP-kort.

Visa signatur

yayaya I am Lorde yayaya

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av CCWarlock
Som jag skrev.. men jag kanske är dålig med termerna?
Jag kör FreeBSD. Har skapat en zfs-pool. I den poolen har jag lagt min raid5-array som sitter på ett HP-kort.

Så du kör ZFS tillsammans med hårdvaruraid kort? Du vet väl att hårdvaruraid ställer till problem för ZFS? ZFS kräver ensam exklusiv tillgång till diskarna utan något hårdvaruraid kort, annars förlorar du dataintegritet. Man brukar ju säga att ZFS är säkert, men detta gäller endast om du inte kör hårdvaruraid. Kör du hårdvaruraid så kan det hända att du får problem med ditt raid, ZFS kan kanske inte hjälpa dig om du får dataproblem.

Om du verkligen vill köra hårdvaruraid, så är det helt onödigt att köra ZFS. ZFS är inte mycket säkrare än ett vanligt filsystem isåfall, och då kan du köra vad du vill, typ ext4.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av CCWarlock
Har ett litet problem med dålig prestanda men osäker på var det ligger. Om det är dåliga komponenter, kompatiblitet eller zfs som behöver patchas vet jag inte.

Jag har en hel del HP maskiner på jobbet med diverse RAID-kontrollerkort, har aldrig fått ut någon vidare prestanda från dem och då har vi ett par som är top of the line. Så vi börjar faktiskt gå ifrån hårdvaru-RAID till förmån för mjukvaru-RAID.

Citat:

Ursprungligen inskrivet av saddam
Om du verkligen vill köra hårdvaruraid, så är det helt onödigt att köra ZFS. ZFS är inte mycket säkrare än ett vanligt filsystem isåfall, och då kan du köra vad du vill, typ ext4.

Finns andra funktioner som också är intressanta, så onödigt är väl synd att kalla det.

Permalänk
Hedersmedlem

Min filserver visar verkligen sina färger nu.. har problem att streama HD-film under last. Tror jag ska prova OpenSolaris istället.

Visa signatur

yayaya I am Lorde yayaya

Permalänk
Citat:

Ursprungligen inskrivet av CCWarlock
Min filserver visar verkligen sina färger nu.. har problem att streama HD-film under last. Tror jag ska prova OpenSolaris istället.

Welcome to the light(?) side!
Som det ser ut just nu är det väll b125 (build 125) som rekommenderas främst tror jag. Du kan ladda ner en ISO/USB-ISO för till exempel b125 av OSOL (OpenSolaris) ifrån Genunix. Värt att veta är kanske också att det är sagt att nästa stabila version ska komma nu i mars.

Visa signatur

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av CCWarlock
Min filserver visar verkligen sina färger nu.. har problem att streama HD-film under last. Tror jag ska prova OpenSolaris istället.

FreeBSD är ett mycket bra OS med samma rötter som OpenSolaris. Jag tror problemet har med drivrutinen att göra eller nåt sånt. Dåliga drivare kan sänka det mesta. FreeBSD klarar av väldigt stor last utan problem, vilket de flesta OS gör idag. Jag tror inte problemet ligger hos OSet. Men var problemet är, och hur man fixar det, har jag inte en aning om.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av CCWarlock
Min filserver visar verkligen sina färger nu.. har problem att streama HD-film under last. Tror jag ska prova OpenSolaris istället.

Har inga problem med nåt oavsett sd/hd/etc, trots krypterings-overhead, gör du något annat med poolen samtidigt?

Permalänk
Hedersmedlem
Citat:

Ursprungligen inskrivet av Neco
Har inga problem med nåt oavsett sd/hd/etc, trots krypterings-overhead, gör du något annat med poolen samtidigt?

Nej. Ingenting annat.. datorn agerar samba/ftp-server. Med mycket torrent-trafik från en maskin kroknar den när en annan försöker streama.

Det är zfs' fel på något sätt gissar jag. Systemdiskarna sitter på moderkortet och kör ufs. De är snabba som satan, inget problem där. När jag skapar en zfs-partition på systemdiskarna hamnar de i samma dåliga hastighet med samma dipp-problem som den stora poolen.

Visa signatur

yayaya I am Lorde yayaya