Forum Mjukvara Linux och övriga operativsystem Tråd Inlägg

Atom510 server med FreeBSD och ZFS

1
Skriv svar
Permalänk
Medlem
●

Atom510 server med FreeBSD och ZFS

Hej Alla!

Jag har byggt en Web, php, MySQL, FTP, Samba server med FreeBSD 8.1.
Jag försöker hålla strömförbrukningen nere lite 'lagom'. Innehållet är nu.
* Moderkort med AtomD510 och 4GB RAM.
GA-D525TUD (rev. 1.x) - GIGABYTE
* En gammal 2,5" som systemdisk (Ingen redundans!!!).
* Två 2TB WD Green Power(4K= använder gnop) som data disk med zfs mirror.

Allt fungerar mycket bra....

Nu vill jag byta 2,5" IDE disken mot en 160GB SSD SATA.
Själva bytet i sig lär bli lite spännande men det fixar jag.

Nu till mina frågor!
1: Om jag avdelar 10GB för FreeBSD visst kan jag använda 150GB för l2arc?
2: En l2arc konsumerar RAM. kan man tänka sig att 4GB bara räcker till x stor l2arc?
3: Idag ligger jag på 500Mb/s över samba. Är det OK för min konfiguration?

mvh
/Alexander
PS: Detta är min första postning här... Hoppas jag postar rätt.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av Ellak43:

3: Idag ligger jag på 500Mb/s över samba. Är det OK för min konfiguration?

Gå till inlägget

Det är jag mycket skeptisk emot och jag tror du har missat något.

Andra som kör ZFS med OpenSolaris och Intel Atom, får typ 30MB/sek. Detta pga cpun är för klen. Det går inte snabbare än så. Du måste ha en snabbare cpu. När jag körde Pentium 4 på 2.4GHz så fick jag 20-30MB/sek.

Dessutom kör du två diskar, om varje disk ger 100MB/sek så får du totalt 200MB/sek. Du kan inte nå 500MB/sek.

Så något är fel. Kanske är det 50MB/sek?

Redigera
Citera flera Citera
Permalänk
Medlem
●

Missförstånd..
B= Byte
b=bit
500Mb/s är cirka 52MB/S.
Jag har Gbit lan så....

Om du fick 20-30MB/s på P4:an så låter det ju helt OK med 50MB/s på Atomen...
Med FreeBSD 8.0 låg jag på ca 20MB/s. 8.1 har ny drivis för nic på moderkortet. (Någon buffert som ökades tror jag).

Tack för svar!

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

1) Javisst kan man partitionera en del för OS och resten för l2arc.

2) Jag kör utan L2arc och tycker 4 GB RAM är på gränsen. Men det beror väl på användningsområdet. Kollade dock på intels spec för Atom D 510 och de anger max 4 GB RAM, samma anges för moderkortet så du lär inte kunna skaffa mera RAM.

Hittade detta: Re: [zfs-discuss] ZFS ZIL + L2ARC SSD Setup
Så om man går på att det skulle behövas 25 MB RAM för 1 GB L2arc så skulle i så fall 150 GB L2arc konsumera 3750 GB RAM och då blir det ju inte mycket RAM över för resten av systemet. Det kanske kan funka om du ger max 80 GB till L2arc eftersom man ju ska kunna köra ZFS med 2 GB RAM utan att behöva tweaka särskilt mycket. Dessutom om du kör ZFS på systemdisken är det skönt att ha en del extra utrymme för snapshots, kloner och sådant. Själv tycker jag att 4 GB RAM är på gränsen när jag kör utan L2arc. Å andra sidan kan man nog få prestandaskjuts av L2ARC så det kanske ändå är värt att offra någon GB RAM. (Typ man kanske ändå tjänar på att offra 1 GB RAM om man får 40 GB L2arc). Så det blir väl en kompromiss som du får göra.

3) Det låter väl rimligt med 500 mbit/s. Om klientdatorn kör Windows 7 eller Vista så att SMB2 utnyttjas så får man bättre fart. Jag får sisådär 50 MB/s mot Windows XP men 80-90 MB/s mot Windows 7 med samba. Nu har jag en Athlon 64 X2 på 2,5 GHz så jag gissar att den är mera kraftfull än en Atom D510. Du har 64-bit processor så du kör väl 64-bit FreeBSD (alltså amd64)? Schrimp här på forumet fick väldigt bra fart med NFS så det kanske kan vara ett alternativ.

Redigera
Citera flera Citera
Permalänk
Medlem
●

1:

2: Japp har redan max med RAM. Det var precis det jag hade fått för mig att jag läst någonstans att det gick åt ram för l2arc. Tusen tack för att du hittade det. Håller med i din uträkning. Jag är ute efter (samba)nätverks-prestanda och inte lokal prestanda så jag byter gärna ram-cache mot större ssd-cache. Låter som att jag kan dricka öl för +1000kr och köpa en 80GB disk istället
70GB l2arc kommer säker bli stor skillnad i alla fall. Jag jobbar mycket med bilder och kan tänka mig att dom får rum på 70GB...
Systemdisken är UFS. Jag är nöjd med det.

3: Nej det är mot en XP som TCP/IP-stacken är lite tweakad på. SMB2?! Spännade! Måste läsa på lite mao. Ja jag kör 64bit-FreeBSD. Hmm mitt 'problem' är egentligen när slödiskarna ska hitta filerna. Tror inte de är så fragmenterande ännu men jag har 1,2TB data på dom så.. Med min kombination är 50MB/s alltså helt OK.

Tusen tack för svaret!
Eller tack för ölen

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Varsågod!

Återkom gärna med info om hur det funkade med SSD och L2arc när du installerat din SSD.

Redigera
Citera flera Citera
Permalänk
Avstängd
●

Varför är din systemdisk UFS? Du bör absolut köra ZFS, eftersom du kan göra snapshots och rollback om du gjort en uppgradering som knasar. Det är bara att välja i GRUB, vilken snapshot du vill boota från. Det är fan den bästa funktionen som finns! Om jag klantat mig och installerat nåt konstigt så maskinen strular, så bootar jag bara om i en tidigare snapshot och raderar den strulande snapshoten. Tar nån minut så är man tillbaka precis innan det strulade. Det är guld! Innan jag gör något med systemet så skapar jag alltid en ny snapshot som jag gör ändringen i.

Förr i tiden, så fick man ofta ominstallera allting om man klantat sig. Urk

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hmm visste inte det..

Jag har inte bränt mig ännu...
Jag har backup på min conf i alla fall.

Jag ska tänka på saken.
Tackar!
PS: Självklart återkommer jag med feedback.. Hoppas jag hinner trixa i helgen.. Inte bara dricka öl

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av saddam:

Varför är din systemdisk UFS? Du bör absolut köra ZFS, eftersom du kan göra snapshots och rollback om du gjort en uppgradering som knasar. Det är bara att välja i GRUB, vilken snapshot du vill boota från. Det är fan den bästa funktionen som finns! Om jag klantat mig och installerat nåt konstigt så maskinen strular, så bootar jag bara om i en tidigare snapshot och raderar den strulande snapshoten. Tar nån minut så är man tillbaka precis innan det strulade. Det är guld! Innan jag gör något med systemet så skapar jag alltid en ny snapshot som jag gör ändringen i.

Förr i tiden, så fick man ofta ominstallera allting om man klantat sig. Urk

Gå till inlägget

Nu tänker du nog Opensolaris-tänk. FreeBSD är lite annorlunda och inte lika automatiserat när det gäller ZFS.

FreeBSD installationsprogram använder UFS och GRUB används inte (FreeBSD har en egen boot loader). Finns heller inte automatiska boot environments så som i Opensolaris. Så det är ganska vanligt att man bootar på UFS och bara kör lagringen på ZFS. Det är alltså lite trixigare att installera så den bootar på ZFS men det finns guider att följa på nätet som inte är alltför svåra. Eller så använder man PC-BSD installer som kan installera freebsd på ZFS. Själv bootar jag på en ZFS mirror men har traditionella swap-partitioner.

Många verkar installera FreeBSD på USB-minnen och sedan ställa det read-only och så lagrar man /var, /usr/local och sådant på ZFS. FreeBSD har ju liksom en basinstallation som är i stort sett oförändrad och så installerar man program och annat liksom lite på sidan om (exempelvis hamnar konfigurationsfiler oftast i /usr/local/etc när man installerat något själv såsom samba, medan operativsystemet själv läger sina konfig-filer i /etc). Så man får en bra separation mellan operativsystem och användarinstallerad programvara. Så egentligen är det kanske inte jättenödvändigt med ZFS root men jag tycker ändå det känns bättre än UFS. Det är också smidigt med ZFS om man vill klona sin grundinstallation till ett jail eller ta en snapshot för säkerhets skull innan man gör någon förändring.

Så visst, jag håller väl med om att ZFS root är smidigt men absolut inte nödvändigt. Man kan ju ganska enkelt installera om operativsystemet och återställa alla sina program från ZFS om man har mountat vissa saker på ZFS på ett smart sätt. Å andra sidan är då steget inte långt till att mounta allting på ZFS och köra ZFS root...

Redigera
Citera flera Citera
Permalänk
Medlem
●

Minnet ser ut såhär utan l2arc..
SYSTEM MEMORY INFORMATION:
mem_wire: 1359396864 ( 1296MB) [ 33%] Wired: disabled for paging out
mem_active: + 62062592 ( 59MB) [ 1%] Active: recently referenced
mem_inactive:+ 1021804544 ( 974MB) [ 24%] Inactive: recently not referenced
mem_cache: + 421888 ( 0MB) [ 0%] Cached: almost avail. for allocation
mem_free: + 1674981376 ( 1597MB) [ 40%] Free: fully available for allocation
mem_gap_vm: + 110592 ( 0MB) [ 0%] Memory gap: UNKNOWN
-------------- ------------ ----------- ------
mem_all: = 4118777856 ( 3927MB) [100%] Total real memory managed
mem_gap_sys: + 157876224 ( 150MB) Memory gap: Kernel?!
-------------- ------------ -----------
mem_phys: = 4276654080 ( 4078MB) Total real memory available
mem_gap_hw: + 18313216 ( 17MB) Memory gap: Segment Mappings?!
-------------- ------------ -----------
mem_hw: = 4294967296 ( 4096MB) Total real memory installed

SYSTEM MEMORY SUMMARY:
mem_used: 1597759488 ( 1523MB) [ 37%] Logically used memory
mem_avail: + 2697207808 ( 2572MB) [ 62%] Logically available memory
-------------- ------------ ----------- ------
mem_total: = 4294967296 ( 4096MB) [100%] Logically total memory

Då har burken varit på > 40 dagar.
Visst ser det ut som om jag har 1,6GB ledigt vilket skulle ge en optimal l2arc på 64GB. (Om man nu gissar på 25MB/GB.)

Jag har testat lite i VirtualBox.
Ganska knäppt men jag skapade en mirror med två 2GB diskar och la till en l2arc på 10GB!
Då efter mycket läsning landade (översa raden) "Wired: disabled for paging out" på +300MB.
D.v.s 30MB/GB l2arc. (Datan var 1,5GB bilder a 3-5MB/st.)

Har jag fattat rätt?
Borde optimalt ligga mellan 53GB-64GB?

Tack på förhand för synpunkter och även glada tillrop!

rsync:ar nu och funderar på hur jag ska flytta operativet...

Redigera
Citera flera Citera
Permalänk
Medlem
●

Så..
storage# zpool iostat -v
capacity operations bandwidth
pool used avail read write read write
----------- ----- ----- ----- ----- ----- -----
tank 1.04T 793G 15 1 1.79M 8.92K
mirror 1.04T 793G 15 1 1.79M 8.92K
ad2.nop - - 7 1 925K 9.19K
ad0.nop - - 7 1 926K 9.19K
cache - - - - - -
ad4s2 5.22G 65.7G 10 13 1.24M 1.64M
----------- ----- ----- ----- ----- ----- -----

Tänkte att jag kan ju alltid minska cachen.. Började med 71GB. Begriper inte hur den tas i anspråk dock..
Jag är säker på att jag läst >5.22GB. Får vänta lite till... Minnet ser ut så här just nu.
SYSTEM MEMORY INFORMATION:
mem_wire: 972263424 ( 927MB) [ 23%] Wired: disabled for paging out
mem_active: + 19959808 ( 19MB) [ 0%] Active: recently referenced
mem_inactive:+ 19398656 ( 18MB) [ 0%] Inactive: recently not referenced
mem_cache: + 483328 ( 0MB) [ 0%] Cached: almost avail. for allocation
mem_free: + 3106226176 ( 2962MB) [ 75%] Free: fully available for allocation
mem_gap_vm: + 471040 ( 0MB) [ 0%] Memory gap: UNKNOWN
-------------- ------------ ----------- ------
mem_all: = 4118802432 ( 3927MB) [100%] Total real memory managed
mem_gap_sys: + 157876224 ( 150MB) Memory gap: Kernel?!
-------------- ------------ -----------
mem_phys: = 4276678656 ( 4078MB) Total real memory available
mem_gap_hw: + 18288640 ( 17MB) Memory gap: Segment Mappings?!
-------------- ------------ -----------
mem_hw: = 4294967296 ( 4096MB) Total real memory installed

SYSTEM MEMORY SUMMARY:
mem_used: 1168859136 ( 1114MB) [ 27%] Logically used memory
mem_avail: + 3126108160 ( 2981MB) [ 72%] Logically available memory
-------------- ------------ ----------- ------
mem_total: = 4294967296 ( 4096MB) [100%] Logically total memory

Återkommer när mer cache används..

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Står lite om l2arc här som jag inte riktigt orkat fördjupa mig i:
ZFS L2ARC : Brendan Gregg
L2ARC Screenshots : Brendan Gregg

Verkar som det kan ta lång tid att fylla upp l2arc.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ja det tar lång tid att fylla l2arc. Jag hade nog fel. Hade nog bara läst 5.22GB.

Nu har ja packat upp lite stora filer och kollat igenom lite bilder.. l2arc är nu ca 30GB och minnet ser OK ut inget swap eller så.

MEN när jag samba-läser från disken verkar det gå långsammare 25-30MB/s och när jag kollar med #zpool iostat -v 1 ser jag att den läser från mirror och skriver till cache (dvs fyller cachen). Så antingen är det trångt i någon buss eller också är det cpu:n som kroknar.. (Jag har mirror diskarna anslutna till "Atom-chippet" och cachen till den extra krets som finns på mitt moderkort.)

Jag tänker köra såhär ett tag och känna efter hur det känns.. 25-30MB/s på en o-cachad fil är inge vidare. Hmm hälften faktiskt.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Det kanske är ett övergående fenomen som försvinner när cachen fyllts färdigt? Finns det någon zfs-parameter man kan justera som t.ex. överföringshastighet från disk till cache? Om man kan sänka den hastigheten bör det bli mer prestanda kvar till samba. Kanske behöver tweakas lite.

* The performance of the L2ARC can be tweaked by a number of tunables, which
 * may be necessary for different workloads:
 *
 *      l2arc_write_max         max write bytes per interval
 *      l2arc_write_boost       extra write bytes during device warmup
 *      l2arc_noprefetch        skip caching prefetched buffers
 *      l2arc_headroom          number of max device writes to precache
 *      l2arc_feed_secs         seconds between L2ARC writing
 *
 * Tunables may be removed or added as future performance improvements are
 * integrated, and also may become zpool properties.

Källa: ZFS L2ARC : Brendan Gregg

Troligtvis finns det andra parametrar också.
Testa med

sysctl -a | grep l2arc
Redigera
Citera flera Citera
Permalänk
Medlem
●

Ja du har nog rätt igen...

Min loader.conf ser ut såhär nu.
vfs.zfs.prefetch_disable=0
vfs.zfs.txg.write_limit_override=1048576000

Andra raden la jag till för ett tag sedan(innan l2arc) när jag märkte att skrivning stannade upp 1-2sec med jämna mellanrum.
Den begränsar skrivhastigheten till 100MB/s. Efter ändringen flöt det mycket bättre.

Jag har hittat angående prefetch "Sequential read patterns made of small reads very often hit in the cache. In this case, the current code consumes a significant amount of CPU time trying to find the next I/O to issue, whereas performance is governed more by the CPU availability."

ATOM:en är ju inte hypersnabb så att stänga av prefetch kanske är bra?
Finns det några andra tweaks som jag borde ha?

Oj! Upptäckte just att jag inte kör ahci.. Mina diskar heter ad*.
Kan jag köra det och vinner jag något på det?

Tack på förhand för synpunkter.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag har ingen l2arc själv så för egen del har jag svårt att ge några konkreta råd på tweaks eftersom jag själv inte kunnat testa detta. Själv fick jag bättre läsprestanda när jag satte "vfs.zfs.prefetch_disable=0" men egentligen bör man ha minst 4GB RAM enligt rekommendationerna för detta (jag har 4 GB RAM). Om du nu "offrar RAM" för att kunna använda l2arc så kan det hända att du får bättre prestanda om du sätter "vfs.zfs.prefetch_disable=1".

De tweaks jag har gjort har jag skrivit om i tråden om ZFS NAS på FreeBSD.
#10360765
(Men jag har sedan minskat vm.kmem_size till 7G efter att last att den ska vara max dubbelt som RAM).

Som vanligt får man väl testa att ändra lite, testa och se vilken skillnad det blir.
Om jag fattat rätt ska man undvika att stänga av sin dator om man kör l2arc eftersom man efter omstart får fylla l2arc cache på nytt då den behöver "värma upp sig" som det heter.

Redigera
Citera flera Citera
Permalänk
Medlem
●

vfs.zfs.prefetch_disable=1 gav tveklöst sämre prestanda (för mig). Den är nu 0 igen.

l2arc är nu full.
Samba prestanda mot en XP med SSD disk:
O-cachad fil på 700MB:
# netstat -h -w 1 -i re0
input (Total) output
packets errs idrops bytes packets errs bytes colls
3.3K 0 0 243K 28K 0 40M 0
3.3K 0 0 245K 28K 0 41M 0
4.0K 0 0 297K 34K 0 49M 0
4.1K 0 0 301K 35K 0 50M 0
3.7K 0 0 269K 31K 0 45M 0
3.8K 0 0 279K 32K 0 47M 0
4.1K 0 0 300K 35K 0 50M 0
4.0K 0 0 297K 34K 0 49M 0
4.1K 0 0 299K 34K 0 50M 0
3.8K 0 0 276K 32K 0 46M 0
4.1K 0 0 301K 35K 0 50M 0

Samma fil efter åtta läsningar. Borde alltså ligga i cachen.
e# netstat -h -w 1 -i re0
input (Total) output
packets errs idrops bytes packets errs bytes colls
4.0K 0 0 295K 34K 0 49M 0
4.0K 0 0 298K 34K 0 50M 0
4.0K 0 0 295K 34K 0 49M 0
4.0K 0 0 299K 35K 0 50M 0
4.0K 0 0 296K 34K 0 49M 0
4.0K 0 0 298K 34K 0 50M 0
4.0K 0 0 294K 34K 0 49M 0
4.0K 0 0 296K 34K 0 49M 0
4.0K 0 0 295K 34K 0 49M 0
4.0K 0 0 298K 35K 0 50M 0
3.9K 0 0 290K 33K 0 48M 0
4.0K 0 0 298K 34K 0 50M 0

Den är betydligt snabbare nu en i början när l2arc var tom.
Servern känns också snabbare med l2arc. När jag browsar filer och mappar etc.
Överföringshastigheten är möjligen något långsammare för o-cachad fil.

Jag är nöjd med l2arc:en.
Tack för alla idéer och länkar.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hittade detta ang l2arc. Lite djupt rent tekniskt men jag tycker att det förklaras på ett bra sätt..
Inside Open Storage

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Bra länk!

l2arc_noprefetch=1 verkar vara en intressant parameter att kolla upp. Den ska ju skippa cachning om du streamar data från hårddisken (vilket kanske var problemet när samba tappade prestanda).

Hur stor blev din l2arc, stannade du på 71 GB?
Hur mycket RAM verkar det gå åt för dig nu när den fyllts upp?

Redigera
Citera flera Citera
Permalänk
Medlem
●

Efter 3 dygn. Senaste dygnet med l2arc full.
#free
SYSTEM MEMORY INFORMATION:
mem_wire: 1320878080 ( 1259MB) [ 32%] Wired: disabled for paging out
mem_active: + 52244480 ( 49MB) [ 1%] Active: recently referenced
mem_inactive:+ 147439616 ( 140MB) [ 3%] Inactive: recently not referenced
mem_cache: + 409600 ( 0MB) [ 0%] Cached: almost avail. for allocation
mem_free: + 2597191680 ( 2476MB) [ 63%] Free: fully available for allocation
mem_gap_vm: + 638976 ( 0MB) [ 0%] Memory gap: UNKNOWN
-------------- ------------ ----------- ------
mem_all: = 4118802432 ( 3927MB) [100%] Total real memory managed
mem_gap_sys: + 157876224 ( 150MB) Memory gap: Kernel?!
-------------- ------------ -----------
mem_phys: = 4276678656 ( 4078MB) Total real memory available
mem_gap_hw: + 18288640 ( 17MB) Memory gap: Segment Mappings?!
-------------- ------------ -----------
mem_hw: = 4294967296 ( 4096MB) Total real memory installed

SYSTEM MEMORY SUMMARY:
mem_used: 1549926400 ( 1478MB) [ 36%] Logically used memory
mem_avail: + 2745040896 ( 2617MB) [ 63%] Logically available memory
-------------- ------------ ----------- ------
mem_total: = 4294967296 ( 4096MB) [100%] Logically total memory

l2arc är full (ligger på 8MB fritt hela tiden write_max?)
# zpool iostat -v
capacity operations bandwidth
pool used avail read write read write
----------- ----- ----- ----- ----- ----- -----
tank 1.04T 791G 38 2 4.68M 193K
mirror 1.04T 791G 38 2 4.68M 193K
ad2.nop - - 36 1 4.51M 194K
ad0.nop - - 36 1 4.51M 194K
cache - - - - - -
ad4s2 70.9G 8M 1 3 166K 453K
----------- ----- ----- ----- ----- ----- -----

Mer l2arc data...
# sysctl -a | grep "arcstats.l2"
kstat.zfs.misc.arcstats.l2_hits: 353066
kstat.zfs.misc.arcstats.l2_misses: 853762
kstat.zfs.misc.arcstats.l2_feeds: 264552
kstat.zfs.misc.arcstats.l2_rw_clash: 5
kstat.zfs.misc.arcstats.l2_read_bytes: 43011249664
kstat.zfs.misc.arcstats.l2_write_bytes: 117724536320
kstat.zfs.misc.arcstats.l2_writes_sent: 26581
kstat.zfs.misc.arcstats.l2_writes_done: 26581
kstat.zfs.misc.arcstats.l2_writes_error: 0
kstat.zfs.misc.arcstats.l2_writes_hdr_miss: 22
kstat.zfs.misc.arcstats.l2_evict_lock_retry: 4
kstat.zfs.misc.arcstats.l2_evict_reading: 0
kstat.zfs.misc.arcstats.l2_free_on_write: 7823
kstat.zfs.misc.arcstats.l2_abort_lowmem: 9
kstat.zfs.misc.arcstats.l2_cksum_bad: 0
kstat.zfs.misc.arcstats.l2_io_error: 0
kstat.zfs.misc.arcstats.l2_size: 63618886144
kstat.zfs.misc.arcstats.l2_hdr_size: 106670144
kstat.zfs.misc.arcstats.l2_write_trylock_fail: 9166
kstat.zfs.misc.arcstats.l2_write_passed_headroom: 3718450
kstat.zfs.misc.arcstats.l2_write_spa_mismatch: 0
kstat.zfs.misc.arcstats.l2_write_in_l2: 1187516100
kstat.zfs.misc.arcstats.l2_write_io_in_progress: 200
kstat.zfs.misc.arcstats.l2_write_not_cacheable: 420726363
kstat.zfs.misc.arcstats.l2_write_full: 11708
kstat.zfs.misc.arcstats.l2_write_buffer_iter: 264552
kstat.zfs.misc.arcstats.l2_write_pios: 26581
kstat.zfs.misc.arcstats.l2_write_buffer_bytes_scanned: 96180034864128
kstat.zfs.misc.arcstats.l2_write_buffer_list_iter: 16761545
kstat.zfs.misc.arcstats.l2_write_buffer_list_null_iter: 2049258

Inställningarna är default..
# sysctl -a | grep "l2arc"
vfs.zfs.l2arc_norw: 1
vfs.zfs.l2arc_feed_again: 1
vfs.zfs.l2arc_noprefetch: 0
vfs.zfs.l2arc_feed_min_ms: 200
vfs.zfs.l2arc_feed_secs: 1
vfs.zfs.l2arc_headroom: 2
vfs.zfs.l2arc_write_boost: 8388608
vfs.zfs.l2arc_write_max: 8388608

Ja jag höll kvar i 71GB. funkar bra tror jag lite tidigt ännu..
Jag ser ingen större skillnad på RAM..

Tänker testa med att sänka write_max.
Jag bootar "aldrig" om så write_boost är ju mindre viktig...

EDIT:
Minska write_max gjorde ingen skillnad.
Kan slå fast att mitt problem hela tiden har varit låsningar vid skrivning.
Som jag trodde var löst med:
vfs.zfs.txg.write_limit_override=1048576000

Har labbat med vfs.zfs.vdev.min_pending och vfs.zfs.vdev.max_pending vilket kräver ombootning!
Lyckades inte få till det. # gstat siffrorna slår i taket och systemet slöar ner en aning. (Inte alls som utan tweakning).

Jag skulle vara nöjd med vfs.zfs.txg.write_limit_override=1048576000 om det inte vore roligt och lärorikt att försöka få bättre flyt..
:-/

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem
●

Oj! Mot en Win7 klient får jag >90MB/s!!

Efter en hel del trixande ser min loader.conf ut såhär:
vfs.zfs.prefetch_disable=0
vfs.zfs.txg.write_limit_override=838860800
vfs.zfs.vdev.min_pending=1
vfs.zfs.vdev.max_pending=16
vm.kmem_size="7G"
vfs.zfs.arc_max="3072M"

Inga låsningar vid skrivning etc...

Tack ronnylov tipset om SMB2.
Kanske dax att byta ut XP...

storage# netstat -w 1 -h -i re0
input (Total) output
packets errs idrops bytes packets errs bytes colls
8.8K 0 0 693K 65K 0 97M 0
8.7K 0 0 688K 66K 0 96M 0
8.6K 0 0 683K 65K 0 96M 0
8.8K 0 0 690K 65K 0 96M 0
7.3K 0 0 575K 54K 0 80M 0
8.6K 0 0 676K 64K 0 94M 0
8.8K 0 0 690K 65K 0 96M 0
8.8K 0 0 693K 65K 0 97M 0
8.7K 0 0 687K 66K 0 96M 0
8.7K 0 0 686K 65K 0 96M 0
8.6K 0 0 683K 66K 0 96M 0
8.8K 0 0 695K 65K 0 96M 0
7.5K 0 0 595K 56K 0 83M 0
8.5K 0 0 674K 64K 0 94M 0
8.8K 0 0 691K 65K 0 96M 0

Tack för all hjälp!

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara