Efter 3 dygn. Senaste dygnet med l2arc full.
#free
SYSTEM MEMORY INFORMATION:
mem_wire: 1320878080 ( 1259MB) [ 32%] Wired: disabled for paging out
mem_active: + 52244480 ( 49MB) [ 1%] Active: recently referenced
mem_inactive:+ 147439616 ( 140MB) [ 3%] Inactive: recently not referenced
mem_cache: + 409600 ( 0MB) [ 0%] Cached: almost avail. for allocation
mem_free: + 2597191680 ( 2476MB) [ 63%] Free: fully available for allocation
mem_gap_vm: + 638976 ( 0MB) [ 0%] Memory gap: UNKNOWN
-------------- ------------ ----------- ------
mem_all: = 4118802432 ( 3927MB) [100%] Total real memory managed
mem_gap_sys: + 157876224 ( 150MB) Memory gap: Kernel?!
-------------- ------------ -----------
mem_phys: = 4276678656 ( 4078MB) Total real memory available
mem_gap_hw: + 18288640 ( 17MB) Memory gap: Segment Mappings?!
-------------- ------------ -----------
mem_hw: = 4294967296 ( 4096MB) Total real memory installed
SYSTEM MEMORY SUMMARY:
mem_used: 1549926400 ( 1478MB) [ 36%] Logically used memory
mem_avail: + 2745040896 ( 2617MB) [ 63%] Logically available memory
-------------- ------------ ----------- ------
mem_total: = 4294967296 ( 4096MB) [100%] Logically total memory
l2arc är full (ligger på 8MB fritt hela tiden write_max?)
# zpool iostat -v
capacity operations bandwidth
pool used avail read write read write
----------- ----- ----- ----- ----- ----- -----
tank 1.04T 791G 38 2 4.68M 193K
mirror 1.04T 791G 38 2 4.68M 193K
ad2.nop - - 36 1 4.51M 194K
ad0.nop - - 36 1 4.51M 194K
cache - - - - - -
ad4s2 70.9G 8M 1 3 166K 453K
----------- ----- ----- ----- ----- ----- -----
Mer l2arc data...
# sysctl -a | grep "arcstats.l2"
kstat.zfs.misc.arcstats.l2_hits: 353066
kstat.zfs.misc.arcstats.l2_misses: 853762
kstat.zfs.misc.arcstats.l2_feeds: 264552
kstat.zfs.misc.arcstats.l2_rw_clash: 5
kstat.zfs.misc.arcstats.l2_read_bytes: 43011249664
kstat.zfs.misc.arcstats.l2_write_bytes: 117724536320
kstat.zfs.misc.arcstats.l2_writes_sent: 26581
kstat.zfs.misc.arcstats.l2_writes_done: 26581
kstat.zfs.misc.arcstats.l2_writes_error: 0
kstat.zfs.misc.arcstats.l2_writes_hdr_miss: 22
kstat.zfs.misc.arcstats.l2_evict_lock_retry: 4
kstat.zfs.misc.arcstats.l2_evict_reading: 0
kstat.zfs.misc.arcstats.l2_free_on_write: 7823
kstat.zfs.misc.arcstats.l2_abort_lowmem: 9
kstat.zfs.misc.arcstats.l2_cksum_bad: 0
kstat.zfs.misc.arcstats.l2_io_error: 0
kstat.zfs.misc.arcstats.l2_size: 63618886144
kstat.zfs.misc.arcstats.l2_hdr_size: 106670144
kstat.zfs.misc.arcstats.l2_write_trylock_fail: 9166
kstat.zfs.misc.arcstats.l2_write_passed_headroom: 3718450
kstat.zfs.misc.arcstats.l2_write_spa_mismatch: 0
kstat.zfs.misc.arcstats.l2_write_in_l2: 1187516100
kstat.zfs.misc.arcstats.l2_write_io_in_progress: 200
kstat.zfs.misc.arcstats.l2_write_not_cacheable: 420726363
kstat.zfs.misc.arcstats.l2_write_full: 11708
kstat.zfs.misc.arcstats.l2_write_buffer_iter: 264552
kstat.zfs.misc.arcstats.l2_write_pios: 26581
kstat.zfs.misc.arcstats.l2_write_buffer_bytes_scanned: 96180034864128
kstat.zfs.misc.arcstats.l2_write_buffer_list_iter: 16761545
kstat.zfs.misc.arcstats.l2_write_buffer_list_null_iter: 2049258
Inställningarna är default..
# sysctl -a | grep "l2arc"
vfs.zfs.l2arc_norw: 1
vfs.zfs.l2arc_feed_again: 1
vfs.zfs.l2arc_noprefetch: 0
vfs.zfs.l2arc_feed_min_ms: 200
vfs.zfs.l2arc_feed_secs: 1
vfs.zfs.l2arc_headroom: 2
vfs.zfs.l2arc_write_boost: 8388608
vfs.zfs.l2arc_write_max: 8388608
Ja jag höll kvar i 71GB. funkar bra tror jag lite tidigt ännu..
Jag ser ingen större skillnad på RAM..
Tänker testa med att sänka write_max.
Jag bootar "aldrig" om så write_boost är ju mindre viktig...
EDIT:
Minska write_max gjorde ingen skillnad.
Kan slå fast att mitt problem hela tiden har varit låsningar vid skrivning.
Som jag trodde var löst med:
vfs.zfs.txg.write_limit_override=1048576000
Har labbat med vfs.zfs.vdev.min_pending och vfs.zfs.vdev.max_pending vilket kräver ombootning!
Lyckades inte få till det. # gstat siffrorna slår i taket och systemet slöar ner en aning. (Inte alls som utan tweakning).
Jag skulle vara nöjd med vfs.zfs.txg.write_limit_override=1048576000 om det inte vore roligt och lärorikt att försöka få bättre flyt..
:-/