[zfs-discuss] ZFS consuming twice ARC's size and crashing system

Trey Dockendorf treydock at gmail.com
Mon Aug 12 16:31:03 EDT 2013


I'm working to migrate our FhGFS storage and metadata filesystems using XFS 
storage to ZOL.  Initial performance tests with ZOL across the clustered 
filesystem and local storage bricks was very promising.  I'm now running 
parallel-ish rsyncs from our existing filesystem to our new systems 
(running ZOL) and have begun to see alarming memory consumption on the 
storage and metadata systems.  The metadata system has got hung (root's 
ext4 with hung_task_timeout_secs errors) already twice in the past 3 days. 
 While transferring ~58TB I began to notice the 2 storage servers and 
single metadata server getting below less than 5% free memory.

After reading some of the Github issues and various posts I shutdown the 
transfers and unmounted /tank and did 'modprobe -r zfs' and the memory 
usage shifted from ~1.8% free to ~98.5% free.

Below are the slab and arcstat numbers from before [1] and after [2] the 
unmount/modprobe -r operation.

The systems doing storage (and shown in output below) have 64GB RAM, no 
dedup, no compression.  Zpool configuration [3] is two 10-disk RAIDZ2's 
with mirrored zil and striped cached.  Both zil and cache are SSD (though 
they share the same SSDs, just partitioned separately).

I have not changed any zfs parameters. The current values are below [4].

Is there anything I can do to prevent such massive memory consumption?  Any 
input or advice is greatly appreciated.

Thanks!
- Trey

[1] - BEFORE umount /tank && modprobe -r zfs

# free -m
             total       used       free     shared    buffers     cached
Mem:         64394      63814        580          0        138        447
-/+ buffers/cache:      63227       1166
Swap:        17876          0      17876

# cat /proc/spl/kstat/zfs/arcstats
4 1 0x01 80 3840 14068604476 855326803059960
name                            type data
hits                            4    14282253
misses                          4    1620288
demand_data_hits                4    2218799
demand_data_misses              4    4070
demand_metadata_hits            4    12045186
demand_metadata_misses          4    1603226
prefetch_data_hits              4    11433
prefetch_data_misses            4    858
prefetch_metadata_hits          4    6835
prefetch_metadata_misses        4    12134
mru_hits                        4    3393387
mru_ghost_hits                  4    1026989
mfu_hits                        4    10870655
mfu_ghost_hits                  4    571654
deleted                         4    146421009
recycle_miss                    4    2087432
mutex_miss                      4    218036
evict_skip                      4    11812
evict_l2_cached                 4    1965484251136
evict_l2_eligible               4    16744072573440
evict_l2_ineligible             4    46204928
hash_elements                   4    3276791
hash_elements_max               4    3276795
hash_collisions                 4    113018742
hash_chains                     4    970350
hash_chain_max                  4    12
p                               4    32332809728
c                               4    35433480192
c_min                           4    4429185024
c_max                           4    35433480192
size                            4    35433387976
hdr_size                        4    284321168
data_size                       4    30945415168
other_size                      4    3538699496
anon_size                       4    16384
anon_evict_data                 4    0
anon_evict_metadata             4    0
mru_size                        4    30879575552
mru_evict_data                  4    28208510464
mru_evict_metadata              4    1436280832
mru_ghost_size                  4    4553802752
mru_ghost_evict_data            4    933554176
mru_ghost_evict_metadata        4    3620248576
mfu_size                        4    65823232
mfu_evict_data                  4    0
mfu_evict_metadata              4    65823232
mfu_ghost_size                  4    2934171648
mfu_ghost_evict_data            4    2929137664
mfu_ghost_evict_metadata        4    5033984
l2_hits                         4    1370716
l2_misses                       4    249550
l2_feeds                        4    946623
l2_rw_clash                     4    4
l2_read_bytes                   4    5957497344
l2_write_bytes                  4    1993744710656
l2_writes_sent                  4    367327
l2_writes_done                  4    367327
l2_writes_error                 4    0
l2_writes_hdr_miss              4    203
l2_evict_lock_retry             4    157
l2_evict_reading                4    0
l2_free_on_write                4    79142
l2_abort_lowmem                 4    0
l2_cksum_bad                    4    0
l2_io_error                     4    0
l2_size                         4    263394997760
l2_hdr_size                     4    704066976
memory_throttle_count           4    0
duplicate_buffers               4    0
duplicate_buffers_size          4    0
duplicate_reads                 4    0
memory_direct_count             4    0
memory_indirect_count           4    0
arc_no_grow                     4    0
arc_tempreserve                 4    0
arc_loaned_bytes                4    0
arc_prune                       4    0
arc_meta_used                   4    7224877512
arc_meta_limit                  4    8858370048
arc_meta_max                    4    7224893896

# cat /proc/slabinfo
slabinfo - version: 2.1
# name            <active_objs> <num_objs> <objsize> <objperslab> 
<pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata 
<active_slabs> <num_slabs> <sharedavail>
nfs_direct_cache       0      0    200   19    1 : tunables  120   60    8 
: slabdata      0      0      0
nfs_commit_data        0      0    704   11    2 : tunables   54   27    8 
: slabdata      0      0      0
nfs_write_data        36     36    896    4    1 : tunables   54   27    8 
: slabdata      9      9      0
nfs_read_data          0      0    832    9    2 : tunables   54   27    8 
: slabdata      0      0      0
nfs_inode_cache      166    168   1048    3    1 : tunables   24   12    8 
: slabdata     56     56      0
nfs_page               0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
fscache_cookie_jar      3    106     72   53    1 : tunables  120   60    8 
: slabdata      2      2      0
rpc_buffers            8      8   2048    2    1 : tunables   24   12    8 
: slabdata      4      4      0
rpc_tasks              8     15    256   15    1 : tunables  120   60    8 
: slabdata      1      1      0
rpc_inode_cache       18     24    832    4    1 : tunables   54   27    8 
: slabdata      6      6      0
nf_conntrack_expect      0      0    240   16    1 : tunables  120   60   
 8 : slabdata      0      0      0
nf_conntrack_ffffffff81b16580      0      0    312   12    1 : tunables   
54   27    8 : slabdata      0      0      0
fib6_nodes            24    118     64   59    1 : tunables  120   60    8 
: slabdata      2      2      0
ip6_dst_cache         16     30    384   10    1 : tunables   54   27    8 
: slabdata      3      3      0
ndisc_cache            1     15    256   15    1 : tunables  120   60    8 
: slabdata      1      1      0
ip6_mrt_cache          0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
RAWv6                 19     20   1024    4    1 : tunables   54   27    8 
: slabdata      5      5      0
UDPLITEv6              0      0   1024    4    1 : tunables   54   27    8 
: slabdata      0      0      0
UDPv6                  8     16   1024    4    1 : tunables   54   27    8 
: slabdata      4      4      0
tw_sock_TCPv6          0      0    320   12    1 : tunables   54   27    8 
: slabdata      0      0      0
request_sock_TCPv6      0      0    192   20    1 : tunables  120   60    8 
: slabdata      0      0      0
TCPv6                  3      4   1856    2    1 : tunables   24   12    8 
: slabdata      2      2      0
ib_mad              1024   1096    448    8    1 : tunables   54   27    8 
: slabdata    137    137      0
ioat2               4096   4110    128   30    1 : tunables  120   60    8 
: slabdata    137    137      0
ext4_inode_cache   32088  32152   1024    4    1 : tunables   54   27    8 
: slabdata   8038   8038      0
ext4_xattr             0      0     88   44    1 : tunables  120   60    8 
: slabdata      0      0      0
ext4_free_block_extents      0      0     56   67    1 : tunables  120   60 
   8 : slabdata      0      0      0
ext4_alloc_context      1     28    136   28    1 : tunables  120   60    8 
: slabdata      1      1      0
ext4_prealloc_space     18     74    104   37    1 : tunables  120   60   
 8 : slabdata      2      2      0
ext4_system_zone       0      0     40   92    1 : tunables  120   60    8 
: slabdata      0      0      0
jbd2_journal_handle      1    288     24  144    1 : tunables  120   60   
 8 : slabdata      1      2      0
jbd2_journal_head     21    102    112   34    1 : tunables  120   60    8 
: slabdata      3      3      5
jbd2_revoke_table      2    202     16  202    1 : tunables  120   60    8 
: slabdata      1      1      0
jbd2_revoke_record      0      0     32  112    1 : tunables  120   60    8 
: slabdata      0      0      0
bio-1                 57    100    192   20    1 : tunables  120   60    8 
: slabdata      5      5      0
sd_ext_cdb             2    112     32  112    1 : tunables  120   60    8 
: slabdata      1      1      0
sas_task               0      0    320   12    1 : tunables   54   27    8 
: slabdata      0      0      0
scsi_sense_cache      27     60    128   30    1 : tunables  120   60    8 
: slabdata      2      2      0
scsi_cmd_cache        12     45    256   15    1 : tunables  120   60    8 
: slabdata      3      3      0
dm_raid1_read_record      0      0   1064    7    2 : tunables   24   12   
 8 : slabdata      0      0      0
kcopyd_job             0      0   3240    2    2 : tunables   24   12    8 
: slabdata      0      0      0
io                     0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
dm_uevent              0      0   2608    3    2 : tunables   24   12    8 
: slabdata      0      0      0
dm_rq_clone_bio_info      0      0     16  202    1 : tunables  120   60   
 8 : slabdata      0      0      0
dm_rq_target_io        0      0    392   10    1 : tunables   54   27    8 
: slabdata      0      0      0
dm_target_io           0      0     24  144    1 : tunables  120   60    8 
: slabdata      0      0      0
dm_io                  0      0     40   92    1 : tunables  120   60    8 
: slabdata      0      0      0
flow_cache             0      0     96   40    1 : tunables  120   60    8 
: slabdata      0      0      0
uhci_urb_priv          0      0     56   67    1 : tunables  120   60    8 
: slabdata      0      0      0
cfq_io_context         0      0    136   28    1 : tunables  120   60    8 
: slabdata      0      0      0
cfq_queue              0      0    240   16    1 : tunables  120   60    8 
: slabdata      0      0      0
bsg_cmd                0      0    312   12    1 : tunables   54   27    8 
: slabdata      0      0      0
mqueue_inode_cache      1      4    896    4    1 : tunables   54   27    8 
: slabdata      1      1      0
isofs_inode_cache      0      0    640    6    1 : tunables   54   27    8 
: slabdata      0      0      0
hugetlbfs_inode_cache      1      6    608    6    1 : tunables   54   27   
 8 : slabdata      1      1      0
dquot                  0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
kioctx                 0      0    384   10    1 : tunables   54   27    8 
: slabdata      0      0      0
kiocb                  0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
inotify_event_private_data      0      0     32  112    1 : tunables  120   
60    8 : slabdata      0      0      0
inotify_inode_mark_entry    174    374    112   34    1 : tunables  120   
60    8 : slabdata     11     11      0
dnotify_mark_entry      4     34    112   34    1 : tunables  120   60    8 
: slabdata      1      1      0
dnotify_struct         4    112     32  112    1 : tunables  120   60    8 
: slabdata      1      1      0
fasync_cache           0      0     24  144    1 : tunables  120   60    8 
: slabdata      0      0      0
khugepaged_mm_slot     11    184     40   92    1 : tunables  120   60    8 
: slabdata      2      2      0
ksm_mm_slot            0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
ksm_stable_node        0      0     40   92    1 : tunables  120   60    8 
: slabdata      0      0      0
ksm_rmap_item          0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
utrace_engine          0      0     56   67    1 : tunables  120   60    8 
: slabdata      0      0      0
utrace                 0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
pid_namespace          0      0   2120    3    2 : tunables   24   12    8 
: slabdata      0      0      0
nsproxy                0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
posix_timers_cache      0      0    176   22    1 : tunables  120   60    8 
: slabdata      0      0      0
uid_cache              7    120    128   30    1 : tunables  120   60    8 
: slabdata      4      4      0
UNIX                 140    175    768    5    1 : tunables   54   27    8 
: slabdata     35     35      0
ip_mrt_cache           0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
UDP-Lite               0      0    832    9    2 : tunables   54   27    8 
: slabdata      0      0      0
tcp_bind_bucket       83    177     64   59    1 : tunables  120   60    8 
: slabdata      3      3      0
inet_peer_cache        2     59     64   59    1 : tunables  120   60    8 
: slabdata      1      1      0
secpath_cache          0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
xfrm_dst_cache         0      0    384   10    1 : tunables   54   27    8 
: slabdata      0      0      0
ip_fib_alias           1    112     32  112    1 : tunables  120   60    8 
: slabdata      1      1      0
ip_fib_hash           14    106     72   53    1 : tunables  120   60    8 
: slabdata      2      2      0
ip_dst_cache          38     50    384   10    1 : tunables   54   27    8 
: slabdata      5      5      0
arp_cache              6     15    256   15    1 : tunables  120   60    8 
: slabdata      1      1      0
PING                   0      0    832    9    2 : tunables   54   27    8 
: slabdata      0      0      0
RAW                   17     18    832    9    2 : tunables   54   27    8 
: slabdata      2      2      0
UDP                   18     36    832    9    2 : tunables   54   27    8 
: slabdata      4      4      0
tw_sock_TCP           33     45    256   15    1 : tunables  120   60    8 
: slabdata      3      3      0
request_sock_TCP      22     30    128   30    1 : tunables  120   60    8 
: slabdata      1      1      0
TCP                   27     36   1664    4    2 : tunables   24   12    8 
: slabdata      9      9      0
eventpoll_pwq         74    212     72   53    1 : tunables  120   60    8 
: slabdata      4      4      0
eventpoll_epi         74    180    128   30    1 : tunables  120   60    8 
: slabdata      6      6      0
sgpool-128             2      2   4096    1    1 : tunables   24   12    8 
: slabdata      2      2      0
sgpool-64              2      4   2048    2    1 : tunables   24   12    8 
: slabdata      2      2      0
sgpool-32              2      8   1024    4    1 : tunables   54   27    8 
: slabdata      2      2      0
sgpool-16              2     16    512    8    1 : tunables   54   27    8 
: slabdata      2      2      0
sgpool-8               7     45    256   15    1 : tunables  120   60    8 
: slabdata      3      3      0
scsi_data_buffer       0      0     24  144    1 : tunables  120   60    8 
: slabdata      0      0      0
blkdev_integrity       0      0    112   34    1 : tunables  120   60    8 
: slabdata      0      0      0
blkdev_queue          81     82   2864    2    2 : tunables   24   12    8 
: slabdata     41     41      0
blkdev_requests      242    275    352   11    1 : tunables   54   27    8 
: slabdata     25     25      0
blkdev_ioc             2     96     80   48    1 : tunables  120   60    8 
: slabdata      2      2      0
fsnotify_event_holder      0      0     24  144    1 : tunables  120   60   
 8 : slabdata      0      0      0
fsnotify_event         0      0    104   37    1 : tunables  120   60    8 
: slabdata      0      0      0
bio-0                 11     60    192   20    1 : tunables  120   60    8 
: slabdata      3      3      1
biovec-256             6      6   4096    1    1 : tunables   24   12    8 
: slabdata      6      6      0
biovec-128             0      0   2048    2    1 : tunables   24   12    8 
: slabdata      0      0      0
biovec-64              0      0   1024    4    1 : tunables   54   27    8 
: slabdata      0      0      0
biovec-16              0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
bip-256                2      2   4224    1    2 : tunables    8    4    0 
: slabdata      2      2      0
bip-128                0      0   2176    3    2 : tunables   24   12    8 
: slabdata      0      0      0
bip-64                 0      0   1152    7    2 : tunables   24   12    8 
: slabdata      0      0      0
bip-16                 0      0    384   10    1 : tunables   54   27    8 
: slabdata      0      0      0
bip-4                  0      0    192   20    1 : tunables  120   60    8 
: slabdata      0      0      0
bip-1                  0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
sock_inode_cache     278    370    704    5    1 : tunables   54   27    8 
: slabdata     74     74      0
skbuff_fclone_cache     42     42    512    7    1 : tunables   54   27   
 8 : slabdata      6      6      0
skbuff_head_cache    610    930    256   15    1 : tunables  120   60    8 
: slabdata     62     62      0
file_lock_cache        6     66    176   22    1 : tunables  120   60    8 
: slabdata      3      3      0
net_namespace          0      0   2240    3    2 : tunables   24   12    8 
: slabdata      0      0      0
shmem_inode_cache   2309   2430    784    5    1 : tunables   54   27    8 
: slabdata    486    486      0
Acpi-Operand       66947  67628     72   53    1 : tunables  120   60    8 
: slabdata   1276   1276      0
Acpi-ParseExt          0      0     72   53    1 : tunables  120   60    8 
: slabdata      0      0      0
Acpi-Parse             0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
Acpi-State             0      0     80   48    1 : tunables  120   60    8 
: slabdata      0      0      0
Acpi-Namespace      5988   6072     40   92    1 : tunables  120   60    8 
: slabdata     66     66      0
task_delay_info      664   1258    112   34    1 : tunables  120   60    8 
: slabdata     37     37      0
taskstats              0      0    328   12    1 : tunables   54   27    8 
: slabdata      0      0      0
proc_inode_cache    3486   3534    640    6    1 : tunables   54   27    8 
: slabdata    589    589      0
sigqueue               2     48    160   24    1 : tunables  120   60    8 
: slabdata      2      2      0
bdev_cache           109    148    896    4    1 : tunables   54   27    8 
: slabdata     37     37      0
sysfs_dir_cache    28695  29241    144   27    1 : tunables  120   60    8 
: slabdata   1083   1083      0
mnt_cache             28     45    256   15    1 : tunables  120   60    8 
: slabdata      3      3      0
filp                1592   3560    192   20    1 : tunables  120   60    8 
: slabdata    178    178      0
inode_cache        12529  12552    592    6    1 : tunables   54   27    8 
: slabdata   2092   2092      0
dentry            4107669 4108160    192   20    1 : tunables  120   60   
 8 : slabdata 205408 205408     34
names_cache           21     21   4096    1    1 : tunables   24   12    8 
: slabdata     21     21      0
avc_node               0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
selinux_inode_security  11048  11607     72   53    1 : tunables  120   60 
   8 : slabdata    219    219      0
radix_tree_node     3843   4536    560    7    1 : tunables   54   27    8 
: slabdata    648    648      0
key_jar                8     40    192   20    1 : tunables  120   60    8 
: slabdata      2      2      0
buffer_head        95556 125541    104   37    1 : tunables  120   60    8 
: slabdata   3393   3393      4
vm_area_struct      6079   6707    200   19    1 : tunables  120   60    8 
: slabdata    353    353      0
mm_struct             87    130   1408    5    2 : tunables   24   12    8 
: slabdata     26     26      0
fs_cache              91    708     64   59    1 : tunables  120   60    8 
: slabdata     12     12      0
files_cache           92    286    704   11    2 : tunables   54   27    8 
: slabdata     26     26      0
signal_cache         559    770   1088    7    2 : tunables   24   12    8 
: slabdata    110    110      0
sighand_cache        559    648   2112    3    2 : tunables   24   12    8 
: slabdata    216    216      0
task_xstate          177    297    832    9    2 : tunables   54   27    8 
: slabdata     33     33      0
task_struct          659    687   2656    3    2 : tunables   24   12    8 
: slabdata    229    229      0
cred_jar             802   1620    192   20    1 : tunables  120   60    8 
: slabdata     81     81      0
anon_vma_chain      5164  10626     48   77    1 : tunables  120   60    8 
: slabdata    138    138      0
anon_vma            2792   6716     40   92    1 : tunables  120   60    8 
: slabdata     73     73      0
pid                  663   1170    128   30    1 : tunables  120   60    8 
: slabdata     39     39      0
shared_policy_node      0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
numa_policy           15     56    136   28    1 : tunables  120   60    8 
: slabdata      2      2      0
idr_layer_cache      411    539    544    7    1 : tunables   54   27    8 
: slabdata     68     77      4
size-4194304(DMA)      0      0 4194304    1 1024 : tunables    1    1    0 
: slabdata      0      0      0
size-4194304           0      0 4194304    1 1024 : tunables    1    1    0 
: slabdata      0      0      0
size-2097152(DMA)      0      0 2097152    1  512 : tunables    1    1    0 
: slabdata      0      0      0
size-2097152           0      0 2097152    1  512 : tunables    1    1    0 
: slabdata      0      0      0
size-1048576(DMA)      0      0 1048576    1  256 : tunables    1    1    0 
: slabdata      0      0      0
size-1048576           0      0 1048576    1  256 : tunables    1    1    0 
: slabdata      0      0      0
size-524288(DMA)       0      0 524288    1  128 : tunables    1    1    0 
: slabdata      0      0      0
size-524288            4      4 524288    1  128 : tunables    1    1    0 
: slabdata      4      4      0
size-262144(DMA)       0      0 262144    1   64 : tunables    1    1    0 
: slabdata      0      0      0
size-262144            1      1 262144    1   64 : tunables    1    1    0 
: slabdata      1      1      0
size-131072(DMA)       0      0 131072    1   32 : tunables    8    4    0 
: slabdata      0      0      0
size-131072            4      7 131072    1   32 : tunables    8    4    0 
: slabdata      4      7      0
size-65536(DMA)        0      0  65536    1   16 : tunables    8    4    0 
: slabdata      0      0      0
size-65536           126    135  65536    1   16 : tunables    8    4    0 
: slabdata    126    135      0
size-32768(DMA)        0      0  32768    1    8 : tunables    8    4    0 
: slabdata      0      0      0
size-32768            12     26  32768    1    8 : tunables    8    4    0 
: slabdata     12     26      0
size-16384(DMA)        0      0  16384    1    4 : tunables    8    4    0 
: slabdata      0      0      0
size-16384            36     63  16384    1    4 : tunables    8    4    0 
: slabdata     36     63      0
size-8192(DMA)         0      0   8192    1    2 : tunables    8    4    0 
: slabdata      0      0      0
size-8192          70049  70049   8192    1    2 : tunables    8    4    0 
: slabdata  70049  70049      0
size-4096(DMA)         0      0   4096    1    1 : tunables   24   12    8 
: slabdata      0      0      0
size-4096           2117   2185   4096    1    1 : tunables   24   12    8 
: slabdata   2117   2185      0
size-2048(DMA)         0      0   2048    2    1 : tunables   24   12    8 
: slabdata      0      0      0
size-2048           2303   2408   2048    2    1 : tunables   24   12    8 
: slabdata   1171   1204      0
size-1024(DMA)         0      0   1024    4    1 : tunables   54   27    8 
: slabdata      0      0      0
size-1024          12920  13380   1024    4    1 : tunables   54   27    8 
: slabdata   3326   3345     11
size-512(DMA)          0      0    512    8    1 : tunables   54   27    8 
: slabdata      0      0      0
size-512            5043   5312    512    8    1 : tunables   54   27    8 
: slabdata    647    664      0
size-256(DMA)          0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
size-256            1964   2685    256   15    1 : tunables  120   60    8 
: slabdata    156    179      0
size-192(DMA)          0      0    192   20    1 : tunables  120   60    8 
: slabdata      0      0      0
size-192           20728  22320    192   20    1 : tunables  120   60    8 
: slabdata   1110   1116    112
size-128(DMA)          0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
size-64(DMA)           0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
size-64           4899753 4908623     64   59    1 : tunables  120   60   
 8 : slabdata  83197  83197      0
size-32(DMA)           0      0     32  112    1 : tunables  120   60    8 
: slabdata      0      0      0
size-128          2259651 2260530    128   30    1 : tunables  120   60   
 8 : slabdata  75351  75351      0
size-32           10278112 11060896     32  112    1 : tunables  120   60   
 8 : slabdata  98758  98758      0
kmem_cache           195    195  32896    1   16 : tunables    8    4    0 
: slabdata    195    195      0

# cat /proc/spl/kmem/slab
--------------------- cache 
-------------------------------------------------------  ----- slab ------ 
 ---- object -----  --- emergency ---
name                                    flags      size     alloc slabsize 
 objsize  total alloc   max  total alloc   max  dlock alloc   max
spl_vn_cache                          0x00020     12288      3696     4096 
      88      3     2     2     63    42    42      0     0     0
spl_vn_file_cache                     0x00020         0         0     4096 
      96      0     0     0      0     0     0      0     0     0
spl_zlib_workspace_cache              0x00140         0         0  8388608 
  268072      0     0     0      0     0     0      0     0     0
zio_cache                             0x00020 263880704   1468320    32768 
    1064   8053    64  8052  233537  1380 233508      0     0     0
zio_link_cache                        0x00020  21442560    123360     4096 
      48   5235    79  5234  235575  2570 235530      0     0     0
zio_vdev_cache                        0x00040  92274688  72098400  4194304 
  131088     22    19    21    660   550   630      0     0     0
zio_buf_512                           0x00020 2354642944 1140514304   
 32768      512  71858 71857 71857  2227598 2227567 2227567      0     0   
  0
zio_data_buf_512                      0x00020  68943872  31937024    32768 
     512   2104  2076  2103  65224 62377 65193      0     0     0
zio_buf_1024                          0x00040  19300352    978944    32768 
    1024    589    55   588  12369   956 12348      0     0     0
zio_data_buf_1024                     0x00040  20086784   1822720    32768 
    1024    613   164   612  12873  1780 12852      0     0     0
zio_buf_1536                          0x00040  24248320   1546752    65536 
    1536    370    36   369  11470  1007 11439      0     0     0
zio_data_buf_1536                     0x00040  14286848   2566656    65536 
    1536    218    95   217   6758  1671  6727      0     0     0
zio_buf_2048                          0x00040  26017792   1794048    65536 
    2048    397    53   396   9925   876  9900      0     0     0
zio_data_buf_2048                     0x00040  42401792   3452928    65536 
    2048    647   151   646  16175  1686 16150      0     0     0
zio_buf_2560                          0x00040  25886720   2339840    65536 
    2560    395    57   394   8295   914  8274      0     0     0
zio_data_buf_2560                     0x00040  15269888   3297280    65536 
    2560    233   116   232   4893  1288  4872      0     0     0
zio_buf_3072                          0x00040  20905984   3231744    65536 
    3072    319    65   318   5742  1052  5724      0     0     0
zio_data_buf_3072                     0x00040  12320768   3852288    65536 
    3072    188    99   187   3384  1254  3366      0     0     0
zio_buf_3584                          0x00040  16121856   3691520   131072 
    3584    123    44   122   3813  1030  3782      0     0     0
zio_data_buf_3584                     0x00040  11272192   4168192   131072 
    3584     86    61    85   2666  1163  2635      0     0     0
zio_buf_4096                          0x00040  26476544  10993664   262144 
    4096    101   100   100   3131  2684  3100      0     0     0
zio_data_buf_4096                     0x00040  18874368   2985984   262144 
    4096     72    39    71   2232   729  2201      0     0     0
zio_buf_5120                          0x00040  30801920   2549760   131072 
    5120    235    29   234   4935   498  4914      0     0     0
zio_data_buf_5120                     0x00040  25690112   7203840   131072 
    5120    196    73   195   4116  1407  4095      0     0     0
zio_buf_6144                          0x00040  60030976   3158016   131072 
    6144    458    50   457   8244   514  8226      0     0     0
zio_data_buf_6144                     0x00040  26869760   4866048   131072 
    6144    205    89   204   3690   792  3672      0     0     0
zio_buf_7168                          0x00040  74973184   7820288   262144 
    7168    286   266   285   8866  1091  8835      0     0     0
zio_data_buf_7168                     0x00040  69730304   5211136   262144 
    7168    266    94   265   8246   727  8215      0     0     0
zio_buf_8192                          0x00040 105119744  37617664   262144 
    8192    401   400   400   8421  4592  8400      0     0     0
zio_data_buf_8192                     0x00040  91488256  12943360   262144 
    8192    349   126   348   7329  1580  7308      0     0     0
zio_buf_10240                         0x00040 141033472 115148800   262144 
   10240    538   537   537  11298 11245 11277      0     0     0
zio_data_buf_10240                    0x00040 136839168  32737280   262144 
   10240    522   181   521  10962  3197 10941      0     0     0
zio_buf_12288                         0x00040  15728640  10653696   524288 
   12288     30    29    29    930   867   899      0     0     0
zio_data_buf_12288                    0x00040 136839168  33767424   524288 
   12288    261   107   260   8091  2748  8060      0     0     0
zio_buf_14336                         0x00040  10485760   7526400   524288 
   14336     20    19    19    620   525   589      0     0     0
zio_data_buf_14336                    0x00040 224919552 178741248   524288 
   14336    429   421   428  13299 12468 13268      0     0     0
zio_buf_16384                         0x00040 3381133312 2594439168   
524288    16384   6449  6425  6448  161225 158352 161200      0     0     0
zio_data_buf_16384                    0x00040 105381888  28966912   524288 
   16384    201    90   200   5025  1768  5000      0     0     0
zio_buf_20480                         0x00040         0         0   524288 
   20480      0     0     0      0     0     0      0     0     0
zio_data_buf_20480                    0x00040 187170816 145899520   524288 
   20480    357   355   356   7497  7124  7476      0     0     0
zio_buf_24576                         0x00040         0         0   524288 
   24576      0     0     0      0     0     0      0     0     0
zio_data_buf_24576                    0x00040 167772160 119881728   524288 
   24576    320   282   319   5760  4878  5742      0     0     0
zio_buf_28672                         0x00040         0         0  1048576 
   28672      0     0     0      0     0     0      0     0     0
zio_data_buf_28672                    0x00040 166723584  43180032  1048576 
   28672    159    63   158   4929  1506  4898      0     0     0
zio_buf_32768                         0x00040         0         0  1048576 
   32768      0     0     0      0     0     0      0     0     0
zio_data_buf_32768                    0x00040 213909504 174718976  1048576 
   32768    204   203   203   5712  5332  5684      0     0     0
zio_buf_36864                         0x00040         0         0  1048576 
   36864      0     0     0      0     0     0      0     0     0
zio_data_buf_36864                    0x00040 155189248  51720192  1048576 
   36864    148    70   147   3700  1403  3675      0     0     0
zio_buf_40960                         0x00040         0         0  1048576 
   40960      0     0     0      0     0     0      0     0     0
zio_data_buf_40960                    0x00040 218103808  98017280  1048576 
   40960    208   135   207   4784  2393  4761      0     0     0
zio_buf_45056                         0x00040         0         0  1048576 
   45056      0     0     0      0     0     0      0     0     0
zio_data_buf_45056                    0x00040 207618048 124399616  1048576 
   45056    198   137   197   4158  2761  4137      0     0     0
zio_buf_49152                         0x00040         0         0  1048576 
   49152      0     0     0      0     0     0      0     0     0
zio_data_buf_49152                    0x00040 256901120  92602368  1048576 
   49152    245   133   244   4655  1884  4636      0     0     0
zio_buf_53248                         0x00040         0         0  1048576 
   53248      0     0     0      0     0     0      0     0     0
zio_data_buf_53248                    0x00040 254803968  49627136  1048576 
   53248    243   124   242   4374   932  4356      0     0     0
zio_buf_57344                         0x00040         0         0  1048576 
   57344      0     0     0      0     0     0      0     0     0
zio_data_buf_57344                    0x00040 176160768  34349056  1048576 
   57344    168   112   167   2856   599  2839      0     0     0
zio_buf_61440                         0x00040         0         0  2097152 
   61440      0     0     0      0     0     0      0     0     0
zio_data_buf_61440                    0x00040 272629760  58920960  2097152 
   61440    130    78   129   4030   959  3999      0     0     0
zio_buf_65536                         0x00040         0         0  2097152 
   65536      0     0     0      0     0     0      0     0     0
zio_data_buf_65536                    0x00040 155189248  70123520  2097152 
   65536     74    61    73   2220  1070  2190      0     0     0
zio_buf_69632                         0x00040         0         0  2097152 
   69632      0     0     0      0     0     0      0     0     0
zio_data_buf_69632                    0x00040 150994944  53755904  2097152 
   69632     72    63    71   2016   772  1988      0     0     0
zio_buf_73728                         0x00040         0         0  2097152 
   73728      0     0     0      0     0     0      0     0     0
zio_data_buf_73728                    0x00040 146800640  47333376  2097152 
   73728     70    63    69   1820   642  1794      0     0     0
zio_buf_77824                         0x00040         0         0  2097152 
   77824      0     0     0      0     0     0      0     0     0
zio_data_buf_77824                    0x00040 142606336  43192320  2097152 
   77824     68    47    67   1700   555  1675      0     0     0
zio_buf_81920                         0x00040         0         0  2097152 
   81920      0     0     0      0     0     0      0     0     0
zio_data_buf_81920                    0x00040 130023424  57016320  2097152 
   81920     62    48    61   1488   696  1464      0     0     0
zio_buf_86016                         0x00040         0         0  2097152 
   86016      0     0     0      0     0     0      0     0     0
zio_data_buf_86016                    0x00040 132120576  59351040  2097152 
   86016     63    43    62   1449   690  1426      0     0     0
zio_buf_90112                         0x00040         0         0  2097152 
   90112      0     0     0      0     0     0      0     0     0
zio_data_buf_90112                    0x00040 121634816  55328768  2097152 
   90112     58    51    57   1276   614  1254      0     0     0
zio_buf_94208                         0x00040         0         0  2097152 
   94208      0     0     0      0     0     0      0     0     0
zio_data_buf_94208                    0x00040 121634816  73576448  2097152 
   94208     58    50    57   1218   781  1197      0     0     0
zio_buf_98304                         0x00040         0         0  2097152 
   98304      0     0     0      0     0     0      0     0     0
zio_data_buf_98304                    0x00040 117440512  60948480  2097152 
   98304     56    51    55   1120   620  1100      0     0     0
zio_buf_102400                        0x00040         0         0  2097152 
  102400      0     0     0      0     0     0      0     0     0
zio_data_buf_102400                   0x00040 117440512  67686400  2097152 
  102400     56    49    55   1064   661  1045      0     0     0
zio_buf_106496                        0x00040         0         0  2097152 
  106496      0     0     0      0     0     0      0     0     0
zio_data_buf_106496                   0x00040 117440512  61128704  2097152 
  106496     56    47    55   1008   574   990      0     0     0
zio_buf_110592                        0x00040         0         0  2097152 
  110592      0     0     0      0     0     0      0     0     0
zio_data_buf_110592                   0x00040 109051904  59056128  2097152 
  110592     52    46    51    936   534   918      0     0     0
zio_buf_114688                        0x00040  31457280  23625728  2097152 
  114688     15    13    14    255   206   238      0     0     0
zio_data_buf_114688                   0x00040 109051904  51724288  2097152 
  114688     52    51    51    884   451   867      0     0     0
zio_buf_118784                        0x00040         0         0  2097152 
  118784      0     0     0      0     0     0      0     0     0
zio_data_buf_118784                   0x00040 109051904  64974848  2097152 
  118784     52    42    51    884   547   867      0     0     0
zio_buf_122880                        0x00040         0         0  2097152 
  122880      0     0     0      0     0     0      0     0     0
zio_data_buf_122880                   0x00040  96468992  68812800  2097152 
  122880     46    45    45    736   560   720      0     0     0
zio_buf_126976                        0x00040         0         0  4194304 
  126976      0     0     0      0     0     0      0     0     0
zio_data_buf_126976                   0x00040 121634816  65519616  4194304 
  126976     29    22    28    899   516   868      0     0     0
zio_buf_131072                        0x00040 7067402240  14155776  4194304 
  131072   1685    19  1684  52235   108 52204      0     0     0
zio_data_buf_131072                   0x00040 36226203648 27071610880 
 4194304   131072   8637  8019  8637  267747 206540 267740      0     0     
0
lz4_cache                             0x00040         0         0   524288 
   16384      0     0     0      0     0     0      0     0     0
sa_cache                              0x00020 276295680 178078560     4096 
      80  67455 67454 67454  2226015 2225982 2225982      0     0     0
spill_cache                           0x00040         0         0  4194304 
  131072      0     0     0      0     0     0      0     0     0
dnode_t                               0x00020 2284814336 2070598144   
 16384      928  139454 139453 139453  2231264 2231248 2231248      0     0 
    0
dmu_buf_impl_t                        0x00020 885243904 756427000     8192 
     280  108062 108061 108061  2701550 2701525 2701525      0     0     0
arc_buf_hdr_t                         0x00020 1032970240 891736768     8192 
     272  126095 126094 126094  3278470 3278444 3278444      0     0     0
arc_buf_t                             0x00020  80920576  55533856     4096 
     112  19756 19271 19755  513656 495838 513630      0     0     0
zil_lwb_cache                         0x00020  17776640    291200     4096 
     200   4340   100  4339  69440  1456 69424      0     0     0
zfs_znode_cache                       0x00020 2431451136 2297262960   
 32768     1032  74202 74201 74201  2226060 2226030 2226030      0     0   
  0


[2] - AFTER umount /tank && modprobe -r zfs

# free -m
             total       used       free     shared    buffers     cached
Mem:         64394       1561      62832          0        138        448
-/+ buffers/cache:        974      63419
Swap:        17876          0      17876

# cat /proc/spl/kstat/zfs/arcstats
4 1 0x01 80 3840 855980527057136 855994985024330
name                            type data
hits                            4    2354
misses                          4    790
demand_data_hits                4    0
demand_data_misses              4    0
demand_metadata_hits            4    2350
demand_metadata_misses          4    35
prefetch_data_hits              4    0
prefetch_data_misses            4    0
prefetch_metadata_hits          4    4
prefetch_metadata_misses        4    755
mru_hits                        4    1821
mru_ghost_hits                  4    0
mfu_hits                        4    531
mfu_ghost_hits                  4    0
deleted                         4    9
recycle_miss                    4    0
mutex_miss                      4    0
evict_skip                      4    0
evict_l2_cached                 4    0
evict_l2_eligible               4    0
evict_l2_ineligible             4    2048
hash_elements                   4    785
hash_elements_max               4    785
hash_collisions                 4    0
hash_chains                     4    0
hash_chain_max                  4    0
p                               4    17716740096
c                               4    35433480192
c_min                           4    4429185024
c_max                           4    35433480192
size                            4    12590176
hdr_size                        4    378144
data_size                       4    11922432
other_size                      4    289600
anon_size                       4    16384
anon_evict_data                 4    0
anon_evict_metadata             4    0
mru_size                        4    11867648
mru_evict_data                  4    0
mru_evict_metadata              4    11554304
mru_ghost_size                  4    4096
mru_ghost_evict_data            4    0
mru_ghost_evict_metadata        4    4096
mfu_size                        4    38400
mfu_evict_data                  4    0
mfu_evict_metadata              4    38400
mfu_ghost_size                  4    16384
mfu_ghost_evict_data            4    0
mfu_ghost_evict_metadata        4    16384
l2_hits                         4    0
l2_misses                       4    768
l2_feeds                        4    11
l2_rw_clash                     4    0
l2_read_bytes                   4    0
l2_write_bytes                  4    184320
l2_writes_sent                  4    1
l2_writes_done                  4    1
l2_writes_error                 4    0
l2_writes_hdr_miss              4    0
l2_evict_lock_retry             4    0
l2_evict_reading                4    0
l2_free_on_write                4    0
l2_abort_lowmem                 4    0
l2_cksum_bad                    4    0
l2_io_error                     4    0
l2_size                         4    184320
l2_hdr_size                     4    0
memory_throttle_count           4    0
duplicate_buffers               4    0
duplicate_buffers_size          4    0
duplicate_reads                 4    0
memory_direct_count             4    0
memory_indirect_count           4    0
arc_no_grow                     4    0
arc_tempreserve                 4    0
arc_loaned_bytes                4    0
arc_prune                       4    0
arc_meta_used                   4    12590176
arc_meta_limit                  4    8858370048
arc_meta_max                    4    12635080

# cat /proc/slabinfo
slabinfo - version: 2.1
# name            <active_objs> <num_objs> <objsize> <objperslab> 
<pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata 
<active_slabs> <num_slabs> <sharedavail>
nfs_direct_cache       0      0    200   19    1 : tunables  120   60    8 
: slabdata      0      0      0
nfs_commit_data        0      0    704   11    2 : tunables   54   27    8 
: slabdata      0      0      0
nfs_write_data        36     36    896    4    1 : tunables   54   27    8 
: slabdata      9      9      0
nfs_read_data          0      0    832    9    2 : tunables   54   27    8 
: slabdata      0      0      0
nfs_inode_cache      166    168   1048    3    1 : tunables   24   12    8 
: slabdata     56     56      0
nfs_page               0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
fscache_cookie_jar      3    106     72   53    1 : tunables  120   60    8 
: slabdata      2      2      0
rpc_buffers            8      8   2048    2    1 : tunables   24   12    8 
: slabdata      4      4      0
rpc_tasks              8     15    256   15    1 : tunables  120   60    8 
: slabdata      1      1      0
rpc_inode_cache       18     24    832    4    1 : tunables   54   27    8 
: slabdata      6      6      0
nf_conntrack_expect      0      0    240   16    1 : tunables  120   60   
 8 : slabdata      0      0      0
nf_conntrack_ffffffff81b16580      0      0    312   12    1 : tunables   
54   27    8 : slabdata      0      0      0
fib6_nodes            24    118     64   59    1 : tunables  120   60    8 
: slabdata      2      2      0
ip6_dst_cache         16     30    384   10    1 : tunables   54   27    8 
: slabdata      3      3      0
ndisc_cache            2     30    256   15    1 : tunables  120   60    8 
: slabdata      2      2      1
ip6_mrt_cache          0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
RAWv6                 19     20   1024    4    1 : tunables   54   27    8 
: slabdata      5      5      0
UDPLITEv6              0      0   1024    4    1 : tunables   54   27    8 
: slabdata      0      0      0
UDPv6                  8     16   1024    4    1 : tunables   54   27    8 
: slabdata      4      4      0
tw_sock_TCPv6          0      0    320   12    1 : tunables   54   27    8 
: slabdata      0      0      0
request_sock_TCPv6      0      0    192   20    1 : tunables  120   60    8 
: slabdata      0      0      0
TCPv6                  3      4   1856    2    1 : tunables   24   12    8 
: slabdata      2      2      0
ib_mad              1024   1096    448    8    1 : tunables   54   27    8 
: slabdata    137    137      0
ioat2               4096   4110    128   30    1 : tunables  120   60    8 
: slabdata    137    137      0
ext4_inode_cache   32088  32152   1024    4    1 : tunables   54   27    8 
: slabdata   8038   8038      0
ext4_xattr             0      0     88   44    1 : tunables  120   60    8 
: slabdata      0      0      0
ext4_free_block_extents      0      0     56   67    1 : tunables  120   60 
   8 : slabdata      0      0      0
ext4_alloc_context      0      0    136   28    1 : tunables  120   60    8 
: slabdata      0      0      0
ext4_prealloc_space     18     74    104   37    1 : tunables  120   60   
 8 : slabdata      2      2      0
ext4_system_zone       0      0     40   92    1 : tunables  120   60    8 
: slabdata      0      0      0
jbd2_journal_handle      1    288     24  144    1 : tunables  120   60   
 8 : slabdata      1      2      0
jbd2_journal_head     20    102    112   34    1 : tunables  120   60    8 
: slabdata      3      3      2
jbd2_revoke_table      2    202     16  202    1 : tunables  120   60    8 
: slabdata      1      1      0
jbd2_revoke_record      0      0     32  112    1 : tunables  120   60    8 
: slabdata      0      0      0
bio-1                 59    140    192   20    1 : tunables  120   60    8 
: slabdata      6      7      0
sd_ext_cdb             2    112     32  112    1 : tunables  120   60    8 
: slabdata      1      1      0
sas_task               0      0    320   12    1 : tunables   54   27    8 
: slabdata      0      0      0
scsi_sense_cache      39    540    128   30    1 : tunables  120   60    8 
: slabdata     17     18      5
scsi_cmd_cache        19    240    256   15    1 : tunables  120   60    8 
: slabdata     12     16      0
dm_raid1_read_record      0      0   1064    7    2 : tunables   24   12   
 8 : slabdata      0      0      0
kcopyd_job             0      0   3240    2    2 : tunables   24   12    8 
: slabdata      0      0      0
io                     0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
dm_uevent              0      0   2608    3    2 : tunables   24   12    8 
: slabdata      0      0      0
dm_rq_clone_bio_info      0      0     16  202    1 : tunables  120   60   
 8 : slabdata      0      0      0
dm_rq_target_io        0      0    392   10    1 : tunables   54   27    8 
: slabdata      0      0      0
dm_target_io           0      0     24  144    1 : tunables  120   60    8 
: slabdata      0      0      0
dm_io                  0      0     40   92    1 : tunables  120   60    8 
: slabdata      0      0      0
flow_cache             0      0     96   40    1 : tunables  120   60    8 
: slabdata      0      0      0
uhci_urb_priv          0      0     56   67    1 : tunables  120   60    8 
: slabdata      0      0      0
cfq_io_context         0      0    136   28    1 : tunables  120   60    8 
: slabdata      0      0      0
cfq_queue              0      0    240   16    1 : tunables  120   60    8 
: slabdata      0      0      0
bsg_cmd                0      0    312   12    1 : tunables   54   27    8 
: slabdata      0      0      0
mqueue_inode_cache      1      4    896    4    1 : tunables   54   27    8 
: slabdata      1      1      0
isofs_inode_cache      0      0    640    6    1 : tunables   54   27    8 
: slabdata      0      0      0
hugetlbfs_inode_cache      1      6    608    6    1 : tunables   54   27   
 8 : slabdata      1      1      0
dquot                  0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
kioctx                 0      0    384   10    1 : tunables   54   27    8 
: slabdata      0      0      0
kiocb                  0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
inotify_event_private_data      0      0     32  112    1 : tunables  120   
60    8 : slabdata      0      0      0
inotify_inode_mark_entry    174    374    112   34    1 : tunables  120   
60    8 : slabdata     11     11      0
dnotify_mark_entry      4     34    112   34    1 : tunables  120   60    8 
: slabdata      1      1      0
dnotify_struct         4    112     32  112    1 : tunables  120   60    8 
: slabdata      1      1      0
fasync_cache           0      0     24  144    1 : tunables  120   60    8 
: slabdata      0      0      0
khugepaged_mm_slot      1     92     40   92    1 : tunables  120   60    8 
: slabdata      1      1      0
ksm_mm_slot            0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
ksm_stable_node        0      0     40   92    1 : tunables  120   60    8 
: slabdata      0      0      0
ksm_rmap_item          0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
utrace_engine          0      0     56   67    1 : tunables  120   60    8 
: slabdata      0      0      0
utrace                 0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
pid_namespace          0      0   2120    3    2 : tunables   24   12    8 
: slabdata      0      0      0
nsproxy                0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
posix_timers_cache      0      0    176   22    1 : tunables  120   60    8 
: slabdata      0      0      0
uid_cache              7    120    128   30    1 : tunables  120   60    8 
: slabdata      4      4      0
UNIX                 110    170    768    5    1 : tunables   54   27    8 
: slabdata     34     34      0
ip_mrt_cache           0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
UDP-Lite               0      0    832    9    2 : tunables   54   27    8 
: slabdata      0      0      0
tcp_bind_bucket       25    177     64   59    1 : tunables  120   60    8 
: slabdata      3      3      0
inet_peer_cache        2     59     64   59    1 : tunables  120   60    8 
: slabdata      1      1      0
secpath_cache          0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
xfrm_dst_cache         0      0    384   10    1 : tunables   54   27    8 
: slabdata      0      0      0
ip_fib_alias           1    112     32  112    1 : tunables  120   60    8 
: slabdata      1      1      0
ip_fib_hash           14    106     72   53    1 : tunables  120   60    8 
: slabdata      2      2      0
ip_dst_cache          29     70    384   10    1 : tunables   54   27    8 
: slabdata      7      7      0
arp_cache              6     15    256   15    1 : tunables  120   60    8 
: slabdata      1      1      0
PING                   0      0    832    9    2 : tunables   54   27    8 
: slabdata      0      0      0
RAW                   17     18    832    9    2 : tunables   54   27    8 
: slabdata      2      2      0
UDP                    8     27    832    9    2 : tunables   54   27    8 
: slabdata      3      3      0
tw_sock_TCP           41     60    256   15    1 : tunables  120   60    8 
: slabdata      4      4      0
request_sock_TCP      16     30    128   30    1 : tunables  120   60    8 
: slabdata      1      1      0
TCP                   18     24   1664    4    2 : tunables   24   12    8 
: slabdata      6      6      0
eventpoll_pwq         54    212     72   53    1 : tunables  120   60    8 
: slabdata      4      4      0
eventpoll_epi         54    150    128   30    1 : tunables  120   60    8 
: slabdata      5      5      0
sgpool-128             2      2   4096    1    1 : tunables   24   12    8 
: slabdata      2      2      0
sgpool-64              2      4   2048    2    1 : tunables   24   12    8 
: slabdata      2      2      0
sgpool-32              2      8   1024    4    1 : tunables   54   27    8 
: slabdata      2      2      0
sgpool-16              2     16    512    8    1 : tunables   54   27    8 
: slabdata      2      2      0
sgpool-8              20    435    256   15    1 : tunables  120   60    8 
: slabdata     16     29      5
scsi_data_buffer       0      0     24  144    1 : tunables  120   60    8 
: slabdata      0      0      0
blkdev_integrity       0      0    112   34    1 : tunables  120   60    8 
: slabdata      0      0      0
blkdev_queue          81     82   2864    2    2 : tunables   24   12    8 
: slabdata     41     41      0
blkdev_requests      242    363    352   11    1 : tunables   54   27    8 
: slabdata     27     33      2
blkdev_ioc             2     96     80   48    1 : tunables  120   60    8 
: slabdata      2      2      0
fsnotify_event_holder      0      0     24  144    1 : tunables  120   60   
 8 : slabdata      0      0      0
fsnotify_event         0      0    104   37    1 : tunables  120   60    8 
: slabdata      0      0      0
bio-0                 13    300    192   20    1 : tunables  120   60    8 
: slabdata      6     15      1
biovec-256             6      6   4096    1    1 : tunables   24   12    8 
: slabdata      6      6      0
biovec-128             0      0   2048    2    1 : tunables   24   12    8 
: slabdata      0      0      0
biovec-64              0      0   1024    4    1 : tunables   54   27    8 
: slabdata      0      0      0
biovec-16              0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
bip-256                2      2   4224    1    2 : tunables    8    4    0 
: slabdata      2      2      0
bip-128                0      0   2176    3    2 : tunables   24   12    8 
: slabdata      0      0      0
bip-64                 0      0   1152    7    2 : tunables   24   12    8 
: slabdata      0      0      0
bip-16                 0      0    384   10    1 : tunables   54   27    8 
: slabdata      0      0      0
bip-4                  0      0    192   20    1 : tunables  120   60    8 
: slabdata      0      0      0
bip-1                  0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
sock_inode_cache     210    350    704    5    1 : tunables   54   27    8 
: slabdata     70     70      0
skbuff_fclone_cache     28     28    512    7    1 : tunables   54   27   
 8 : slabdata      4      4      0
skbuff_head_cache    676    915    256   15    1 : tunables  120   60    8 
: slabdata     61     61      0
file_lock_cache        6     66    176   22    1 : tunables  120   60    8 
: slabdata      3      3      0
net_namespace          0      0   2240    3    2 : tunables   24   12    8 
: slabdata      0      0      0
shmem_inode_cache   2309   2430    784    5    1 : tunables   54   27    8 
: slabdata    486    486      0
Acpi-Operand       66947  67628     72   53    1 : tunables  120   60    8 
: slabdata   1276   1276      0
Acpi-ParseExt          0      0     72   53    1 : tunables  120   60    8 
: slabdata      0      0      0
Acpi-Parse             0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
Acpi-State             0      0     80   48    1 : tunables  120   60    8 
: slabdata      0      0      0
Acpi-Namespace      5988   6072     40   92    1 : tunables  120   60    8 
: slabdata     66     66      0
task_delay_info      614   1122    112   34    1 : tunables  120   60    8 
: slabdata     33     33      0
taskstats              0      0    328   12    1 : tunables   54   27    8 
: slabdata      0      0      0
proc_inode_cache    4615   4908    640    6    1 : tunables   54   27    8 
: slabdata    818    818      0
sigqueue               2     48    160   24    1 : tunables  120   60    8 
: slabdata      2      2      0
bdev_cache           109    148    896    4    1 : tunables   54   27    8 
: slabdata     37     37      0
sysfs_dir_cache    28686  29214    144   27    1 : tunables  120   60    8 
: slabdata   1082   1082      0
mnt_cache             27     45    256   15    1 : tunables  120   60    8 
: slabdata      3      3      0
filp                 744   3260    192   20    1 : tunables  120   60    8 
: slabdata    163    163      0
inode_cache        12502  12540    592    6    1 : tunables   54   27    8 
: slabdata   2090   2090      0
dentry             61357  69340    192   20    1 : tunables  120   60    8 
: slabdata   3467   3467     26
names_cache           18     18   4096    1    1 : tunables   24   12    8 
: slabdata     18     18      0
avc_node               0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
selinux_inode_security  11048  11607     72   53    1 : tunables  120   60 
   8 : slabdata    219    219      0
radix_tree_node     3857   4536    560    7    1 : tunables   54   27    8 
: slabdata    648    648      0
key_jar                8     40    192   20    1 : tunables  120   60    8 
: slabdata      2      2      0
buffer_head        95616 125541    104   37    1 : tunables  120   60    8 
: slabdata   3393   3393      1
vm_area_struct      3401   6251    200   19    1 : tunables  120   60    8 
: slabdata    329    329      5
mm_struct             56    130   1408    5    2 : tunables   24   12    8 
: slabdata     26     26      0
fs_cache              71    708     64   59    1 : tunables  120   60    8 
: slabdata     12     12      0
files_cache           72    275    704   11    2 : tunables   54   27    8 
: slabdata     25     25      0
signal_cache         539    728   1088    7    2 : tunables   24   12    8 
: slabdata    104    104      0
sighand_cache        539    621   2112    3    2 : tunables   24   12    8 
: slabdata    207    207      0
task_xstate          127    288    832    9    2 : tunables   54   27    8 
: slabdata     32     32      0
task_struct          609    714   2656    3    2 : tunables   24   12    8 
: slabdata    238    238      0
cred_jar             677   1600    192   20    1 : tunables  120   60    8 
: slabdata     80     80      0
anon_vma_chain      3816  10549     48   77    1 : tunables  120   60    8 
: slabdata    137    137      2
anon_vma            1933   6624     40   92    1 : tunables  120   60    8 
: slabdata     72     72      2
pid                  603   1170    128   30    1 : tunables  120   60    8 
: slabdata     39     39      0
shared_policy_node      0      0     48   77    1 : tunables  120   60    8 
: slabdata      0      0      0
numa_policy           15     56    136   28    1 : tunables  120   60    8 
: slabdata      2      2      0
idr_layer_cache      410    539    544    7    1 : tunables   54   27    8 
: slabdata     70     77      0
size-4194304(DMA)      0      0 4194304    1 1024 : tunables    1    1    0 
: slabdata      0      0      0
size-4194304           0      0 4194304    1 1024 : tunables    1    1    0 
: slabdata      0      0      0
size-2097152(DMA)      0      0 2097152    1  512 : tunables    1    1    0 
: slabdata      0      0      0
size-2097152           0      0 2097152    1  512 : tunables    1    1    0 
: slabdata      0      0      0
size-1048576(DMA)      0      0 1048576    1  256 : tunables    1    1    0 
: slabdata      0      0      0
size-1048576           0      0 1048576    1  256 : tunables    1    1    0 
: slabdata      0      0      0
size-524288(DMA)       0      0 524288    1  128 : tunables    1    1    0 
: slabdata      0      0      0
size-524288            4      4 524288    1  128 : tunables    1    1    0 
: slabdata      4      4      0
size-262144(DMA)       0      0 262144    1   64 : tunables    1    1    0 
: slabdata      0      0      0
size-262144            1      1 262144    1   64 : tunables    1    1    0 
: slabdata      1      1      0
size-131072(DMA)       0      0 131072    1   32 : tunables    8    4    0 
: slabdata      0      0      0
size-131072            4      7 131072    1   32 : tunables    8    4    0 
: slabdata      4      7      0
size-65536(DMA)        0      0  65536    1   16 : tunables    8    4    0 
: slabdata      0      0      0
size-65536           126    135  65536    1   16 : tunables    8    4    0 
: slabdata    126    135      0
size-32768(DMA)        0      0  32768    1    8 : tunables    8    4    0 
: slabdata      0      0      0
size-32768            12     26  32768    1    8 : tunables    8    4    0 
: slabdata     12     26      0
size-16384(DMA)        0      0  16384    1    4 : tunables    8    4    0 
: slabdata      0      0      0
size-16384            35     62  16384    1    4 : tunables    8    4    0 
: slabdata     35     62      0
size-8192(DMA)         0      0   8192    1    2 : tunables    8    4    0 
: slabdata      0      0      0
size-8192            316    344   8192    1    2 : tunables    8    4    0 
: slabdata    316    344      0
size-4096(DMA)         0      0   4096    1    1 : tunables   24   12    8 
: slabdata      0      0      0
size-4096           1073   1088   4096    1    1 : tunables   24   12    8 
: slabdata   1073   1088      0
size-2048(DMA)         0      0   2048    2    1 : tunables   24   12    8 
: slabdata      0      0      0
size-2048            731    804   2048    2    1 : tunables   24   12    8 
: slabdata    369    402      0
size-1024(DMA)         0      0   1024    4    1 : tunables   54   27    8 
: slabdata      0      0      0
size-1024           4742   5180   1024    4    1 : tunables   54   27    8 
: slabdata   1273   1295      1
size-512(DMA)          0      0    512    8    1 : tunables   54   27    8 
: slabdata      0      0      0
size-512            2526   2792    512    8    1 : tunables   54   27    8 
: slabdata    332    349      0
size-256(DMA)          0      0    256   15    1 : tunables  120   60    8 
: slabdata      0      0      0
size-256             724   1635    256   15    1 : tunables  120   60    8 
: slabdata     89    109      0
size-192(DMA)          0      0    192   20    1 : tunables  120   60    8 
: slabdata      0      0      0
size-192            4965   9120    192   20    1 : tunables  120   60    8 
: slabdata    450    456    226
size-128(DMA)          0      0    128   30    1 : tunables  120   60    8 
: slabdata      0      0      0
size-64(DMA)           0      0     64   59    1 : tunables  120   60    8 
: slabdata      0      0      0
size-64            41185 119298     64   59    1 : tunables  120   60    8 
: slabdata   2022   2022     37
size-32(DMA)           0      0     32  112    1 : tunables  120   60    8 
: slabdata      0      0      0
size-128            5695  13230    128   30    1 : tunables  120   60    8 
: slabdata    441    441      0
size-32            39081  58800     32  112    1 : tunables  120   60    8 
: slabdata    525    525      0
kmem_cache           195    195  32896    1   16 : tunables    8    4    0 
: slabdata    195    195      0

# cat /proc/spl/kmem/slab
--------------------- cache 
-------------------------------------------------------  ----- slab ------ 
 ---- object -----  --- emergency ---
name                                    flags      size     alloc slabsize 
 objsize  total alloc   max  total alloc   max  dlock alloc   max
spl_vn_cache                          0x00020      8192      1848     4096 
      88      2     1     1     42    21    21      0     0     0
spl_vn_file_cache                     0x00020         0         0     4096 
      96      0     0     0      0     0     0      0     0     0
spl_zlib_workspace_cache              0x00140         0         0  8388608 
  268072      0     0     0      0     0     0      0     0     0
zio_cache                             0x00020   4423680   1478960    32768 
    1064    135    57   134   3915  1390  3886      0     0     0
zio_link_cache                        0x00020    614400    131376     4096 
      48    150    70   149   6750  2737  6705      0     0     0
zio_vdev_cache                        0x00040  83886080  44307744  4194304 
  131088     20    13    20    600   338   586      0     0     0
zio_buf_512                           0x00020   1146880    539648    32768 
     512     35    34    34   1085  1054  1054      0     0     0
zio_data_buf_512                      0x00020    131072     47616    32768 
     512      4     3     3    124    93    93      0     0     0
zio_buf_1024                          0x00040   6094848   1553408    32768 
    1024    186    75   185   3906  1517  3885      0     0     0
zio_data_buf_1024                     0x00040    131072     64512    32768 
    1024      4     3     3     84    63    63      0     0     0
zio_buf_1536                          0x00040    327680    190464    65536 
    1536      5     4     4    155   124   124      0     0     0
zio_data_buf_1536                     0x00040    196608     95232    65536 
    1536      3     2     2     93    62    62      0     0     0
zio_buf_2048                          0x00040   1048576    768000    65536 
    2048     16    15    15    400   375   375      0     0     0
zio_data_buf_2048                     0x00040    458752    307200    65536 
    2048      7     6     6    175   150   150      0     0     0
zio_buf_2560                          0x00040    393216    268800    65536 
    2560      6     5     5    126   105   105      0     0     0
zio_data_buf_2560                     0x00040    327680    215040    65536 
    2560      5     4     4    105    84    84      0     0     0
zio_buf_3072                          0x00040    458752    331776    65536 
    3072      7     6     6    126   108   108      0     0     0
zio_data_buf_3072                     0x00040    458752    331776    65536 
    3072      7     6     6    126   108   108      0     0     0
zio_buf_3584                          0x00040    655360    444416   131072 
    3584      5     4     4    155   124   124      0     0     0
zio_data_buf_3584                     0x00040    524288    333312   131072 
    3584      4     3     3    124    93    93      0     0     0
zio_buf_4096                          0x00040   3407872   1523712   262144 
    4096     13    12    12    403   372   372      0     0     0
zio_data_buf_4096                     0x00040   2621440   1142784   262144 
    4096     10     9     9    310   279   279      0     0     0
zio_buf_5120                          0x00040   4718592   3599360   131072 
    5120     36    35    35    756   703   735      0     0     0
zio_data_buf_5120                     0x00040   3145728   2472960   131072 
    5120     24    23    23    504   483   483      0     0     0
zio_buf_6144                          0x00040    524288    331776   131072 
    6144      4     3     3     72    54    54      0     0     0
zio_data_buf_6144                     0x00040    393216    221184   131072 
    6144      3     2     2     54    36    36      0     0     0
zio_buf_7168                          0x00040    786432    444416   262144 
    7168      3     2     2     93    62    62      0     0     0
zio_data_buf_7168                     0x00040    524288    222208   262144 
    7168      2     1     1     62    31    31      0     0     0
zio_buf_8192                          0x00040   5767168   3612672   262144 
    8192     22    21    21    462   441   441      0     0     0
zio_data_buf_8192                     0x00040   2883584   1720320   262144 
    8192     11    10    10    231   210   210      0     0     0
zio_buf_10240                         0x00040         0         0   262144 
   10240      0     0     0      0     0     0      0     0     0
zio_data_buf_10240                    0x00040         0         0   262144 
   10240      0     0     0      0     0     0      0     0     0
zio_buf_12288                         0x00040         0         0   524288 
   12288      0     0     0      0     0     0      0     0     0
zio_data_buf_12288                    0x00040         0         0   524288 
   12288      0     0     0      0     0     0      0     0     0
zio_buf_14336                         0x00040         0         0   524288 
   14336      0     0     0      0     0     0      0     0     0
zio_data_buf_14336                    0x00040         0         0   524288 
   14336      0     0     0      0     0     0      0     0     0
zio_buf_16384                         0x00040  19922944  15155200   524288 
   16384     38    37    37    950   925   925      0     0     0
zio_data_buf_16384                    0x00040   2621440   1638400   524288 
   16384      5     4     4    125   100   100      0     0     0
zio_buf_20480                         0x00040         0         0   524288 
   20480      0     0     0      0     0     0      0     0     0
zio_data_buf_20480                    0x00040         0         0   524288 
   20480      0     0     0      0     0     0      0     0     0
zio_buf_24576                         0x00040         0         0   524288 
   24576      0     0     0      0     0     0      0     0     0
zio_data_buf_24576                    0x00040         0         0   524288 
   24576      0     0     0      0     0     0      0     0     0
zio_buf_28672                         0x00040         0         0  1048576 
   28672      0     0     0      0     0     0      0     0     0
zio_data_buf_28672                    0x00040         0         0  1048576 
   28672      0     0     0      0     0     0      0     0     0
zio_buf_32768                         0x00040         0         0  1048576 
   32768      0     0     0      0     0     0      0     0     0
zio_data_buf_32768                    0x00040         0         0  1048576 
   32768      0     0     0      0     0     0      0     0     0
zio_buf_36864                         0x00040         0         0  1048576 
   36864      0     0     0      0     0     0      0     0     0
zio_data_buf_36864                    0x00040         0         0  1048576 
   36864      0     0     0      0     0     0      0     0     0
zio_buf_40960                         0x00040         0         0  1048576 
   40960      0     0     0      0     0     0      0     0     0
zio_data_buf_40960                    0x00040         0         0  1048576 
   40960      0     0     0      0     0     0      0     0     0
zio_buf_45056                         0x00040         0         0  1048576 
   45056      0     0     0      0     0     0      0     0     0
zio_data_buf_45056                    0x00040         0         0  1048576 
   45056      0     0     0      0     0     0      0     0     0
zio_buf_49152                         0x00040         0         0  1048576 
   49152      0     0     0      0     0     0      0     0     0
zio_data_buf_49152                    0x00040         0         0  1048576 
   49152      0     0     0      0     0     0      0     0     0
zio_buf_53248                         0x00040         0         0  1048576 
   53248      0     0     0      0     0     0      0     0     0
zio_data_buf_53248                    0x00040         0         0  1048576 
   53248      0     0     0      0     0     0      0     0     0
zio_buf_57344                         0x00040         0         0  1048576 
   57344      0     0     0      0     0     0      0     0     0
zio_data_buf_57344                    0x00040         0         0  1048576 
   57344      0     0     0      0     0     0      0     0     0
zio_buf_61440                         0x00040         0         0  2097152 
   61440      0     0     0      0     0     0      0     0     0
zio_data_buf_61440                    0x00040         0         0  2097152 
   61440      0     0     0      0     0     0      0     0     0
zio_buf_65536                         0x00040         0         0  2097152 
   65536      0     0     0      0     0     0      0     0     0
zio_data_buf_65536                    0x00040         0         0  2097152 
   65536      0     0     0      0     0     0      0     0     0
zio_buf_69632                         0x00040         0         0  2097152 
   69632      0     0     0      0     0     0      0     0     0
zio_data_buf_69632                    0x00040         0         0  2097152 
   69632      0     0     0      0     0     0      0     0     0
zio_buf_73728                         0x00040         0         0  2097152 
   73728      0     0     0      0     0     0      0     0     0
zio_data_buf_73728                    0x00040         0         0  2097152 
   73728      0     0     0      0     0     0      0     0     0
zio_buf_77824                         0x00040         0         0  2097152 
   77824      0     0     0      0     0     0      0     0     0
zio_data_buf_77824                    0x00040         0         0  2097152 
   77824      0     0     0      0     0     0      0     0     0
zio_buf_81920                         0x00040         0         0  2097152 
   81920      0     0     0      0     0     0      0     0     0
zio_data_buf_81920                    0x00040         0         0  2097152 
   81920      0     0     0      0     0     0      0     0     0
zio_buf_86016                         0x00040         0         0  2097152 
   86016      0     0     0      0     0     0      0     0     0
zio_data_buf_86016                    0x00040         0         0  2097152 
   86016      0     0     0      0     0     0      0     0     0
zio_buf_90112                         0x00040         0         0  2097152 
   90112      0     0     0      0     0     0      0     0     0
zio_data_buf_90112                    0x00040         0         0  2097152 
   90112      0     0     0      0     0     0      0     0     0
zio_buf_94208                         0x00040         0         0  2097152 
   94208      0     0     0      0     0     0      0     0     0
zio_data_buf_94208                    0x00040         0         0  2097152 
   94208      0     0     0      0     0     0      0     0     0
zio_buf_98304                         0x00040         0         0  2097152 
   98304      0     0     0      0     0     0      0     0     0
zio_data_buf_98304                    0x00040         0         0  2097152 
   98304      0     0     0      0     0     0      0     0     0
zio_buf_102400                        0x00040         0         0  2097152 
  102400      0     0     0      0     0     0      0     0     0
zio_data_buf_102400                   0x00040         0         0  2097152 
  102400      0     0     0      0     0     0      0     0     0
zio_buf_106496                        0x00040         0         0  2097152 
  106496      0     0     0      0     0     0      0     0     0
zio_data_buf_106496                   0x00040         0         0  2097152 
  106496      0     0     0      0     0     0      0     0     0
zio_buf_110592                        0x00040         0         0  2097152 
  110592      0     0     0      0     0     0      0     0     0
zio_data_buf_110592                   0x00040         0         0  2097152 
  110592      0     0     0      0     0     0      0     0     0
zio_buf_114688                        0x00040  10485760   7798784  2097152 
  114688      5     4     4     85    68    68      0     0     0
zio_data_buf_114688                   0x00040         0         0  2097152 
  114688      0     0     0      0     0     0      0     0     0
zio_buf_118784                        0x00040         0         0  2097152 
  118784      0     0     0      0     0     0      0     0     0
zio_data_buf_118784                   0x00040         0         0  2097152 
  118784      0     0     0      0     0     0      0     0     0
zio_buf_122880                        0x00040         0         0  2097152 
  122880      0     0     0      0     0     0      0     0     0
zio_data_buf_122880                   0x00040         0         0  2097152 
  122880      0     0     0      0     0     0      0     0     0
zio_buf_126976                        0x00040         0         0  4194304 
  126976      0     0     0      0     0     0      0     0     0
zio_data_buf_126976                   0x00040         0         0  4194304 
  126976      0     0     0      0     0     0      0     0     0
zio_buf_131072                        0x00040   8388608   4063232  4194304 
  131072      2     1     1     62    31    31      0     0     0
zio_data_buf_131072                   0x00040         0         0  4194304 
  131072      0     0     0      0     0     0      0     0     0
lz4_cache                             0x00040         0         0   524288 
   16384      0     0     0      0     0     0      0     0     0
sa_cache                              0x00020         0         0     4096 
      80      0     0     0      0     0     0      0     0     0
spill_cache                           0x00040         0         0  4194304 
  131072      0     0     0      0     0     0      0     0     0
dnode_t                               0x00020    311296    267264    16384 
     928     19    18    18    304   288   288      0     0     0
dmu_buf_impl_t                        0x00020    114688     91000     8192 
     280     14    13    13    350   325   325      0     0     0
arc_buf_hdr_t                         0x00020    303104    254592     8192 
     272     37    36    36    962   936   936      0     0     0
arc_buf_t                             0x00020    163840    113568     4096 
     112     40    39    39   1040  1014  1014      0     0     0
zil_lwb_cache                         0x00020         0         0     4096 
     200      0     0     0      0     0     0      0     0     0
zfs_znode_cache                       0x00020         0         0    32768 
    1032      0     0     0      0     0     0      0     0     0


[3] # zpool status
  pool: tank
 state: ONLINE
  scan: none requested
config:

        NAME            STATE     READ WRITE CKSUM
        tank            ONLINE       0     0     0
          raidz2-0      ONLINE       0     0     0
            d01         ONLINE       0     0     0
            d02         ONLINE       0     0     0
            d03         ONLINE       0     0     0
            d04         ONLINE       0     0     0
            d05         ONLINE       0     0     0
            d06         ONLINE       0     0     0
            d07         ONLINE       0     0     0
            d08         ONLINE       0     0     0
            d09         ONLINE       0     0     0
            d10         ONLINE       0     0     0
          raidz2-1      ONLINE       0     0     0
            d11         ONLINE       0     0     0
            d12         ONLINE       0     0     0
            d13         ONLINE       0     0     0
            d14         ONLINE       0     0     0
            d15         ONLINE       0     0     0
            d16         ONLINE       0     0     0
            d17         ONLINE       0     0     0
            d18         ONLINE       0     0     0
            d19         ONLINE       0     0     0
            d20         ONLINE       0     0     0
        logs
          mirror-2      ONLINE       0     0     0
            ssd0-part2  ONLINE       0     0     0
            ssd1-part2  ONLINE       0     0     0
        cache
          ssd0-part4    ONLINE       0     0     0
          ssd1-part4    ONLINE       0     0     0
        spares
          d21           AVAIL
          d22           AVAIL

[4] # egrep "*" /sys/module/zfs/parameters/*
/sys/module/zfs/parameters/l2arc_feed_again:1
/sys/module/zfs/parameters/l2arc_feed_min_ms:200
/sys/module/zfs/parameters/l2arc_feed_secs:1
/sys/module/zfs/parameters/l2arc_headroom:2
/sys/module/zfs/parameters/l2arc_noprefetch:1
/sys/module/zfs/parameters/l2arc_norw:1
/sys/module/zfs/parameters/l2arc_write_boost:8388608
/sys/module/zfs/parameters/l2arc_write_max:8388608
/sys/module/zfs/parameters/metaslab_debug:0
/sys/module/zfs/parameters/spa_config_path:/etc/zfs/zpool.cache
/sys/module/zfs/parameters/zfetch_array_rd_sz:1048576
/sys/module/zfs/parameters/zfetch_block_cap:256
/sys/module/zfs/parameters/zfetch_max_streams:8
/sys/module/zfs/parameters/zfetch_min_sec_reap:2
/sys/module/zfs/parameters/zfs_arc_grow_retry:0
/sys/module/zfs/parameters/zfs_arc_max:0
/sys/module/zfs/parameters/zfs_arc_memory_throttle_disable:1
/sys/module/zfs/parameters/zfs_arc_meta_limit:0
/sys/module/zfs/parameters/zfs_arc_meta_prune:0
/sys/module/zfs/parameters/zfs_arc_min:0
/sys/module/zfs/parameters/zfs_arc_p_min_shift:0
/sys/module/zfs/parameters/zfs_arc_shrink_shift:0
/sys/module/zfs/parameters/zfs_dedup_prefetch:1
/sys/module/zfs/parameters/zfs_disable_dup_eviction:0
/sys/module/zfs/parameters/zfs_expire_snapshot:300
/sys/module/zfs/parameters/zfs_flags:1
/sys/module/zfs/parameters/zfs_free_min_time_ms:1000
/sys/module/zfs/parameters/zfs_immediate_write_sz:32768
/sys/module/zfs/parameters/zfs_mdcomp_disable:0
/sys/module/zfs/parameters/zfs_nocacheflush:0
/sys/module/zfs/parameters/zfs_no_scrub_io:0
/sys/module/zfs/parameters/zfs_no_scrub_prefetch:0
/sys/module/zfs/parameters/zfs_no_write_throttle:0
/sys/module/zfs/parameters/zfs_pd_blks_max:100
/sys/module/zfs/parameters/zfs_prefetch_disable:0
/sys/module/zfs/parameters/zfs_read_chunk_size:1048576
/sys/module/zfs/parameters/zfs_recover:0
/sys/module/zfs/parameters/zfs_resilver_delay:2
/sys/module/zfs/parameters/zfs_resilver_min_time_ms:3000
/sys/module/zfs/parameters/zfs_scan_idle:50
/sys/module/zfs/parameters/zfs_scan_min_time_ms:1000
/sys/module/zfs/parameters/zfs_scrub_delay:4
/sys/module/zfs/parameters/zfs_scrub_limit:10
/sys/module/zfs/parameters/zfs_top_maxinflight:32
/sys/module/zfs/parameters/zfs_txg_history:60
/sys/module/zfs/parameters/zfs_txg_synctime_ms:1000
/sys/module/zfs/parameters/zfs_txg_timeout:5
/sys/module/zfs/parameters/zfs_vdev_aggregation_limit:131072
/sys/module/zfs/parameters/zfs_vdev_cache_bshift:16
/sys/module/zfs/parameters/zfs_vdev_cache_max:16384
/sys/module/zfs/parameters/zfs_vdev_cache_size:0
/sys/module/zfs/parameters/zfs_vdev_max_pending:10
/sys/module/zfs/parameters/zfs_vdev_min_pending:4
/sys/module/zfs/parameters/zfs_vdev_ramp_rate:2
/sys/module/zfs/parameters/zfs_vdev_read_gap_limit:32768
/sys/module/zfs/parameters/zfs_vdev_scheduler:noop
/sys/module/zfs/parameters/zfs_vdev_time_shift:6
/sys/module/zfs/parameters/zfs_vdev_write_gap_limit:4096
/sys/module/zfs/parameters/zfs_write_limit_inflated:212600881152
/sys/module/zfs/parameters/zfs_write_limit_max:8858370048
/sys/module/zfs/parameters/zfs_write_limit_min:33554432
/sys/module/zfs/parameters/zfs_write_limit_override:0
/sys/module/zfs/parameters/zfs_write_limit_shift:3
/sys/module/zfs/parameters/zfs_zevent_cols:80
/sys/module/zfs/parameters/zfs_zevent_console:0
/sys/module/zfs/parameters/zfs_zevent_len_max:256
/sys/module/zfs/parameters/zil_replay_disable:0
/sys/module/zfs/parameters/zil_slog_limit:1048576
/sys/module/zfs/parameters/zio_bulk_flags:0
/sys/module/zfs/parameters/zio_delay_max:30000
/sys/module/zfs/parameters/zio_injection_enabled:0
/sys/module/zfs/parameters/zio_requeue_io_start_cut_in_line:1
/sys/module/zfs/parameters/zvol_inhibit_dev:0
/sys/module/zfs/parameters/zvol_major:230
/sys/module/zfs/parameters/zvol_max_discard_blocks:16384
/sys/module/zfs/parameters/zvol_threads:32
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://list.zfsonlinux.org/pipermail/zfs-discuss/attachments/20130812/e17a0bee/attachment.html>


More information about the zfs-discuss mailing list