ceph環境下 測試磁盤在寫入時cache盤的佔用狀況

ceph環境下 測試磁盤在寫入時cache盤的佔用狀況

[root@localhost ~]# lsblk

NAME                           MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sr0                             11:0    1 1024M  0 rom  

sdb                              8:16   0   20G  0 disk 

└─cachedev-0 (dm-4)            253:4    0   20G  0 dm   /sandstone-data/sds-0

sda                              8:0    0   50G  0 disk 

├─sda1                           8:1    0  500M  0 part /boot

└─sda2                           8:2    0 49.5G  0 part 

  ├─VolGroup-lv_root (dm-0)    253:0    0 45.6G  0 lvm  /

  └─VolGroup-lv_swap (dm-1)    253:1    0  3.9G  0 lvm  [SWAP]

sdc                              8:32   0   20G  0 disk 

├─vg_mix-lv_journal_0_0 (dm-2) 253:2    0    8G  0 lvm  

└─vg_mix-lv_cache_0_0 (dm-3)   253:3    0   12G  0 lvm  

  └─cachedev-0 (dm-4)          253:4    0   20G  0 dm   /sandstone-data/sds-0

sdd                              8:48   0   10G  0 disk 

sde                              8:64   0   10G  0 disk 

sdf                              8:80   0   10G  0 disk 

[root@localhost ~]# 

第一個shell：

[root@localhost ~]# dd if=/dev/zero of=/dev/sdd bs=1M count=1000

第二個shell：

[root@localhost ~]# iostat -dxt 1

Linux 2.6.32-358.11.1.2.ky3.1.x86_64 (localhost.localdomain) 2017年10月23日 _x86_64_(4 CPU)

2017年10月23日 18時27分31秒

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdb               0.01     5.12    0.05    1.59     0.47    53.67    33.11     0.03   19.76   7.90   1.29

sda               0.06    46.33    1.28   44.61    24.24   727.82    16.39     5.33  116.08   1.70   7.81

sdc               0.76     1.20    5.25    4.24    54.36    67.44    12.83     0.10   10.14   4.70   4.46

dm-0              0.00     0.00    0.22   90.94    13.70   727.82     8.13     7.03   77.15   0.84   7.65

dm-1              0.00     0.00    0.00    0.00     0.01     0.00     8.00     0.00    7.87   2.71   0.00

dm-2              0.00     0.00    0.19    1.87     1.51    38.52    19.47     0.03   14.93   8.38   1.72

dm-3              0.00     0.00    1.00    3.48     8.03    28.18     8.08     0.14   30.85   4.76   2.13

dm-4              0.00     0.00    0.08    8.54     0.67    68.34     8.00     1.72  199.06   3.18   2.74

sdd               0.00     1.35    0.00    0.01     0.01    10.33   894.49     0.08 6452.67  34.39   0.04

sde               0.00     0.00    0.00    0.00     0.01     0.00     8.00     0.00    2.74   2.74   0.00

sdf               0.00     0.00    0.00    0.00     0.01     0.00     8.00     0.00    2.74   2.74   0.00

2017年10月23日 18時27分32秒

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdb               0.00   595.00    0.00   13.00     0.00  7384.00   568.00     0.88  139.38  22.85  29.70

sda               0.00    12.00   10.00 1012.00    88.00  8152.00     8.06   144.63   93.69   0.98 100.00

sdc               0.00    69.00    5.00   16.00   544.00  7376.00   377.14    36.40  563.48  47.62 100.00

dm-0              0.00     0.00    2.00 1004.00    16.00  8032.00     8.00   147.08   95.42   0.99 100.00

dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

dm-2              0.00     0.00    0.00   19.00     0.00  8584.00   451.79     9.95  379.74  52.37  99.50

dm-3              0.00     0.00    2.00   69.00    16.00   552.00     8.00   927.73 2342.27  14.08 100.00

dm-4              0.00     0.00    2.00  606.00    16.00  4848.00     8.00  1195.77  439.58   1.64 100.00

sdd               0.00  3937.00    0.00   16.00     0.00 15368.00   960.50   143.73 5219.94  62.50 100.00

sde               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdf               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

該環境是ceph環境。sdc做爲journal跟cache的緩存盤。

下面是虛擬磁盤的block等信息：

[root@localhost ~]# smartctl -a /dev/sdc

smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-358.11.1.2.ky3.1.x86_64] (local build)

Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

Vendor:               VMware  

Product:              Virtual disk    

Revision:             1.0 

User Capacity:        21,474,836,480 bytes [21.4 GB]

Logical block size:   512 bytes

Logical Unit id:      0x6000c29586aa7f7d928e86417eb5e2ff

Serial number:        6000c29586aa7f7d928e86417eb5e2ff

Device type:          disk

Local Time is:        Mon Oct 23 18:30:39 2017 CST

Device does not support SMART

Error Counter logging not supported

Device does not support Self Test logging