ceph文件系統與原生磁盤讀寫性能的比較

一.測試目的

   獲取ceph文件系統的讀寫性能，並與原生磁盤進行比較

二.硬件及網絡環境

   1.硬盤信息

	磁盤（型號，類型，容量）	CPU
客戶端	ST1000DM003-1CH162；SATA；1T	Intel(R) Core(TM)  i3-4130  @CPU 3.40GHz
OSD節點	ST3300657SS；SAS；300G	Intel(R) Xeon(R)  @CPU  2.13GHz
MON節點	ST3320620AS；SATA；320G	Intel(R) Pentium(R) D  @CPU 3.00GHz

2.網絡環境

    服務器及客戶端同處於100兆網絡

三.軟件環境及測試工具

   1.軟件環境

	操做系統
客戶端	Ubuntu 12.04.4 LTS
OSD節點	Ubuntu 14.04 LTS
MON節點	Ubuntu 14.04 LTS

   2.測試工具 Iozone3_308

四.測試用例

（一）不一樣線程下

   1.Ceph文件系統

   使用下面命令測試在不一樣線程下ceph文件系統讀取6G大文件的讀寫性能。

  測試N線程下讀取6G大文件時Ceph文件系統的讀寫性能。

線程數N	對應的命令
1	./iozone -R -t 1 -F /cephfs-test/testdata -i 0 -i 1 -s 6g
3	./iozone -R -t 3 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 -i 0 -i 1 -s 6g
5	./iozone -R -t 5 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 -i 0 -i 1 -s 6g
8	./iozone -R -t 8 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 /cephfs-test/tmp6 /cephfs-test/tmp7 /cephfs-test/tmp8 -i 0 -i 1 -s 6g
10	./iozone -R -t 10 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 /cephfs-test/tmp6 /cephfs-test/tmp7 /cephfs-test/tmp8 /cephfs-test/tmp9 /cephfs-test/tmp10 -i 0 -i 1 -s 6g

 綜合上面輸出的結果彙總成一張以下的表格(單位是 kBytes/sec)：

線程數	write	rewrite	read	reread
1	7154.46	7186.29	11352.72	11325.62
3	6857.9	6926.8	11392.98	11405.52
5	8163.09	8177.8	11342.68	11444.18
8	8172.62	8209.53	11481.44	11472.52
10	8133.91	8197.51	11389.92	11440.07

2.原生磁盤

  測試多線程下讀取6G大文件原生磁盤的讀寫性能。

線程數目N	描述
1	./iozone -R -t 1 -F /testdata -i 0 -i 1 -s 6g
3	./iozone -R -t 3 -F /tmp1 /tmp2 /tmp3 -i 0 -i 1 -s 6g
5	./iozone -R -t 5 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 -i 0 -i 1 -s 6g
8	./iozone -R -t 8 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 /tmp6 /tmp7 /tmp8 -i 0 -i 1 -s 6g
10	./iozone -R -t 10 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 /tmp6 /tmp7 /tmp8 ／tmp9 /tmp10 -i 0 -i 1 -s 6g

總結上面的結果（ 單位爲 kBytes/sec）：

線程數目	write	rewrite	read	reread
1	149164.94	160567.67	186078.03	163941.91
3	144475.71	133638.73	172043.45	167020.87
5	117251.25	117141.55	145746.82	143699.11
8	114206.11	128078.45	176531.57	176850.37
10	110812.11	110699.5	88225.4	111940.68

根據上面的數據，繪製出下面的折線圖。

（二）不一樣文件大小下

1.Ceph文件系統

使用下表中對應的命令測試ceph文件系統，查看讀取對應大小的文件時的讀寫性能。測試對應大小的文件，記錄大小爲4k，只測試read/reread和write/rewrite.

文件大小	描述
16M	./iozone -R -s 16M -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
256M	./iozone －R -s 256M -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata
2G	./iozone －R -s 2G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
4G	./iozone －R -s 4G -i 0 -i 1 -y 4K -q 4k －f /cephfs-test/testdata
6G	./iozone -R -s 6G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

綜合上面的輸出結果，得出下面的表格(記錄塊都爲4K，單位爲kBytes/sec) ：

文件大小	write	rewrite	read	reread
16M	287534	2650722	3884254	4284575
256M	1448445	2587190	4332678	4165372
2G	9484	9309	110929	65568
4G	8578	8698	11402	11476
6G	8473	8445	11402	11403

2.原生磁盤

使用下表中對應的命令測試原生磁盤，查看讀取對應大小的文件時的讀寫性能。測試下表對應大小的文件，記錄塊爲4k,使用對應的Iozone命令測試原生磁盤的讀寫性能。

文件大小	描述
16M	./iozone -R -s 16m -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
256M	./iozone －R -s 256M -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata
2G	./iozone －R -s 2G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
4G	./iozone －R -s 4G -i 0 -i 1 -y 4K -q 4k －f /cephfs-test/testdata
6G	./iozone -R -s 6G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

記錄塊都爲4K，查看其讀寫性能。單位爲kBytes/sec 。

文件大小	write	rewrite	read	reread
16M	2038802	3586647	5570732	5741068
256M	911576	3722894	5722932	5739962
2G	98047	108312	5815922	5842511
4G	88993	92779	173721	185914
6G	90996	89835	174527	181623

根據上面的數據，繪製出下面的折線圖。

五.測試結果

下面各圖則是在指定條件下，使用柱形圖，細至讀寫的不一樣方面對在ceph文件系統和原生磁盤的讀寫性能比較。

（一）不一樣線程

每一個線程下讀寫6G大文件，查看在多個線程下ceph文件系統及原生磁盤之間讀寫性能的差別。下面各圖是在同一前提下，實施的測試結果，分爲4個圖，分別是write、rewrite、read、reread在ceph文件系統和原生磁盤中的結果的比較。單位都是 kBytes/sec。

1.write

每一個線程下讀寫6G大文件，查看在多個線程下ceph文件系統及原生磁盤之間write性能的差別。單位爲KBytes/sec。

2.rewrite

每一個線程下讀寫6G大文件，查看在多個線程下ceph文件系統及原生磁盤之間rewrite性能的差別。單位爲KBytes/sec。

3.read

每一個線程下讀寫6G大文件，查看在多個線程下ceph文件系統及原生磁盤之間read性能的差別。單位爲KBytes/sec。

4.reread

每一個線程下讀寫6G大文件，查看在多個線程下ceph文件系統及原生磁盤之間reread性能的差別。單位爲KBytes/sec。

（二）不一樣文件大小

讀寫對應大小的文件，查看ceph文件系統及原生磁盤之間讀寫性能的差別。下面各圖是在同一前提下，實施的測試結果，分爲4個圖，分別是write、rewrite、read、reread在ceph文件系統和原生磁盤中的結果的比較。單位爲 kBytes/sec。

1.write

讀寫對應大小的文件，查看ceph文件系統及原生磁盤之間write差別。單位爲 kBytes/sec。

2.rewrite

讀寫對應大小的文件，查看ceph文件系統及原生磁盤之間rewrite差別。單位爲 kBytes/sec。

3.read

讀寫對應大小的文件，查看ceph文件系統及原生磁盤之間read差別。單位爲 kBytes/sec。

4.reread

讀寫對應大小的文件，查看ceph文件系統及原生磁盤之間reread差別。 單位爲  kBytes/sec 。