Ceph分佈式存儲在各類運維場景下PoC性能測試

1. 概況

1.1.  測試目標

1.1.1. 測試在RBD方案和libvirt方案下使用CEPH的性能表現狀況

1.1.2. 比較兩種方案，哪一種方案更加適合現階段的使用

1.1.3. 測試多種運維場景下的性能表現，對後期線上運維工做作預期

1.2. 測試內容

1.2.1. 在基準測試範疇，osd數量正常狀況，分別經過RBD方案和libvirt方案測試連續讀寫和隨機讀寫性能。

1.2.2. 在基準測試範疇，osd異常狀況下，分別經過RBD方案和libvirt方案測試連續讀寫和隨機讀寫性能。

1.2.3. 在基準測試範疇，在調整crushmap的狀況下，分別經過RBD方案和libvirt方案測試連續讀寫和隨機讀寫性能。

1.2.4. 在基準測試範疇，monitor異常的狀況下，分別經過RBD方案和libvirt方案測試連續讀寫和隨機讀寫性能。

1.2.5. 增長OSD的狀況下，分別經過RBD方案和libvirt方案測試連續讀寫和隨機讀寫性能。

1.3. 測試要求

1.3.1 保證測試數據真實性、完整性與準確性

1.3.1 保證測試環境一致性，需標明可能致使性能差別的各類因素

1.3.3 測試人員必須提供原始數據備查

1.3.4 測試人員必須遵照保密條款

2. 測試工具

1) fio-2.0.9

 

3. 測試方法與過程

3.1 測試的指標維度包括連續讀寫和隨機讀寫

3.2 測試的場景

 基準狀況（6個OSD所有正常）

 OSD異常狀況

 crushmap刷新remap過程

 monitor異常

 增長OSD

3.3 測試的方案

 Libvirt方案

 RBD方案

4. 測試數據

4.1 基準狀況數據

基準狀況，OSD正常狀況下，RBD模式和libvirt模式對比

-> 若是不開啓kvm緩存的狀況下，libvirt方案的性能和RBD方案的性能基本至關。

-> 在開啓kvm緩存的狀況下，libvirt方案的性能只是RBD方案的性能的20%左右。（如今懷疑libvirt方案下，kvm緩存開啓沒生效）

-> RBD方案下，kvm緩存開啓跟關閉狀況比較，讀性能提高4倍（是後者的5倍），寫性能提高3倍（是後者的四倍）

-> 兩種方案讀性能是寫性能的四倍。

-> libvirt方案下，kvm緩存和ceph緩存感受沒生效，數據都沒什麼變化。

4.2 OSD異常狀況

OSD異常狀況下對比分析

-> osd被標記爲down，可是還沒被標記爲out時，libvirt方案的性能爲rbd方案的性能還稍微好點，同時二者跟正常狀況的性能相比基本至關。

-> 當osd被標記爲out，集羣remap過程當中，不管是RBD方案仍是libvirt方案，性能都比以前降低不少。

4.3 Remap過程性能分析

Remap過程性能分析

-> 調整crushmap帶來集羣remap時，集羣的讀寫性能都出現嚴重降低，只爲以前集羣的讀寫性能的10%

-> 調crushmap時，libvirt方案的讀寫性能比RBD方案表現要好些。

4.4 Monitor異常性能分析

Moniter異常性能分析，對比分析：

-> 對集羣的讀寫性能沒影響

4.5 OSD增長

在增長OSD的狀況下對比分析：

-> 隨着OSD的增長，集羣相應的讀寫性能也增長。osd從6個增長到8個，讀寫性能10%,OSD從6個增長到10個，讀寫性能分別增長20%左右。

-> 讀寫性能增長的比例通常低於增長OSD的比例。

5. 測試分析結果

5.1 推薦RBD方案。

5.2 基準測試分析

 在KVM緩存關閉的狀況下，從總體測試數據來看，libvirt方案和RBD方案的性能基本至關。

 在KVM緩存開啓的狀況下，libvirt方案的性能只是RDB方案的性能的20%左右。（如今懷疑livbirt方案下，kvm緩存開啓沒有成功，由於開啓緩存和沒開啓緩存，libvirt的測試結果沒什麼變化）。

 RBD方案下，kvm緩存開啓跟關閉狀況比較，讀性能提高4倍（是後者的5倍），寫性能提高3倍（是後者的四倍）。 兩種方案，讀性能基本是寫性能的四倍。

5.3 monitor異常對讀寫性能幾乎沒影響。

5.4 集羣remap過程，讀寫性能降低較多，livbirt方案下，讀寫性能不足以前的30%。RBD方案暫時沒數據。