ceph存儲集羣測試方案

--測試目的

測試ceph集羣的讀寫性能，根據測試數據瞭解整個ceph集羣的性能狀況。

--測試環境

1、8節點ceph集羣環境，1臺虛擬機（cpu 8核，內存8G），8k的塊大小，時長2小時

2、8節點ceph集羣環境，5臺虛擬機（cpu 8核，內存8G），8k的塊大小，時長2小時

--測試情景

一、Ceph集羣無端障的性能指標

二、Ceph集羣移除節點的性能指標

 

[ceph集羣無端障狀態測試]

 

--測試方法：

一、從ceph集羣中建立一個1T的塊設備空間，將分出的磁盤空間掛載到虛擬機。

A、利用fio工具測試掛載設備的讀寫速度

B、利用zabbix監控獲得虛擬機的系統使用狀況（CPU、內存等）

C、利用ceph服務器的ceph命令獲得SSD盤和SATA盤的使用狀況，利用ceph集羣監控頁面查看集羣的CPU、內存等使用狀況

 

l fio測試

fio --name=test --output=8krw --thread --rw=randwrite --bs=8k --ioengine=libaio --iodepth=64 --numjobs=1 --filename=/dev/sdb1 --direct=1 --time_based --runtime=7200  --allow_mounted_write=1  --group_reporting

[塊設備隨機寫操做]

	bw（MB/s）	Iops(每秒的讀寫速度)
randwrite	74.25	9503

 

[塊設備隨機讀操做]

	bw（MB/s）	Iops(每秒的讀寫速度)
randread	107.83	13802

 

客戶端的系統使用狀況

[CPU使用狀況（idle）]

隨機寫：

 

隨機讀：

 

[內存使用狀況]

隨機寫：

 

隨機讀：

 

測試結果分析：業務服務器的cpu消耗在10%到25%之間，內存最大達到7G（內存8G）左右，網絡最大達到35Kbps（幾乎對客戶端網絡影響不大）

l 服務端的系統使用狀況

[固態盤使用狀況]

初始ssd的使用率7%，隨機寫的過程當中17%，隨機寫操做完成ssd使用率降低到10%

[SATA盤的使用狀況]

初始使用率是28.61%，隨機寫操做完成以後使用率是28.61%

[CPU變化狀況]

ceph服務器CPU變化圖（隨機寫）：

 

隨機讀:

 

[內存利用率]

ceph服務器內存變化圖（隨機寫）：

 

隨機讀：

 

測試結果分析：ssd在整個磁盤中只是作緩存，數據不是永久在上面，最終的數據都會寫到SATA盤中。服務端的CPU消耗對於網關服務器來講最高達到80%左右，其餘服務器最大達到70%左右。服務端的內存基本沒消耗。

二、從ceph集羣中建立5個1T的塊設備空間，將分出的磁盤空間掛載到5個不一樣物理機建立的虛擬機

A、利用fio工具測試掛載設備的讀寫速度

B、利用zabbix監控獲得虛擬機的系統使用狀況（CPU、內存等）

C、利用ceph服務器的ceph命令獲得SSD盤和SATA盤的使用狀況，利用ceph集羣監控頁面查看集羣的CPU、內存等使用狀況

--對照組：1臺虛擬機和5臺虛擬機性能對照

--讀寫方式：隨機IO

 

l fio測試

[塊設備隨機寫操做]

	bw（MB/s）	Iops(每秒的讀寫速度)
randwrite	35.96	4602

 

[塊設備隨機讀操做]

	bw（MB/s）	Iops(每秒的讀寫速度)
randread	102.33	13098

 

測試結論分析：

l 客戶端的系統使用狀況

[CPU使用狀況]

隨機寫

 

[內存使用狀況]

隨機寫

 

測試結論分析：五臺客戶端服務器的cpu消耗最大達到50%；內存最大達到7.5G左右；網絡最大達60Kbps左右。

l 服務端的系統使用狀況

[固態盤使用狀況]

2%-74%

[SATA盤的使用狀況]

28.61%-31.48%

[CPU變化狀況]

網關服務器會比其餘服務器的cpu使用率更高

 

[內存利用率]

 

測試結果分析：ssd在整個磁盤中只是作緩存，數據不是永久在上面，最終的數據都會寫到SATA盤中。服務端的CPU消耗對於網關服務器來講最高達到80%左右，其餘服務器最大達到70%左右。服務端的內存基本沒消耗。

 

[ceph集羣移除節點狀態測試]

 

--測試方法：

一、從ceph集羣中建立一個1T的塊設備，將該設備掛載到虛擬機，移除集羣中的一個節點（移除04節點）

A、利用fio工具測試掛載設備的讀寫速度

B、利用zabbix監控獲得虛擬機的系統使用狀況（CPU、內存等）

C、 利用ceph服務器的ceph命令獲得SSD盤和SATA盤的使用狀況，利用ceph集羣監控頁面查看集羣的CPU、內存等使用狀況

 

l fio測試

[塊設備隨機寫操做]

	bw（MB/s）	Iops(每秒的讀寫速度)
randwrite	38.35	4909

 

[塊設備隨機讀操做]

	bw（MB/s）	Iops(每秒的讀寫速度)
randread	91	11648

測試結論分析：一個節點移除，隨機寫性能會降低50%左右，隨機讀性能降低16左右。

l 客戶端的系統使用狀況

[CPU使用狀況]

 

[內存使用狀況]

 

測試結論分析：客戶端CPU最高達到17%；內存會在瞬間上升，以後恢復到以前的低消耗；客戶端的網絡幾乎沒什麼消耗。

l 服務端的系統使用狀況

[固態盤使用狀況]

52%

[SATA盤的使用狀況]

32.01%

[CPU變化狀況]

 

[內存利用率]

 

測試結論分析：服務端的CPU利用率最高到達52.96%，內存利用率幾乎沒什麼消耗。