Proxmox【超融合】實現低准入高效構建企業內部私有云平臺，讓企業輕鬆步入雲時代

「超融合」這個概念，能夠簡單理解爲：將虛擬計算平臺和存儲融合到一塊兒，將每臺服務器裏面自帶的硬盤組成存儲池，以虛擬化的形式提供數據中心所須要的計算、網絡、安全以及存儲等IT基礎架構。在這裏，也講解一下超融合相對於傳統虛擬化方案的優點。

橫向與縱向的擴展性
顧名思義，橫向擴展就是當發現存儲和計算資源不夠用了，按需添加服務器便可。好比，當用戶的共享存儲寫滿了，用戶不得不花大價錢去購買一個新的存儲機櫃，然而此時存儲機櫃的資源利用率是很低的。而使用超融合方案的用戶，他們只須要投入較少的費用去購買一個新的服務器加入集羣，便可擴展存儲空間。
便捷提供多副本，提升數據安全
超融合方案可便捷支持2-3個副本。當某些服務器損壞時，若採用超融合方案，所須要的數據還會存在對應的副本里，工做還能正常進行。而對比於傳統的共享存儲，用戶想作兩個副本時，只好硬着頭皮再買一個如出一轍的存儲設備作備份，增長了很多IT投資。
分佈式存儲，拉近計算和存儲的距離
傳統的共享存儲在數據讀寫時，都須要經過網線或光纖進行數據傳輸。而超融合分佈式的存儲在讀數據的時候，基本都是直接讀取本地的副本數據，減小數據流經網線或光纖的時間，加快數據讀取速度。
軟硬件一體化，省錢省力省心
超融合方案所支持的軟硬件一體化，即用戶能夠一次性輕鬆地把雲數據中心部署好，其中包括服務器、服務器虛擬化、存儲虛擬化等虛擬化軟件。對比很多用戶會分開購買硬件和軟件，採購成本較高。同時，軟硬件一體機在出廠時已將軟件植入到硬件當中，而且已經經過兼容測試，用戶可直接架到機房，通電並簡單配置便可使用。
總結超融合特色及優點：
• 去中心化：沒有專門的控制節點，無需考慮控制節點的單點問題。
• 去集中存儲：傳統的私有云集羣架構，保障可用性是以共享存儲方式實現的。但共享存儲自己就是單點，雖然能夠以多磁盤冗餘已經雙控制器的方式提升可用性，但仍然存在IO集中、性能沒法提高的困境。
• 更低的建設成本：去掉昂貴的中心化存儲，磁盤分佈到本地物理服務器，投資成本大幅度下降。
• 在線擴容：不中止服務，對物理機配件（內存、cpu等）進行擴容，甚至新增物理節點。

PVE集羣搭建過程簡述：（3個結點PVE1-PVE3:192.168.26.210-212)
一、安裝下載pve官方ISO鏡像安裝便可，操做很簡單跟着提示下一步便可（若是有特別的存儲配置注意安裝的時候配置下,也能夠後期再進行設置不過相對可能要繁瑣些）
安裝成功後使用瀏覽器WEB登錄效果：


二、登錄(經過ssh)三個結點更新源及系統。
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade

三、開始建立集羣在pve1上執行root@pve1:~# pvecm create pve-cluster

四、在pve2上執行root@pve2:~# pvecm add 192.168.26.210注意須要輸入密碼認證。


五、一樣在PVE3結點上執行命令root@pve3:~# pvecm add 192.168.26.210一樣須要輸入密碼認證

六、集羣成功建立查看集羣狀態：三個結點任一一個上面均可以。
root@pve1:~# pvecm status

再切換一個結點試下查看狀態
root@pve2:~# pvecm status

七、回到WEB管理臺發現三個結點都已經出現了（集中中任一結點均可以）


八、爲集羣創建可靠的存儲（Ceph存儲，注意三個集羣結點都須要執行）
root@pve3:~# pveceph install --version luminous

九、初始化存儲集羣網絡段，以便進行通訊，注意須要和PVE集羣同網段，不然會報錯(只需在PVE1結點上執行一次便可）：
root@pve1:~# pveceph init --network 192.168.33.0/24

No active IP found for the requested ceph public network '192.168.33.0/24' on node 'pve1'
換成同網段：
root@pve1:~# pveceph init --network 192.168.26.0/22

十、建立ceph集羣存儲Mon監控（三個結點都須要，否則高可用都無效，實測有結點故障時會一直卡住，至到MON結點恢復）



十一、建立ceph集羣存儲mgr(Creating Ceph Manager)一樣須要三個結點都安裝否則沒法實現高可用。

pveceph createmgr #但提示已經存在，緣由是安裝監控MON的時候自動已經安裝上了。

十二、建立Ceph OSDs（Creating Ceph OSDs）一樣三個結點都須要執行同樣操做。



1三、建立集羣存儲資源池（Creating Ceph Pools）此操做只須要任一結點上執行便可。
root@pve1:~# ceph osd pool create pvepool 128 128

此時查看下存儲集羣狀態ceph -s

有報警：ceph:health_warn clock skew detected on mon的解決辦法
形成集羣狀態health_warn：clock skew detected on mon節點的緣由通常有兩個，一個是mon節點上ntp服務器未啓動，另外一個是ceph設置的mon的時間誤差閾值比較小。排查時也應遵循先第一個緣由，後第二個緣由的方式。
修改時間誤差閾值（記得重啓服務）
# vi ceph.conf
在global字段下添加：
mon clock drift allowed = 2 mon clock drift warn backoff = 30
# ceph -s
顯示health_ok說明問題解決

1四、添加RBD集羣存儲（打開瀏覽器登錄WEB控制檯配置）




注意選擇使用超融合CEPH池。
查看rbd集羣存儲配置信息



1五、測試建立虛擬服務器PVE1上

安裝CENTOS6.6

pve3安裝XP


關閉其它節點（節點1）不影響安裝操做
測試高可用：先配置




測試：PVE3關機後收到報警（安裝的時候配置了郵件地址的）


過兩分鐘還會收到一封郵件：提示故障已經成功轉移。

虛擬服務器已經轉移
看下WEB平臺瀏覽的狀態：

咱們恢復PVE3.
恢復後自動遷移回去了，由於其權重高些(生產環環境不建議直接又回切，根據須要配置）。

Proxmox中克隆虛擬服務器


Proxmox中遷移虛擬服務器（pve3到pve1)

配置spice模擬終端登錄(實現能夠直接使用終端設置聯接操做虛擬機實現雲桌面）：
配置文件中添加內容：args: -spice port=61001,disable-ticketing,seamless-migration=on

啓動102 虛擬服務器qm start 102（這裏經過命令啓動的）也能夠經過WEB控制檯效果同樣。

啓動後發現多開放了一個端口，配置終端機聯接此端口便可聯接操做服務器。這裏經過VirtViewer軟件模擬登錄。


換臺服務器再試（linux)：

一樣須要修改配置文件：
root@pve3:~# cat /etc/pve/qemu-server/101.conf
bootdisk: sata2
cores: 1
ide2: none,media=cdrom
memory: 1024
name: Centos6.6
net0: e1000=26:24:01:00:69:7D,bridge=vmbr0
numa: 0
ostype: l26
sata2: ceph:vm-101-disk-0,size=20G
scsihw: virtio-scsi-pci
smbios1: uuid=73100396-3804-4002-815b-4017d81199a9
sockets: 1
vmgenid: bb0d8fc0-a6c7-4283-81f3-6766c4f150a2
args: -spice port=61002,disable-ticketing,seamless-migration=on
保存退出啓動虛擬服務器

聯接效果：

須要說明的是終端聯接的是平臺服務器IP加上端口，是基於端口的應用，而咱們聯上服務器後配置的虛擬服務器上網用的IP地址，所以不要混了，即便咱們把網卡禁用了經過終端仍是能聯接的，只是服務器不能上外網絡（和其它服務器通訊）看下圖片中效果，和咱們日常開啓遠程訪問是有區別的。

cd
功能效果暫時展現到這，其它功能及補充後續文章再完善，很久沒寫文了，草文堆了一大堆。
參考：https://pve.proxmox.com/pve-docs/chapter-pveceph.html