Proxmox VE6.0.4最新版集羣搭建實錄

鏡像下載地址：https://www.proxmox.com/en/downloads
安裝過程圖解：
一、

二、

三、

四、

五、

六、

七、

八、

九、瀏覽器WEB登錄控制檯一覽

ssh登錄上去查看下版本:

這裏咱們依然建立三個結點的集羣（PVE1-PVE3,192.168.26.210-212)其它結點安裝略配置方法同樣。
依然要更新配置下源及系統（看似相同注意版本差別）
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
apt update && apt dist-upgrade

若是要上傳ISO鏡，默認的位置展現一下：

開始建立pve集羣：
pve1上執行：
pvecm create bd-data-center

pve2上執行：
root@pve2:~# pvecm add 192.168.26.210

注意須要輸入密碼進行通訊認證。
一樣PVE3上執行:
root@pve3:~# pvecm add 192.168.26.210

查看下此時集羣狀態：任一結點上執行效果同樣（展現兩個結點上執行的效果）


登錄WEB控制檯查看下此時效果：

接着安裝CEPH存儲（三個結點分別安裝）



初始化ceph集羣網段：pveceph init --network 192.168.26.0/22

此時若命令查看CEPH狀態會報錯：pveceph status

各結點建立ceph集羣存儲Mon監控：
pveceph createmon

root@pve2:~# pveceph createmon

root@pve3:~# pveceph createmon

此時查看CEPH狀態：

Ansible看下各結點吧，其實都同樣的。

建立mgr三個結點都須要執行
pveceph createmgr #此結點提示已經存在



查看WEB控制檯此時集羣狀態:


Creating Ceph OSDs
建立Ceph OSDs 存儲（三個結點執行一樣操做）

root@pve1:~# pveceph createosd /dev/sdb

在PVE1上執行後立刻看下WEB控制檯看下此時狀態變化狀況


PVE1上磁盤和配置信息變化狀況

一樣其它兩個結點執行
root@pve2:~# pveceph createosd /dev/sdb
root@pve3:~#pveceph createosd /dev/sdb
建立ceph集羣存儲資源池ceph osd pool create [資源池名稱] 128 128
root@pve1:~# ceph osd pool create datacenter 128 128



#添加RBD集羣存儲

#查看rbd集羣存儲配置信息(集羣任一結點查看都同樣）

root@pve1:~# cat /etc/pve/storage.cfg
建立前的效果：


建立後的效果：

添加資源池：dbdata,iscpool,idcpool

HA羣組建立：ISCVM,IDCVM


建立虛擬服務器：

其中遇到的報錯解決方法：
root@pve1:~# ceph health detail

報錯解決方法：ceph osd pool application enable datacenter rbd

高可用狀態下不能進行克隆操做，不然會出錯，出現虛擬機鎖住，且沒法直接刪除的現象。

沒法刪除：
用命令解鎖以後便可刪除虛擬機。

root@pve2:~# qm destroy 101
VM is locked (clone)
root@pve2:~# qm unlock 101
root@pve2:~# qm destroy 101
Removing image: 1% complete...
Removing image: 2% complete...

移出高可用狀態，再進行克隆操做：