pve+ceph超融合（二）

建立PVE虛擬化集羣
1，首先安裝三臺PVE主機，安裝過程參考本站以前的文章。
2，PVE主機安裝就緒後，建立PVE Cluster虛擬化集羣。
須要經過PVE_shell建立。
3，在PVE1節點執行如下命令：
pvecm create vclusters
4，在另外兩個節點執行如下命令，加入集羣
pvecm add 192.168.77.160
顯示successfully added node ‘pve-2’ to cluster就算成功了
5，查看PVE集羣狀態，確認集羣已經正確創建
在PVE-1節點上
pvecm status

root@pve-1:~# pvecm status
Quorum information

Date: Wed Jul 3 11:27:05 2019
Quorum provider: corosync_votequorum
Nodes: 3
Node ID: 0x00000001
Ring ID: 1/12
Quorate: Yes

Votequorum information

Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate

Membership information

Nodeid      Votes Name

0x00000001 1 192.168.77.160 (local)
0x00000002 1 192.168.77.170
0x00000003 1 192.168.77.180

所有節點都已經加入集羣
在全部節點上使用如下命令安裝Ceph。（ceph也是能夠單獨安裝融合進來的，單獨安裝的ceph還能夠作其餘使用，看須要）
pveceph install -version luminous

所有節點都已經加入集羣
在全部節點上使用如下命令安裝Ceph。（ceph也是能夠單獨安裝融合進來的，單獨安裝的ceph還能夠作其餘使用，看須要）
pveceph install -version luminous
配置ceph集羣存儲網絡，在全部節點上執行
pveceph init -network 192.168.77.0/24
建立ceph集羣存儲Mon監控，在全部節點上執行如下命令
pveceph createmon
查看硬盤信息

root@pve-1:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 20G 0 disk
├─sda1 8:1 0 1007K 0 part
├─sda2 8:2 0 512M 0 part
└─sda3 8:3 0 19.5G 0 part
├─pve-swap 253:0 0 2.4G 0 lvm [SWAP]
├─pve-root 253:1 0 4.8G 0 lvm /
├─pve-data_tmeta 253:2 0 1G 0 lvm
│ └─pve-data 253:4 0 8G 0 lvm
└─pve-data_tdata 253:3 0 8G 0 lvm
└─pve-data 253:4 0 8G 0 lvm
sdb 8:16 0 50G 0 disk
sdc 8:32 0 50G 0 disk
sdd 8:48 0 50G 0 disk
sr0 11:0 1 655.3M 0 rom
rbd0 252:0 0 32G 0 disk

建立ceph集羣存儲OSD服務，在全部節點上執行
由於咱們模擬了三塊硬盤全部把三塊硬盤都加上
pveceph createosd /dev/sdb
pveceph createosd /dev/sdc
pveceph createosd /dev/sdd

建立完成後，查看OSD運行狀態，確認OSD運行正常：

root@pve-1:~# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.43822 root default
-7 0.14607 host pve-1
6 hdd 0.04869 osd.6 up 1.00000 1.00000
7 hdd 0.04869 osd.7 up 1.00000 1.00000
8 hdd 0.04869 osd.8 up 1.00000 1.00000
-3 0.14607 host pve-2
0 hdd 0.04869 osd.0 up 1.00000 1.00000
2 hdd 0.04869 osd.2 up 1.00000 1.00000
3 hdd 0.04869 osd.3 up 1.00000 1.00000
-5 0.14607 host pve-3
1 hdd 0.04869 osd.1 up 1.00000 1.00000
4 hdd 0.04869 osd.4 up 1.00000 1.00000
5 hdd 0.04869 osd.5 up 1.00000 1.00000

6，建立集羣存儲資源池，PVE內建Ceph採用的是rbd的模型：最外層是pool，至關於一塊磁盤，默認的pool名字叫作rbd。每一個pool裏面能夠有多個image，至關於文件夾。每一個image能夠映射成一個塊設備，有了設備就能夠加載它。在PVE-1節點上執行如下命令：ceph osd pool create mytest 128 128128表明placement-group的數量。每一個pg都是一個虛擬節點，將本身的數據存在不一樣的位置。這樣一旦存儲宕機，pg就會選擇新的存儲，從而保證了自動高可用。7，複製存儲ID和密鑰到指定文件位置，在PVE-1節點執行如下操做：cd /etc/pve/priv/cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring到這裏ceph分佈式存儲基本完成,下來就在web端設置