proxmox+ceph集羣安裝筆記

proxmox+ceph集羣安裝筆記

一、建立3臺vmware虛擬機
cpu：2x2 4核 開虛擬化
內存：2G
硬盤1：20G，系統盤
硬盤2：200G，ceph存儲盤
網絡：橋接模式
IP：10.8.20.11/12/13
主機名：pve1.abc.com/pve2.abc.com/pve3.abc.com

二、在pve1虛擬機上安裝proxmox，安裝在20g的硬盤上，默認安裝便可

三、系統配置

1)更改成國內源
安裝vim
apt update
apt install vim -y

安裝阿里雲的源
cd /etc/apt
vi sources.list.d/pve-enterprise.list
修改成
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription

vi sources.list
修改成：
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib

更新系統
apt update
apt upgrade -y
init 6

2)去除web管理平臺的訂閱提示
sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

最後再執行：systemctl restart pveproxy

3)不使用lvm-thin，將local也就是根分區擴展
pve默認安裝時，會創建local和local-lvm 大小分別爲4.61G（根分區的lvm，存放iso）和8G（存放虛擬機）
下面要把8g的刪除，合併到4.61g

就是要把邏輯卷data刪除，邏輯卷root擴展

修改pve的存儲配置
vi /etc/pve/storage.cfg
修改爲：
dir: local
path /var/lib/vz
content rootdir,iso,vztmpl,backup

(刪除lvm-thin段)

刪除data所在的lv
lvremove /dev/pve/data（pve是卷組名 data是邏輯卷名）

查看卷組信息
vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 2 0 wz--n- <19.50g 12.37g
還剩下12.37g

擴展root邏輯卷
lvextend -L +12.37G /dev/pve/root
resize2fs /dev/pve/root

到web管理頁面上查看能夠看到只剩下一個local，大小爲16.79g。

4)登陸web管理頁面修改主機名與ip地址的對應（這步能夠不作）
pve1->系統->主機，添加如下2行
10.8.20.12 pve2.abc.com pve2
10.8.20.13 pve3.abc.com pve3

以上就安裝配置好了pve1的主機。

在pve2和pve3上重複以上操做便可。

四、創建pve集羣
pve1上執行：
pvecm create pve-cluster（pve-cluster是集羣名）

pve二、pve3執行：
pvecm add 10.8.20.11

在pve1上查看集羣狀態
pvecm status
pvecm nodes

五、創建ceph存儲集羣（存放虛擬機鏡像，另外iso的存儲使用nfs）

1)安裝ceph(全部節點上面均執行)
pveceph install （後面不加版本號是安裝最新的nautilus版）
出現如下字樣表示安裝成功
installed ceph nautilus successfully

2)創建ceph集羣網絡，爲了簡便，這裏和管理網絡共用(全部節點上面均執行)
pveceph init -network 10.8.20.0/24

3)建立ceph集羣存儲Mon監控(全部節點上面均執行)
pveceph createmon

4)建立ceph集羣存儲OSD服務(全部節點上面均執行)
pveceph createosd /dev/sdb

5)建立集羣存儲資源池
ceph osd pool create pve-pool 128 128(只在pve1上面執行，pve-pool 是存儲池名)，
128(pg_num)的由來：
少於 5 個 OSD 時可把 pg_num 設置爲 128
OSD 數量在 5 到 10 個時，可把 pg_num 設置爲 512
OSD 數量在 10 到 50 個時，可把 pg_num 設置爲 4096

6)登陸pve1的web管理頁面，添加RBD集羣存儲
數據中心->存儲->添加->選擇RBD
ID：填寫爲pve-ceph
資源池：pve-pool
Monitor：10.8.20.11 10.8.20.12 10.8.20.13 （注意添加多個Mon以空格隔開）
添加節點：pve1，pve2，pve3

添加好後，查看rbd集羣存儲配置信息
cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content vztmpl,images,backup,iso,rootdir

rbd: pve-ceph
content rootdir,images
krbd 1
nodes pve3,pve2,pve1
pool pve-pool

7)檢查相關密鑰是否存在
cd /etc/pve/priv
看有沒有ceph目錄，沒有的話就建立，並複製密鑰進來
mkdir ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph.keyring
通常來講是存在的：
root@pve1:/etc/pve/priv# cd ceph
root@pve1:/etc/pve/priv/ceph# ls
pvecluster-ceph.keyring

8)賦予應用相關權限
ceph osd pool application enable pve-pool rgw rbd

9)安裝ceph Dashboard
pve1上執行
apt install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create admin admin123 administrator（admin是用戶名，admin123是密碼，administrator是指定該用戶是管理員）
systemctl restart ceph-mgr@pve1.service
訪問https://10.8.20.11:8443，使用用戶名admin密碼admin123登陸便可

至此，ceph安裝完成

六、安裝nfs服務器，提供iso存儲
安裝一臺centos服務器，啓用nfs服務
假設nfs的輸出目錄是這臺centos上的/data/nfs目錄
yum install rpcbind nfs-utils -y
vi /etc/exports
加入：
/data/nfs 10.8.20.0/24(rw,sync,no_root_squash)

啓動nfs服務

systemctl enable rpcbind nfs-server

systemctl start rpcbind nfs-server（centos7）

查看共享目錄
exportfs
激活配置
exportfs -rav

最後在pve集羣上添加nfs存儲

pve1web管理頁面：數據中心->存儲->添加->選擇nfs

添加好後能夠上傳iso文件，會存放在centos服務器的/data/nfs/template/iso目錄下

七、安裝虛擬機測試集羣，虛擬機硬盤選擇存放在pve-ceph存儲下才可使用遷移和HA功能

個人技術博客：秋天的回憶