Ceph-deploy 安裝 Ceph 集羣

一.硬件資源

centOS6.6虛擬機＊４（一臺ｍｏｎ，三臺ｏｓｄ）

2、ceph-deploy 工具的得到
一、修改 yum 的源文件
sudo vim /etc/yum.repos.d/ceph.repo
將一下內容添加進該文件。
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://ceph.com/rpm-{ceph-release}/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc
二、添加須要安裝的版本信息
修改行 baseurl=http://ceph.com/rpm-{ceph-release}/{distro}/noarch:
中的{ceph-release}/{distro}/
例如:http://ceph.com/rpm-giant/rhel6/noarch;
三、升級系統的軟件包,安裝 ceph-deploy 工具
sudo yum update && sudo yum install ceph-deploy
3、配置系統
一、添加 ssh 的公鑰
a) 首先在選定的 mon 上進行公鑰的生成
ssh-keygen -t rsa
b) 將公鑰複製到各個節點
ssh-copy-id user@ip
二、清理環境:
若是爲系統未部署過 ceph,能夠跳過此步驟。
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
ceph-deploy purge {ceph-node} [{ceph-node}]
4、集羣部署
一、建立集羣
ceph-deploy new {initial-monitor-node(s)}

例如:ceph-deploy new mon-01
二、修改/etc/ceph/ceph.conf 文件
例如:osd pool default size = 2
public network = {ip-address}/{netmask}
其餘詳細配置待續
三、在全部節點安裝 ceph 軟件包
ceph-deploy install {ceph-node}[{ceph-node} ...]
在此過程當中若是出現安裝源找不到的狀況,根據環境狀況修改 ceph.repo 文件中的源路
徑,通常是體系結構不對,修改便可(SRPMS、noarch、 x86_64)。
四、添加初始 monitor 節點和收集祕鑰
ceph-deploy mon create-initial {node}
若是提示文件存在,可是不匹配,能夠先刪除該 ceph.conf,而後執行此操做。
ceph -s 查看 monitor 節點是否建立成功:
出現如下提示,啓動成功:
[root@node1 ~]# ceph -s
cluster a500528d-fc02-464e-b944-bddacbb5c3d1
health HEALTH_ERR 192 pgs stuck inactive; 192 pgs stuck unclean; no osds
monmap e1: 1 mons at {node1=192.168.100.101:6789/0}, election epoch 2,
quorum 0 node1
osdmap e1: 0 osds: 0 up, 0 in
pgmap v2: 192 pgs, 3 pools, 0 bytes data, 0 objects
0 kB used, 0 kB / 0 kB avail
192 creating
五、準備 osd 的環境
a) 添加數據盤
爲虛擬機增長一塊磁盤做爲數據盤使用(例如:/dev/sdb)
b)建立數據盤掛載的目錄,掛載磁盤
mkdir -p /var/ceph-data
mkfs -t xfs /dev/sdb
若是提示 mkfs.xfs 命令不存在,可以使用其餘文件系統格式,或者安裝 xfsprogs 步
驟以下:
yum install libuuid-devel(此爲 xfsprofgs 的依賴包)
下載 xfsprogs 的源碼安裝包:
http://download.chinaunix.net/download/0012000/11793.shtml
執行源碼安裝 xfsprogs。
mount /dev/sdb1 /var/ceph-data/
六、配置 osd 節點
在 monitor 節點執行以下命令:
ceph-deploy osd prepare {ceph-node}:/path/to/directory
例如對 osd1,osd2, osd3 三個 osd 節點進行配置:
ceph-deploy osd prepare osd1:/var/ceph-data/ osd2:/var/ceph-data/ osd3:/var/ceph-data/
2學習筆記
七、激活 osd 節點
ceph-deploy osd activate {ceph-node}:/path/to/directory
例如:ceph-deploy osd activate osd1:/var/ceph-data/ osd2:/var/ceph-data/ ......
此過程會建立生成 osd 的 id
若是執行失敗,再從新執行之前在 monitor 節點執行 ceph osd tree 操做,查看是否
建立了對於的 osd,若是存在,則應該執行如下步驟刪除該記錄。
如刪除 osd.0:
ceph auth del osd.0
ceph osd rm 0
八、啓動 osd 進程
在各個 osd 節點上執行:
/usr/bin/ceph start {osd.x}
例如:/usr/bin/ceph start osd.1
osd 添加成功
[root@node1 ~]# ceph osd stat
osdmap e41: 1 osds: 1 up, 1 in
九、同步配置文件和 key 認證文件到各個節點
ceph-deploy admin {admin-node} {ceph-node}
例如:ceph-deploy admin admin-node node1 node2 node3
十、檢查集羣的健康狀態
ceph health
若是返回 active + clean,則表明集羣建立成功。
備註:其餘問題還須要再查證。