centos7 安裝配置ceph

前期準備:

規劃：8臺機器
IP               hostname         role

192.168.2.20     mon              mon.mon
192.168.2.21     osd1             osd.0,mon.osd1
192.168.2.22     osd2             osd.1,mds.b(standby)
192.168.2.23     osd3             osd.2
192.168.2.24     osd4             osd.3
192.168.2.27     client           mds.a,mon.client
192.168.2.28     osd5             osd.4
192.168.2.29     osd6             osd.5 

關閉 SELINUX
[root@admin ceph]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@admin ceph]# setenforce 0

打開 Ceph 須要的端口
[root@admin ceph]# firewall-cmd --zone=public --add-port=6789/tcp --permanent
[root@admin ceph]# firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent
[root@admin ceph]# firewall-cmd --reload

安裝 ntp 同步時間
[root@admin ceph]# yum -y install ntp ntpdate ntp-doc
[root@admin ceph]# ntpdate 0.us.pool.ntp.org
[root@admin ceph]# hwclock --systohc
[root@admin ceph]# systemctl enable ntpd.service
[root@admin ceph]# systemctl start ntpd.service

ssh無密碼訪問：
[root@admin ceph]#ssh-keygen
[root@admin ceph]#ssh-copy-id {username}@node1

安裝：
安裝ceph（須要在每一個節點上面作）

前面要安裝依賴包，大概20個左右，也能夠邊作邊裝（比較麻煩，不推薦）

[root@admin ceph]#yum install -y make automake autoconf  boost-devel fuse-devel gcc-c++ libtool libuuid-devel  libblkid-devel  keyutils-libs-devel  cryptopp-devel  fcgi-devel  libcurl-devel expat-devel gperftools-devel                                   libedit-devel libatomic_ops-devel snappy-devel leveldb-devel libaio-devel xfsprogs-devel git libudev-devel btrfs-progs

使用yum 安裝ceph,要配置yum源，配置方式參考官網，http://ceph.com/docs/master/install/get-packages/
[root@admin ceph]#yum install -y ceph-deploy ceph

若是安裝不了，能夠直接去ceph官網下載要安裝的ceph版本，而後手動安裝

集羣配置（手動，不推薦）

mon安裝：

1.給集羣分配唯一 ID （即 fsid ）
[root@admin ceph]# uuidgen
d437c823-9d58-43dc-b586-6b36cf286d4f

2.建立 Ceph 配置文件， Ceph 默認使用 ceph.conf ，其中的 ceph 是集羣名字。
[root@admin ceph]#sudo vi /etc/ceph/ceph.conf
將上面建立的fsid放到ceph.conf
fsid = d437c823-9d58-43dc-b586-6b36cf286d4f

3.把初始監視器及初始監視器的 IP 地址寫入 Ceph 配置文件，多個用逗號隔開
mon initial members =mon
mon host =192.168.2.20

4.爲此集羣建立密鑰環、並生成監視器密鑰。
[root@admin ceph]#ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

5.生成管理員密鑰環，生成 client.admin 用戶並加入密鑰環。
[root@admin ceph]#ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'

6.把 client.admin 密鑰加入 ceph.mon.keyring 。

[root@admin ceph]#ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

7.用規劃好的主機名、對應 IP 地址、和 FSID 生成一個監視器圖，並保存爲 /tmp/monmap
[root@admin ceph]#monmaptool --create --add mon 192.168.2.20 --fsid d437c823-9d58-43dc-b586-6b36cf286d4f /tmp/monmap

8.在監視器主機上分別建立數據目錄
 [root@admin ceph]# mkdir /var/lib/ceph/mon/ceph-mon

9.用監視器圖和密鑰環組裝守護進程所需的初始數據。
[root@admin ceph]#ceph-mon --mkfs -i mon --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

10.修改Ceph 配置文件,目前配置應包括這些
[global]
fsid = d437c823-9d58-43dc-b586-6b36cf286d4f
mon initial members = mon
mon host = 192.168.2.20
public network = 192.168.2.0/24
cluster network = 192.168.2.0/24
auth_cluster_required = cephx
auth_service _equired = cephx
auth_client_required = cephx
auth supported = none
osd journal size = 1024
#filestore xattr use omap = true
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1

[mon]
mon data = /var/lib/ceph/mon/$name

[mon.mon]

host=admin
mon addr=192.168.2.20:6789

11.建一個空文件 done ，表示監視器已建立、能夠啓動了：
 [root@admin ceph]#touch /var/lib/ceph/mon/ceph-mon/done

12.啓動監視器
[root@admin ceph]#/etc/init.d/ceph start mon.mon

13.查看狀態
[root@admin ceph]# ceph -s

 

添加MON

一臺主機上只能有一個mon，如今在其餘節點中添加Mon
1.在新監視器主機上建立默認目錄：
[root@client ceph]# mkdir /var/lib/ceph/mon/ceph-{mon-id}
如：mkdir /var/lib/ceph/mon/ceph-osd1

2.獲取監視器密鑰環。
[root@client ceph]# ceph auth get mon. -o /tmp/ceph.mon.keyring
若是這一步作不成功，能夠直接複製其餘mon節點上的到相應目錄。

3.獲取監視器運行圖
[root@client ceph]# ceph mon getmap -o /tmp/ceph.mon.map

4.準備第一步建立的監視器數據目錄。必須指定監視器運行圖路徑，這樣才能得到監視器法定人數和它們 fsid 的信息；還要指定監視器密鑰環路徑。
[root@client ceph]# ceph-mon -i {mon-id} --mkfs --monmap /tmp/ceph.mon.map --keyring /tmp/ceph.mon.keyring
如：[root@client ceph]# ceph-mon -i osd1 --mkfs --monmap /tmp/ceph.mon.map --keyring /tmp/ceph.mon.keyring

5.把新監視器添加到集羣的監視器列表裏（運行時），這容許其它節點開始啓動時使用這個節點
[root@client ceph]# ceph mon add <mon-id> <ip>[:<port>]
如：[root@client ceph]#ceph mon add osd1 192.168.2.21:6789

6.啓動新監視器，它會自動加入機器。守護進程需知道綁定到哪一個地址，經過 --public-addr {ip:port} 或在 ceph.conf 裏的相應段設置 mon addr 能夠指定。
[root@client ceph]#ceph-mon -i {mon-id} --public-addr {ip:port}
如：[root@client ceph]#ceph-mon -i osd1 --public-addr 192.168.2.21:6789

刪除mon:

[root@client ceph]#ceph mon remove node1

 

 

添加OSD
1.修改mon節點/etc/ceph/ceph.conf文件，以下所示：

[global]
fsid = d437c823-9d58-43dc-b586-6b36cf286d4f
mon initial members =mon
mon host =192.168.2.20
public network = 192.168.2.0/24
cluster network = 192.168.2.0/24
auth_cluster_required = cephx
auth_service _equired = cephx
auth_client_required = cephx
auth supported = none
osd journal size = 1024
#filestore xattr use omap = true
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1

[mon]
mon data = /data/mon/$name

[mon.mon]

host=mon
mon addr=192.168.2.20:6789

[osd]
osd journal size = 1024
osd journal = /data/$name/journal
osd data = /data/$name

[osd.0]
host = osd1
devs = /dev/sda2

[osd.1]
host = osd2
devs = /dev/sda2

[osd.2]
host = osd3
devs = /dev/sda2

並複製到要建立osd的節點/etc/ceph目錄下
[root@client ceph]#scp /etc/ceph/ceph.conf root@osd1:/etc/ceph/ceph.conf
[root@client ceph]#scp /etc/ceph/ceph.conf root@osd2:/etc/ceph/ceph.conf
[root@client ceph]#scp /etc/ceph/ceph.conf root@osd3:/etc/ceph/ceph.conf
[root@client ceph]#scp /etc/ceph/ceph.conf root@client:/etc/ceph/ceph.conf

2.分別在osd節點上面建立數據目錄並掛載

[root@osd1 ~]#mkdir /data/osd.0
[root@osd1 ~]#mount /dev/sda2 /data/osd.0
文件系統使用xfs的，具體如何分區參考其餘資料。

3.建立 OSD 。若是沒有指定 UUID ，將會在 OSD 首次啓動時分配一個。下列命令執行完成後將輸出 OSD 號，在後續步驟裏還會用到這個號。
[root@osd1 ~]#uuidgen
8c907505-be2b-49ce-b30e-587d992fceec
[root@osd1 ~]#ceph osd create 8c907505-be2b-49ce-b30e-587d992fceec

4.初始化 OSD 數據目錄
[root@osd1 ~]#ceph-osd -i 0 --mkfs --mkkey --osd-uuid 8c907505-be2b-49ce-b30e-587d992fceec

5.註冊此 OSD 的密鑰。
[root@osd1 ~]#ceph auth add osd.0 osd 'allow *' mon 'allow profile osd' -i /data/osd.0/keyring

6.把此節點加入 CRUSH 圖。
[root@osd1 ~]#ceph osd crush add-bucket osd1 host

7.把此 Ceph 節點放入 default 根下。
[root@osd1 ~]#ceph osd crush move osd1 root=default

8.把此 OSD 加入 CRUSH 圖以後，它就能接收數據了。
[root@osd1 ~]#ceph osd crush add osd.0 1.0 host=osd1

9.啓動osd
[root@osd1 ~]#ceph-osd -i 0

10.查看狀態，三個osd都添加成功以後，下面會顯示以下內容
[root@osd3 osd.1]# ceph -s
    cluster d437c823-9d58-43dc-b586-6b36cf286d4f
     health HEALTH_OK
     monmap e1: 1 mons at {mon=192.168.2.20:6789/0}, election epoch 2, quorum 0 mon
     osdmap e22: 3 osds: 3 up, 3 in
      pgmap v58: 192 pgs, 3 pools, 0 bytes data, 0 objects
            3175 MB used, 5550 GB / 5553 GB avail
                 192 active+clean

若是在添加osd時遇到Error EINVAL: entity osd.0 exists but key does not match錯誤，執行：
[root@osd1 ~]#  ceph auth del osd.0
再從新裝

刪除osd

1.down掉一個osd硬盤
[root@node1 ~]# ceph osd down 0
#down掉osd.0節點

2. 在集羣中刪除一個osd硬盤
[root@node4 ~]# ceph osd rm 0
removed osd.0

3. 在集羣中刪除一個osd 硬盤 crush map
[root@node1 ~]# ceph osd crush rm osd.0

4. 在集羣中刪除一個osd的host節點
[root@node1 ~]# ceph osd crush rm node1
removed item id -2 name 'node1' from crush map
5. ceph osd tree 檢測

 

添加MDS服務器及client配置

添加MDS服務器
方法1：
1.在mon節點/etc/ceph/ceph.conf中添加mds配置，並複製到其餘節點。
[root@client ceph]# vi ceph.conf
[mds.0]
host=client

[root@client ceph]#scp /etc/ceph/ceph.conf root@osd1:/etc/ceph/ceph.conf
[root@client ceph]#scp /etc/ceph/ceph.conf root@osd2:/etc/ceph/ceph.conf
[root@client ceph]#scp /etc/ceph/ceph.conf root@osd3:/etc/ceph/ceph.conf
[root@client ceph]#scp /etc/ceph/ceph.conf root@client:/etc/ceph/ceph.conf

2.爲mds元數據服務器建立一個目錄
[root@client ceph]#mkdir -p /var/lib/ceph/mds/ceph-a

3.爲bootstrap-mds客戶端建立一個密鑰
[root@client ceph]#ceph-authtool --create-keyring /var/lib/ceph/bootstrap-mds/ceph.keyring --gen-key -n client.bootstrap-mds

4. 在ceph auth庫中建立bootstrap-mds客戶端，賦予權限添加以前建立的密鑰
[root@client ceph]#ceph auth add client.bootstrap-mds mon 'allow profile bootstrap-mds' -i /var/lib/ceph/bootstrap-mds/ceph.keyring

5. 在ceph auth庫中建立mds.0用戶，並賦予權限和建立密鑰，密鑰保存在/var/lib/ceph/mds/ceph-0/keyring文件裏
[root@client ceph]#ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.a osd 'allow rwx' mds 'allow' mon 'allow profile mds' -o /var/lib/ceph/mds/ceph-a/keyring

6.啓動mds服務進程
[root@client ceph]#ceph-mds -i a
或[root@client ceph]# service ceph start mds.a

7.查看集羣狀態
[root@client ceph]# ceph -s
    cluster d437c823-9d58-43dc-b586-6b36cf286d4f
     health HEALTH_OK
     monmap e1: 1 mons at {mon=192.168.2.20:6789/0}, election epoch 2, quorum 0 mon
     mdsmap e4: 1/1/1 up {0=0=up:active}
     osdmap e22: 3 osds: 3 up, 3 in
      pgmap v60: 192 pgs, 3 pools, 1884 bytes data, 20 objects
            3175 MB used, 5550 GB / 5553 GB avail
                 192 active+clean
  client io 2 B/s wr, 0 op/s

 

方法2：
或直接執行
[root@client ceph]#ceph-mds -i client -n mds.0 -c /etc/ceph/ceph.conf -m 192.168.2.20:6789

[root@client ceph]#ceph mds stat

 

8.客戶端掛載cephfs（須要mds服務）
客戶端要首先安裝ceph-fuse包
[root@client ceph]# yum install ceph-fuse –y
建立目錄
[root@client ceph]# mkdir /data/mycephfs
掛載
[root@client ceph]# ceph-fuse -m 192.168.2.20:6789 /data/mycephfs
查看
[root@client ceph]# df -h
文件系統        容量  已用  可用 已用% 掛載點
devtmpfs        940M     0  940M    0% /dev
tmpfs           948M     0  948M    0% /dev/shm
tmpfs           948M  8.5M  940M    1% /run
tmpfs           948M     0  948M    0% /sys/fs/cgroup
/dev/sda3       7.8G  1.7G  5.8G   22% /
/dev/sda1      1022M  9.8M 1013M    1% /boot/efi
/dev/sda2       1.9T   33M  1.9T    1% /data
ceph-fuse       5.5T  3.2G  5.5T    1% /data/mycephfs

 

rbd方式掛載(不須要mds服務)

1.新建一個ceph pool
ceph osd pool create {pool-name} {pg-num} [{pgp-num}]
如：
[root@client ceph]#ceph osd pool create rbdpool 100 100

2.在pool中新建一個鏡像
[root@client ceph]#rbd create rbdpoolimages --size 1048576 -p rbdpool
或者
[root@client ceph]#rbd create rbdpool/rbdpoolimages --size 102400
大小本身控制

3.列出塊設備在一個特定的池
rbd ls {POOLNAME}
[root@client ceph]#rbd ls rbdpool

4.查詢一個池內的鏡像信息
rbd --image {image-name} -p {pool-name} info
如：
[root@client ceph]#rbd --image rbdpoolimages -p rbdpool info

5.把鏡像映射到pool塊設備中
[root@client ceph]#rbd map rbdpoolimages -p rbdpool   

（若是要取消映射塊設備使用命令：rbd unmap /dev/rbd1）

6.查看鏡像映射map
[root@client ceph]#rbd showmapped

7.格式化映射的設備塊
[root@client ceph]#mkfs.xfs /dev/rbd1

8.掛載新建的分區
[root@client ceph]#mkdir  /data/rbddir
[root@client ceph]#mount /dev/rbd1 /data/rbddir

9.修改/etc/fstab文件，將掛載信息添加進去。
/dev/rbd1   /data/rbddir1  xfs    defaults      0 0

10.查看
[root@client ceph]#df -Th

 

 

對象文件上傳方式（這種方式使用不是很方便，不建議使用）

1：建立一個pool
#rados mkpool

2：上傳rados put {object-name} {file-path} --pool=putdir

示例

  rados put zabbix_client_install.tar.gz ./zabbix_client_install.tar.gz --pool=putdir

3：查看上傳內容：

 rados -p putdir ls

zabbix_client_install.tar.gz

4：下載對象文件

下載 rados get {object-name} {file-path} --pool=putdir

rados get zabbix_client_install.tar.gz  /workspace/zabbix_client_install.tar.gz -p putdir