一、ceph-deploy之部署ceph集羣

 

環境說明

server：3臺虛擬機，掛載卷/dev/vdb 10G

系統：centos7.2

ceph版本：luminous

repo：

• 公網-http://download.ceph.com，http://mirrors.aliyun.com
• 內網-自建mirrors

 

架構說明

node1：admin-node，mon，mgr，osd

node2：osd

node3：osd

 

準備工做

一、安裝centos、epel repo

使用阿里雲mirros， https://opsx.alibaba.com/mirror

1. mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
2. curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
4. mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup
5. mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel-testing.repo.backup
6. curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

二、安裝ceph repo

1. yum install centos-release-ceph-luminous -y

三、安裝ceph-deploy

1. yum update -y
2. yum installl ceph-deploy -y

四、安裝、配置ntp

1. yum install ntp ntpdate ntp-doc -y

五、安裝ssh（系統自帶請忽略或升級）

確認全部節點的ssh server 運行

1. yum install openssh-server -y

六、用戶設置

咱們使用root用戶，雖然官方不推薦這樣

配置管理節點到其餘server免密登陸

1. #生成祕鑰對
2. ssh-keygen
3. #將管理節點公鑰注入到其餘server
4. ssh-copy-id SERVER-

七、確保networking 啓動

八、配置hosts

將ip hostname 寫入/etc/hosts

九、關閉iptables

十、關閉selinux

十一、安裝 yum - plugin - priorities

1. yum install yum-plugin-priorities -y

 

部署集羣

1. #在管理節點使用ceph-deploy部署ceph cluster
3. #建立部署目錄
4. mkdir ~/my-cluster
5. cd ~/my-cluster
7. #從頭開始（非第一次部署ceph，清理環境）
8. ceph-deploy purge {ceph-node}[{ceph-node}]
9. ceph-deploy purgedata {ceph-node}[{ceph-node}]
10. ceph-deploy forgetkeys
11. rm ceph.*
13. ##建立集羣
14. #建立monitor節點
15. #例如:ceph-deploy new {initial-monitor-node(s)}
16. ceph-deploy new node1
18. #安裝ceph包到各個節點
19. ceph-deploy install node1 node2 node3
21. #初始化monitor節點，獲取keys
22. ceph-deploy mon create-initial
23. #上述命令執行成功後，你會在當前目錄下獲得如下keyring文件
24. ceph.client.admin.keyring
25. ceph.bootstrap-mgr.keyring
26. ceph.bootstrap-osd.keyring
27. ceph.bootstrap-mds.keyring
28. ceph.bootstrap-rgw.keyring
29. ceph.bootstrap-rbd.keyring
31. #將keyring文件分發到各個節點
32. ceph-deploy admin node1 node2 node3
34. #部署manager（l版本之上才須要）
35. ceph-deploy mgr create node1
37. #部署osd節點（這裏使用虛擬機，掛載了/dev/vdb卷）
38. ceph-deploy osd create node1:/dev/vdb node2:/dev/vdb node3:/dev/vdb
40. #檢查集羣，在管理節點執行
41. ceph health
42. ceph -s

擴展集羣

node1 擴展了metadata，（rgw）

node2 擴展了 metadata， monitor

node3 擴展了 metadata， monitor

1. #添加metadate server
2. ceph-deploy mds create node1
4. #添加monitors
5. ceph-deploy mon add node2 node3
6. #添加新的monitor節點以後，ceph會同步monitor，選舉表明quorum
7. #查看quorum狀態
8. ceph quorum_status --format json-pretty
10. #添加managers
11. #manager使用active/standby模式，多節點部署，能夠在master down時，無縫頂替
12. ceph-deploy mgr create node2 node3
14. #添加rgw實例
15. #爲了使用ceph object gateway，須要部署rgw實例
16. ceph-deploy rgw create node1
17. #rgw默認監聽端口是7480，能夠經過編輯ceph.conf修改端口
18. [client]
19. rgw frontends = civetweb port=80

存儲、檢索對象數據

爲了存儲對象數據，ceph client須要具有：

1.設置一個對象名

2.指定一個pool

ceph client 檢索最近的集羣map和CRUSH算法去計算怎樣映射對象到PG， 而後計算如何動態映射PG到OSD，

只須要對象name和pool name 便可找到對象的位置。

1. ceph osd map {poolname}{object-name}

練習：定位對象

1. #建立一個對象，測試文件
2. echo {Test-data}> testfiles.txt
3. ceph osd pool create mytest 8
4. #使用rados put 命令指定對象名，含有對象數據的測試文件，pool name
5. #rados put {object-name} {file-path} --pool=mytest
6. rados put test-object-1 testfile.txt --pool=mytest
8. #驗證ceph集羣已經存儲了此object
9. rados -p mytest ls
11. #找到對象位置
12. #ceph osd map {pool-name} {object-name}
13. ceph osd map mytest test-oobject-1
14. #ceph會輸出對象位置
15. osdmap e537 pool 'mytest'(1) object 'test-object-1'-> pg 1.d1743484(1.4)-> up [1,0] acting [1,0]
17. #刪除測試對象object
18. rados rm test-object-1--pool-mytest
20. #刪除mytest pool
21. ceph osd pool rm mytest

隨着集羣的發展，對象位置可能會動態變化。

Ceph的動態從新平衡的一個好處是，Ceph可讓您沒必要手動執行數據遷移或平衡。

 

tip：若是虛擬機沒有硬盤，可以使用裸設備模擬

1. #安裝lvm
2. yum install lvm2 -y
4. #建立虛擬磁盤
5. mkdir /ceph && dd if=/dev/zero of=/ceph/ceph-volumes.img bs=1M count=10240 oflag=direct
6. sgdisk -g --clear /ceph/ceph-volumes.img
7. vgcreate ceph-volumes $(losetup --show -f /ceph/ceph-volumes.img)
8. lvcreate -L 9G -n ceph1 ceph-volumes
9. mkfs.xfs -f /dev/ceph-volumes/ceph1
10.  
11. #掛載
12. mkdir -p /var/local/osd1
13. chown ceph:ceph /var/local/osd1 #修改屬主屬組，否則在添加osd時候會報權限錯誤
14. mount /dev/ceph-volumes/ceph1 /var/local/osd1