Ceph RBD CephFS 存儲

Ceph RBD  CephFS 存儲

環境準備： (這裏只作基礎測試, ceph-manager , ceph-mon, ceph-osd 一共三臺)

10.6.0.140 = ceph-manager

10.6.0.187 = ceph-mon-1

10.6.0.188 = ceph-osd-1

10.6.0.94 = node-94

 

注： ceph 對時間要求很嚴格， 必定要同步全部的服務器時間

1、在 manager 上面修改 /etc/hosts :

10.6.0.187 ceph-mon-1
10.6.0.188 ceph-osd-1
10.6.0.94 node-94

2、並修改各服務器上面的 hostname (說明：ceph-deploy工具都是經過主機名與其餘節點通訊)

hostnamectl --static set-hostname ceph-manager
hostnamectl --static set-hostname ceph-mon-1
hostnamectl --static set-hostname ceph-osd-1
hostnamectl --static set-hostname node-94

3、配置manager節點與其餘節點ssh key 訪問

[root@ceph-manager ~]# ssh-keygen

將key 發送到各節點中

[root@ceph-manager ~]#ssh-copy-id ceph-mon-1
[root@ceph-manager ~]#ssh-copy-id ceph-osd-1

4、在manager節點安裝 ceph-deploy

[root@ceph-manager ~]#yum -y install centos-release-ceph
[root@ceph-manager ~]#yum makecache
[root@ceph-manager ~]#yum -y install ceph-deploy ntpdate

在其餘各節點安裝 ceph 的yum源

[root@ceph-mon-1 ~]# yum -y install centos-release-ceph
[root@ceph-mon-1 ~]# yum makecache

[root@ceph-osd-1 ~]# yum -y install centos-release-ceph
[root@ceph-osd-1 ~]# yum makecache

5、配置ceph集羣

建立ceph 目錄
[root@ceph-manager ~]#mkdir -p /etc/ceph
[root@ceph-manager ~]#cd /etc/ceph

建立監控節點：
[root@ceph-manager /etc/ceph]#ceph-deploy new ceph-mon-1

執行完畢會生成 ceph.conf ceph.log ceph.mon.keyring 三個文件

編輯 ceph.conf 增長 osd 節點數量
在最後增長：
osd pool default size = 1

使用ceph-deploy在全部機器安裝ceph

[root@ceph-manager /etc/ceph]# ceph-deploy install ceph-manager ceph-mon-1 ceph-osd-1

若是出現錯誤，也能夠到各節點中直接 yum -y install ceph ceph-radosgw 進行安裝

初始化監控節點

[root@ceph-manager /etc/ceph]# ceph-deploy mon create-initial

 

osd 節點建立存儲空間

[root@ceph-osd-1 ~]# mkdir -p /opt/osd1

在管理節點上啓動 並 激活 osd 進程

[root@ceph-manager ~]# ceph-deploy osd prepare ceph-osd-1:/opt/osd1
[root@ceph-manager ~]# ceph-deploy osd activate ceph-osd-1:/opt/osd1

把管理節點的配置文件與keyring同步至其它節點

[root@ceph-manager ~]# ceph-deploy admin ceph-mon-1 ceph-osd-1

查看集羣健康狀態 (HEALTH_OK 表示OK)

[root@ceph-manager ~]# ceph health
HEALTH_OK

 

客戶端 掛載: ceph 有多種掛載方式, rbd 塊設備映射， cephfs 掛載 等

注:
在生產環境中，客戶端應該對應pool的權限，而不是admin 權限

[root@ceph-manager ~]# ssh-copy-id node-94

客戶端安裝ceph
[root@ceph-manager ~]# ceph-deploy install node-94

或者 登錄 node-94 執行 yum -y install ceph ceph-radosgw

若是ssh 非22端口，會報錯 可以使用 scp 傳

scp -P端口 ceph.conf node-94:/etc/ceph/
scp -P端口 ceph.client.admin.keyring node-94:/etc/ceph/

建立一個pool
[root@ceph-manager ~]# ceph osd pool create press 100
pool 'press' created

設置pool 的pgp_num
[root@ceph-manager ~]# ceph osd pool set press pgp_num 100

查看建立的pool
[root@ceph-manager ~]# ceph osd lspools
0 rbd,1 press,

設置副本數爲2 (osd 必需要大於或者等於副本數，不然報錯, 千萬注意)
[root@ceph-manager ~]# ceph osd pool set press size 2

建立一個100G 名爲 image 鏡像
[root@ceph-manager ~]# rbd create -p press --size 100000 image

查看一下鏡像:
[root@ceph-manager ~]# rbd -p press info image
rbd image 'image':
size 100000 MB in 25000 objects
order 22 (4096 kB objects)
block_name_prefix: rb.0.104b.74b0dc51
format: 1

 

客戶端塊存儲掛載：
在node-94 上面 map 鏡像
[root@node-94 ~]# rbd -p press map image
/dev/rbd0

格式化 image
[root@node-94 ~]# mkfs.xfs /dev/rbd0

建立掛載目錄
[root@node-94 ~]# mkdir /opt/rbd

掛載 rbd
[root@node-94 ~]# mount /dev/rbd0 /opt/rbd

[root@node-94 ~]# time dd if=/dev/zero of=haha bs=1M count=1000

 

取消 map 鏡像
[root@node-94 ~]# umount /opt/rbd
[root@node-94 ~]# rbd unmap /dev/rbd0

 

 

 

客戶端 cephFS 文件系統 (cephFS 必需要有2個osd 才能運行，請注意)：

使用 cephFS 集羣中必須有 mds 服務

建立 mds 服務 (因爲機器有限就在 mon 的服務器上面 建立 mds 服務)
[root@ceph-manager ~]# ceph-deploy mds create ceph-mon-1

 

建立2個pool 作爲文件系統的data 與 metadata

[root@ceph-manager ~]# ceph osd pool create cephfs_data 99
pool 'cephfs_data' created

[root@ceph-manager ~]# ceph osd pool create cephfs_metadata 99
pool 'cephfs_metadata' created

建立 文件系統：
[root@ceph-manager ~]# ceph fs new jicki cephfs_metadata cephfs_data
new fs with metadata pool 6 and data pool 5

查看全部文件系統：
[root@ceph-manager ~]# ceph fs ls
name: jicki, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

刪除一個文件系統
[root@ceph-manager ~]# ceph fs rm jicki --yes-i-really-mean-it

 

客戶端掛載 cephFS

安裝 ceph-fuse：
[root@node-94 ~]# yum install ceph-fuse -y

建立掛載目錄:
[root@node-94 ~]# mkdir -p /opt/jicki
[root@node-94 ~]# ceph-fuse /opt/jicki
[root@node-94 ~]# df -h|grep ceph
ceph-fuse 1.6T 25G 1.6T 2% /opt/jicki

 

 

基於 docker ceph-rbd-volume-plugin

 

 

 

 

 

 

 

 

 

6、ceph 相關命令：

1、manager 篇

查看實時的運行狀態信息：
[root@ceph-manager ~]# ceph -w

查看狀態信息：
[root@ceph-manager ~]# ceph -s

查看存儲空間：
[root@ceph-manager ~]# ceph df

刪除某個節點的全部的ceph數據包：
[root@ceph-manager ~]# ceph-deploy purge ceph-mon-1
[root@ceph-manager ~]# ceph-deploy purgedata ceph-mon-1

爲ceph建立一個admin用戶併爲admin用戶建立一個密鑰，把密鑰保存到/etc/ceph目錄下：
[root@ceph-manager ~]# ceph auth get-or-create client.admin mds 'allow' osd 'allow *' mon 'allow *' -o /etc/ceph/ceph.client.admin.keyring

爲osd.ceph-osd-1建立一個用戶並建立一個key
[root@ceph-manager ~]# ceph auth get-or-create osd.ceph-osd-1 mon 'allow rwx' osd 'allow *' -o /etc/ceph/keyring

爲mds.ceph-mon-1建立一個用戶並建立一個key
[root@ceph-manager ~]# ceph auth get-or-create mds.ceph-mon-1 mon 'allow rwx' osd 'allow *' mds 'allow *' -o /etc/ceph/keyring

查看ceph集羣中的認證用戶及相關的key
[root@ceph-manager ~]# ceph auth list

刪除集羣中的一個認證用戶
[root@ceph-manager ~]# ceph auth del osd.0

查看集羣健康狀態詳細信息
[root@ceph-manager ~]# ceph health detail

查看ceph log日誌所在的目錄
[root@ceph-manager ~]# ceph-conf --name mds.ceph-manager --show-config-value log_file

 

2、mon 篇

查看mon的狀態信息
[root@ceph-manager ~]# ceph mon stat

查看mon的選舉狀態
[root@ceph-manager ~]# ceph quorum_status --format json-pretty

看mon的映射信息
[root@ceph-manager ~]# ceph mon dump

 

刪除一個mon節點
[root@ceph-manager ~]# ceph mon remove ceph-mon-1

得到一個正在運行的mon map，並保存在mon-1-map.txt文件中
[root@ceph-manager ~]# ceph mon getmap -o mon-1-map.txt

查看mon-1-map.txt
[root@ceph-manager ~]# monmaptool --print mon-1-map.txt

把上面的mon map注入新加入的節點
[root@ceph-manager ~]# ceph-mon -i ceph-mon-3 --inject-monmap mon-1-map.txt

查看mon的socket
[root@ceph-manager ~]# ceph-conf --name mon.ceph-mon-1 --show-config-value admin_socket

查看mon的詳細狀態
[root@ceph-mon-1 ~]# ceph daemon mon.ceph-mon-1 mon_status

刪除一個mon節點
[root@ceph-manager ~]# ceph mon remove ceph-mon-1

3、msd 篇

查看msd狀態
[root@ceph-manager ~]# ceph mds dump

刪除一個mds節點
[root@ceph-manager ~]# ceph mds rm 0 mds.ceph-mds-1

 

 

4、osd 篇

查看ceph osd運行狀態
[root@ceph-manager ~]# ceph osd stat

查看osd映射信息
[root@ceph-manager ~]# ceph osd stat

查看osd的目錄樹
[root@ceph-manager ~]# ceph osd tree

down掉一個osd硬盤 (ceph osd tree 可查看osd 的硬盤信息，下面爲down osd.0 節點)
[root@ceph-manager ~]# ceph osd down 0

在集羣中刪除一個osd硬盤
[root@ceph-manager ~]# ceph osd rm 0

在集羣中刪除一個osd 硬盤 並 crush map 清除map信息
[root@ceph-manager ~]# ceph osd crush rm osd.0

在集羣中刪除一個osd的host節點
[root@ceph-manager ~]# ceph osd crush rm ceph-osd-1

查看最大osd的個數
[root@ceph-manager ~]# ceph osd getmaxosd

設置最大的osd的個數（當擴大osd節點的時候必須擴大這個值）
[root@ceph-manager ~]# ceph osd setmaxosd 10

設置osd crush的權重 ceph osd crush set <ID> <WEIGHT> <NAME> ID WEIGHT NAME 使用 ceph osd tree 查看
[root@ceph-manager ~]# ceph osd crush set 1 3.0 host=ceph-osd-1

設置osd 的權重 ceph osd reweight <ID> <REWEIGHT>
[root@ceph-manager ~]# ceph osd reweight 1 0.5

把一個osd節點踢出集羣
[root@ceph-manager ~]# ceph osd out osd.1

把踢出的osd從新加入集羣
[root@ceph-manager ~]# ceph osd in osd.1

暫停osd （暫停後整個集羣再也不接收數據）
[root@ceph-manager ~]# ceph osd pause

 

再次開啓osd （開啓後再次接收數據）
[root@ceph-manager ~]# ceph osd unpause

 

5、 PG 篇

查看pg組的映射信息
[root@ceph-manager ~]# ceph pg dump |more

 

查看一個PG的map
[root@ceph-manager ~]# ceph pg map 0.3f

查看PG狀態
[root@ceph-manager ~]# ceph pg stat

查詢一個pg的詳細信息
[root@ceph-manager ~]# ceph pg 0.39 query

 

查看pg中stuck的狀態 (若有非正常pg會顯示)
[root@ceph-manager ~]# ceph pg dump_stuck unclean
[root@ceph-manager ~]# ceph pg dump_stuck inactive
[root@ceph-manager ~]# ceph pg dump_stuck stale

 

顯示一個集羣中的全部的pg統計
[root@ceph-manager ~]# ceph pg dump --format plain|more

 

恢復一個丟失的pg (og-id 爲丟失的pg, 使用ceph pg dump_stuck inactive|unclean|stale 查找)
[root@ceph-manager ~]# ceph pg {pg-id} mark_unfound_lost revert

 

6、pool 篇

查看ceph集羣中的pool數量
[root@ceph-manager ~]# ceph osd lspools

查看 PG組 號碼：
[root@ceph-manager ~]# ceph osd pool get rbd pg_num

在ceph集羣中建立一個pool
[root@ceph-manager ~]# ceph osd pool create test 100 (名稱爲 test, 100爲PG組號碼)

爲一個ceph pool配置配額
[root@ceph-manager ~]# ceph osd pool set-quota test max_objects 10000

顯示全部的pool
[root@ceph-manager ~]# ceph osd pool ls

在集羣中刪除一個pool
[root@ceph-manager ~]# ceph osd pool delete test test --yes-i-really-really-mean-it

 

顯示集羣中pool的詳細信息
[root@ceph-manager ~]# rados df

給一個pool建立一個快照
[root@ceph-manager ~]# ceph osd pool mksnap test test-snap

刪除pool的快照
[root@ceph-manager ~]# ceph osd pool rmsnap test test-snap

查看data池的pg數量
[root@ceph-manager ~]# ceph osd pool get test pg_num

設置data池的最大存儲空間（默認是1T, 1T = 1000000000000, 以下爲100T)
[root@ceph-manager ~]# ceph osd pool set test target_max_bytes 100000000000000

設置data池的副本數
[root@ceph-manager ~]# ceph osd pool set test size 3

設置data池能接受寫操做的最小副本爲2
[root@ceph-manager ~]# ceph osd pool set test min_size 2

 

查看集羣中全部pool的副本尺寸
[root@ceph-manager ~]# ceph osd dump | grep 'replicated size'

設置一個pool的pg數量
[root@ceph-manager ~]# ceph osd pool set test pg_num 100

設置一個pool的pgp數量
[root@ceph-manager ~]# ceph osd pool set test pgp_num 100

查看ceph pool中的ceph object (volumes 爲pool名稱)（這裏的object是以塊形式存儲的）
[root@ceph-manager ~]# rados ls -p volumes | more

建立一個對象object
[root@ceph-manager ~]# rados create test-object -p test

 

查看object
[root@ceph-manager ~]# rados -p test ls

刪除一個對象
[root@ceph-manager ~]# rados rm test-object -p test

查看ceph中一個pool裏的全部鏡像 (volumes 爲pool名稱)
[root@ceph-manager ~]# rbd ls volumes

 

在test池中建立一個命名爲images的1000M的鏡像
[root@ceph-manager ~]# rbd create -p test --size 1000 images
查看剛建立的鏡像信息
[root@ceph-manager ~]# rbd -p test info images

 

刪除一個鏡像
[root@ceph-manager ~]# rbd rm -p test images

調整一個鏡像的尺寸
[root@ceph-manager ~]# rbd resize -p test --size 2000 images

給鏡像建立一個快照 (池/鏡像名@快照名)
[root@ceph-manager ~]# rbd snap create test/images@images1

刪除一個鏡像文件的一個快照
[root@ceph-manager ~]# rbd snap rm 快照池/快照鏡像文件@具體快照

 

若是刪除快照提示保護，須要先刪除保護
[root@ceph-manager ~]# rbd snap unprotect 快照池/快照鏡像文件@具體快照

刪除一個鏡像文件的全部快照
[root@ceph-manager ~]# rbd snap purge -p 快照池/快照鏡像文件

把ceph pool中的一個鏡像導出[root@ceph-manager ~]# rbd export -p images --image <具體鏡像id> /tmp/images.img