Ceph RBD 部署與管理
RBD 介紹
RBD塊存儲是ceph提供的3種存儲類型中使用最普遍，最穩定的存儲類型。RBD塊相似於磁盤，能夠掛載到物理機或虛擬機中，一般的掛載方式有兩種:node
- Kernel模塊（KRBD）
- 利用QEMU模擬器經過LIBRBD方式
塊是一個有序字節，普通的一個塊大小爲512字節。基於塊存儲是最多見的方式，常見的硬盤、軟盤和CD光驅等都是存儲數據最簡單快捷的設備。linux
在物理機上提供塊設備時，使用的是Kernel的RBD模塊，基於內核模塊驅動時，可使用Linux自帶的頁緩存（Page Caching）來提升性能。
當在虛擬機（好比QUEM/KVM）提供塊設備時，一般是使用LIBVIRT調用librbd庫的方式提供塊設備。docker
部署RBD
在部署以前，須要檢查內核版本，看是否支持RBD，建議升級到4.5以上版本內核緩存
[root@local-node-1 ~]# uname -r 4.4.174-1.el7.elrepo.x86_64 [root@local-node-1 ~]# modprobe rbd
一. 初始化集羣
- 在部署RBD以前，須要先部署一個Ceph 集羣，集羣狀態以下：
[root@local-node-1 ~]# ceph -s
cluster:
id: 7bd25f8d-b76f-4ff9-89ec-186287bbeaa5
health: HEALTH_OK
services:
mon: 2 daemons, quorum local-node-2,local-node-3
mgr: ceph-mgr(active)
osd: 9 osds: 9 up, 9 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 9.2 GiB used, 81 GiB / 90 GiB avail
pgs:
[root@local-node-1 ~]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.08817 root default
-3 0.02939 host local-node-1
0 hdd 0.00980 osd.0 up 1.00000 1.00000
1 hdd 0.00980 osd.1 up 1.00000 1.00000
2 hdd 0.00980 osd.2 up 1.00000 1.00000
-5 0.02939 host local-node-2
3 hdd 0.00980 osd.3 up 1.00000 1.00000
4 hdd 0.00980 osd.4 up 1.00000 1.00000
5 hdd 0.00980 osd.5 up 1.00000 1.00000
-7 0.02939 host local-node-3
6 hdd 0.00980 osd.6 up 1.00000 1.00000
7 hdd 0.00980 osd.7 up 1.00000 1.00000
8 hdd 0.00980 osd.8 up 1.00000 1.00000
- 初始pool
ceph osd pool create ceph_rbd 128 rbd pool init ceph_rbd
- 建立一個塊存儲的用戶：
ceph auth get-or-create client.{ID} mon 'profile rbd' osd 'profile {profile name} [pool={pool-name}][, profile ...]'
EG:
# ceph auth get-or-create client.docker mon 'profile rbd' osd 'profile rbd pool=ceph_rbd, profile rbd-read-only pool=images'
[client.docker]
key = AQDQkK1cpNAKJRAAnaw2ZYeFHsXrsTWX3QonkQ==
- 添加此用戶文件到配置目錄
[root@local-node-1 ~]# cat /etc/ceph/ceph.client.docker.keyring
[client.docker]
key = AQDQkK1cpNAKJRAAnaw2ZYeFHsXrsTWX3QonkQ==
二. 建立塊設備鏡像
- 建立一個指定大小的塊設備鏡像，這裏的size單位爲M。 ==在下面的全部命令中，若是不指定pool默認操做名爲rbd的pool==
rbd create --size {megabytes} {pool-name}/{image-name}
eg:
[root@local-node-1 ~]# rbd create --size 1024 ceph_rbd/docker_image
- 查看建立的鏡像
[root@local-node-1 ~]# rbd ls ceph_rbd docker_image
- 列出rbd池中將要延遲刪除塊設備
[root@local-node-1 ~]# rbd trash ls ceph_rbd
- 檢索鏡像的信息：
[root@local-node-1 ~]# rbd info ceph_rbd/docker_image
rbd image 'docker_image':
size 1 GiB in 256 objects
order 22 (4 MiB objects)
id: 1bedc6b8b4567
block_name_prefix: rbd_data.1bedc6b8b4567
format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
op_features:
flags:
create_timestamp: Wed Apr 10 14:52:48 2019
- 若是有須要，能夠給鏡像擴容或者縮容
# 擴容 [root@local-node-1 ~]# rbd resize --size 2048 ceph_rbd/docker_image Resizing image: 100% complete...done. # 縮容 [root@local-node-1 ~]# rbd resize --size 1024 ceph_rbd/docker_image --allow-shrink Resizing image: 100% complete...done.
Ceph的塊鏡像設備是精簡配置，在建立他們並指定大小時並不會使用物理存儲空間，直到存儲數據。可是它們能夠經過--size指定最大容量的限制。ide
- 刪除塊設備鏡像
rbd rm ceph_rbd/docker_image
- 能夠將暫時不用的鏡像移入trash
# rbd trash mv ceph_rbd/docker_image # rbd trash ls ceph_rbd 1beb76b8b4567 docker_image
- 若是要恢復trash中的鏡像能夠執行以下命令：
rbd trash restore ceph_rbd/1beb76b8b4567 # 此時trash中將不會有數據，原來的鏡像已經恢復 # rbd ls ceph_rbd docker_image
- 若是要在恢復的時候重命名鏡像，執行以下命令：
rbd trash restore ceph_rbd/1beb76b8b4567 --image docker # 將鏡像重命名爲docker
- 刪除trash中的鏡像，須要使用鏡像的ID
rbd trash rm ceph_rbd/1beb76b8b4567
提示：性能
- 即便這個鏡像存在快照，或者它自身某一個克隆正在被使用，均可以將鏡像移入trash,可是不能從trash中刪除。
- 若是想要刪除，可使用-expires-at設置延遲時間（默認爲now），若是延遲時間還沒有到期，則除非使用-force，不然沒法刪除
三. 使用內核模塊映射RBD
- 檢查集羣版本和可調參數版本：
# 在內核版本爲4.5如下的，建議使用hammer，不然會出現沒法映射rbd的狀況
[root@local-node-1 ~]# ceph osd crush show-tunables
{
"choose_local_tries": 0,
"choose_local_fallback_tries": 0,
"choose_total_tries": 50,
"chooseleaf_descend_once": 1,
"chooseleaf_vary_r": 1,
"chooseleaf_stable": 0,
"straw_calc_version": 1,
"allowed_bucket_algs": 54,
"profile": "hammer",
"optimal_tunables": 0,
"legacy_tunables": 0,
"minimum_required_version": "hammer",
"require_feature_tunables": 1,
"require_feature_tunables2": 1,
"has_v2_rules": 0,
"require_feature_tunables3": 1,
"has_v3_rules": 0,
"has_v4_buckets": 1,
"require_feature_tunables5": 0,
"has_v5_rules": 0
}
# 設置版本
[root@local-node-1 ~]# ceph osd crush tunables hammer
- 查看當前存在的鏡像
[root@local-node-1 ~]# rbd list ceph_rbd docker_image
3.在客戶端映射塊設備（須要安裝ceph）測試
[root@local-node-1 ~]# rbd device map ceph_rbd/docker_image --id admin /dev/rbd0
==提示：==
若是在執行映射步驟時出現如下報錯，說明當前內核rbd的一些特性並不支持，須要禁用某些特性：ui
# rbd device map ceph_rbd/docker_image --id admin rbd: sysfs write failed RBD image feature set mismatch. Try disabling features unsupported by the kernel with "rbd feature disable". In some cases useful info is found in syslog - try "dmesg | tail". rbd: map failed: (6) No such device or address
禁用特性：this
# rbd feature disable ceph_rbd/docker_image exclusive-lock, object-map, fast-diff, deep-flatten
- 若是設置了密鑰認證策略，在映射的時候須要指定密鑰，能夠是指定keyring文件，也能夠是單獨保存密鑰的文件：
sudo rbd device map rbd/myimage --id admin --keyring /path/to/keyring sudo rbd device map rbd/myimage --id admin --keyfile /path/to/file eg: #rbd device map ceph_rbd/docker_image --id docker --keyring /etc/ceph/ceph.client.docker.keyring /dev/rbd0
- 查看映射的塊存儲
[root@local-node-1 ~]# rbd device list id pool image snap device 0 ceph_rbd docker_image - /dev/rbd0 [root@local-node-1 ~]# lsblk | grep rbd rbd0 252:0 0 1G 0 disk
- 使用rbd塊存儲
[root@local-node-1 ~]# mkfs.xfs /dev/rbd [root@local-node-1 ~]# mount /dev/rbd0 /mnt
7 . 若是要卸載設備使用以下命令：lua
[root@local-node-1 ~]# umount /mnt/ [root@local-node-1 ~]# rbd device unmap /dev/rbd0
RBD的特性
當掛載的rbd 被卸載掉以後，塊設備中的數據通常狀況下不會丟失（強制重啓後可能會損壞數據從而不可用），能夠從新掛載到另外一個主機上。
RBD支持複製，快照和在線擴容等功能。
RBD 快照
快照是映像在某個特定時間點的一份==只讀副本==。 Ceph 塊設備的一個高級特性就是你能夠爲映像建立快照來保留其歷史。 Ceph 還支持分層快照，讓你快速、簡便地克隆映像（如 VM 映像）。 Ceph 的快照功能支持 rbd 命令和多種高級接口，包括 QEMU 、 libvirt 、 OpenStack 和 CloudStack 。
若是在作快照時映像仍在進行 I/O 操做，快照可能就獲取不到該映像準確的或最新的數據，而且該快照可能不得不被克隆到一個新的可掛載的映像中。因此，咱們建議在作快照前先中止 I/O 操做。若是映像內包含文件系統，在作快照前請確保文件系統處於一致的狀態或者使用
fsck命令先檢查掛載的塊設備。要中止 I/O 操做可使用 fsfreeze 命令。 對於虛擬機，qemu-guest-agent 被用來在作快照時自動凍結文件系統。
- 檢查文件系統，在建立快照前凍結IO操做（fsfreeze的更多操做參考: https://blog.pythian.com/fsfreeze-in-linux/）,==執行此命令以後全部對此目錄文件的操做都會hang住==
fsfreeze -f /mnt
- 建立快照：
rbd snap create rbd/foo@snapname EG: rbd snap create rbd/test@test-snap
- 快照建立成功後解除IO凍結
fsfreeze -u /mnt/
- 查看快照
[root@local-node-1 ~]# rbd snap ls rbd/test
SNAPID NAME SIZE TIMESTAMP
4 test-snap 1 GiB Tue Apr 16 14:49:27 2019
5 test-snap-2 1 GiB Tue Apr 16 15:56:18 2019
- 回滾，回滾後的鏡像會保留以前的快照數據，可是它是隻讀的，不能對其進行寫入和刪除操做。
rbd snap rollback rbd/test@test-snap
- 對於掛載的磁盤，須要卸載後從新掛載，若是掛載出現以下錯誤：
# mount /dev/rbd0 /mnt/
mount: wrong fs type, bad option, bad superblock on /dev/rbd0,
missing codepage or helper program, or other error
In some cases useful info is found in syslog - try
dmesg | tail or so.
# 當使用xfs_repair修復時出現以下報錯：
xfs_repair /dev/rbd0
Phase 1 - find and verify superblock...
Phase 2 - using internal log
- zero log...
ERROR: The filesystem has valuable metadata changes in a log which needs to
be replayed. Mount the filesystem to replay the log, and unmount it before
re-running xfs_repair. If you are unable to mount the filesystem, then use
the -L option to destroy the log and attempt a repair.
Note that destroying the log may cause corruption -- please attempt a mount
of the filesystem before doing this.
# 使用-L 參數修復：
xfs_repair -L /dev/rbd0
- 掛載後的文件,系統依然是隻讀的。
mount /dev/rbd0 /mnt/
- 若是要刪除快照，執行以下命令:
rbd snap rm rbd/test@test-snap # 若是要刪除一個映像的全部快照，執行： rbd snap purge rbd/foo
RBD 複製
Ceph 能夠從快照中克隆寫時複製副本，因爲快照是隻讀的，當須要對文件進行修改時，咱們可使用快照建立一個寫時複製的副本。（Openstack中，使用這種機制建立新的虛擬機，一般使用快照保存鏡像，複製這個快照建立新的虛擬機）
Ceph 僅支持克隆 format 2 的映像（即用 rbd create --image-format 2 建立的,這個在新版中是默認的）。內核客戶端從 3.10 版開始支持克隆的映像
具體的流程以下：
建立塊設備映像-->建立快照-->保護快照-->克隆快照
- 保護快照。克隆映像要訪問父快照。若是用戶不當心刪除了父快照，全部克隆映像都會損壞。爲防止數據丟失，在克隆前必須先保護快照：
# 建立快照
rbd snap create rbd/test@test-snap
#列出快照
# rbd snap list rbd/test
SNAPID NAME SIZE TIMESTAMP
10 test-snap 1 GiB Tue Apr 16 17:46:48 2019
# 保護快照，這樣就沒法被刪除了
rbd snap protect rbd/test@test-snap
- 克隆快照，須要指定父存儲池，父映像名和快照，子存儲池和子鏡像名,能夠指定不一樣的存儲池：
rbd clone {pool-name}/{parent-image}@{snap-name} {pool-name}/{child-image-name}
EG:
rbd clone rbd/test@test-snap rbd/test-new
查看新建立的鏡像：
# rbd ls test test-new
- 取消快照保護
rbd snap unprotect rbd/test@test-snap
- 查看快照的生成的子鏡像
# rbd children rbd/test@test-snap
rbd/test-new
[root@local-node-1 ~]# rbd --pool rbd --image test-new info
rbd image 'test-new':
size 1 GiB in 256 objects
order 22 (4 MiB objects)
id: ba9096b8b4567
block_name_prefix: rbd_data.ba9096b8b4567
format: 2
features: layering
op_features:
flags:
create_timestamp: Tue Apr 16 17:53:51 2019
parent: rbd/test@test-snap # 此處顯示了父快照等關聯信息
overlap: 1 GiB
- 扁平化鏡像，使它和父鏡像脫離依賴關聯，防止父鏡像改動後對新鏡像產生影響：
rbd flatten rbd/test-new
- 此時，新生成的鏡像就能夠任意讀寫了。
RBD在線擴容
- 對已經掛載的rbd進行擴容：
# rbd resize ceph_rbd/docker_image --size 4096 Resizing image: 100% complete...done.
- 查看擴容後的狀態：
# rbd info ceph_rbd/docker_image
rbd image 'docker_image':
size 4 GiB in 1024 objects
order 22 (4 MiB objects)
id: 1bef96b8b4567
block_name_prefix: rbd_data.1bef96b8b4567
format: 2
features: layering
op_features:
flags:
create_timestamp: Wed Apr 10 15:50:21 2019
- 檢查客戶機上的容量是否被內核所接受：
# xfs_growfs -d /mnt
meta-data=/dev/rbd0 isize=512 agcount=9, agsize=31744 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0 spinodes=0
data = bsize=4096 blocks=262144, imaxpct=25
= sunit=1024 swidth=1024 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
data blocks changed from 262144 to 1048576
# lsblk | grep mnt
rbd0 252:0 0 4G 0 disk /mnt
- 直接上傳超過1G的文件，發現xfs文件系統已經自動擴容了：
# df -h | grep mnt /dev/rbd0 4.0G 3.1G 998M 76% /mnt
RBD 在線縮容 （做死操做，僅用於測試）
- 在執行縮容操做時，確認有足夠的空餘空間，不然可能會丟失數據：
# rbd resize --size 2048 ceph_rbd/docker_image --allow-shrink Resizing image: 100% complete...done.
- 查看縮容後的掛載盤：
# lsblk |grep mnt
rbd0 252:0 0 2G 0 disk /mnt
# xfs_growfs -d /mnt/
meta-data=/dev/rbd0 isize=512 agcount=34, agsize=31744 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0 spinodes=0
data = bsize=4096 blocks=1048576, imaxpct=25
= sunit=1024 swidth=1024 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
data size 524288 too small, old size is 1048576
- 不建議這樣操做。
RBD 卸載
==若是要卸載RBD，存放的數據會丟失。==
- 卸載磁盤，取消映射
[root@local-node-3 mnt]# df -h | grep mnt ... /dev/rbd0 2.0G 33M 2.0G 2% /mnt [root@local-node-3 ~]# rbd device list id pool image snap device 0 ceph_rbd docker_image - /dev/rbd0 [root@local-node-3 ~]# rbd device unmap /dev/rbd0
- 刪除rbd鏡像
[root@local-node-3 ~]# rbd ls ceph_rbd
docker_image
[root@local-node-3 ~]# rbd info ceph_rbd/docker_image
rbd image 'docker_image':
size 2 GiB in 512 objects
order 22 (4 MiB objects)
id: 1bef96b8b4567
block_name_prefix: rbd_data.1bef96b8b4567
format: 2
features: layering
op_features:
flags:
create_timestamp: Wed Apr 10 15:50:21 2019
[root@local-node-3 ~]# rbd trash ls ceph_rbd
# 將rbd移除到trash，也能夠直接刪除
[root@local-node-3 ~]# rbd trash mv ceph_rbd/docker_image
[root@local-node-3 ~]# rbd trash ls ceph_rbd
1bef96b8b4567 docker_image
# 從trash 中刪除鏡像
[root@local-node-3 ~]# rbd trash rm ceph_rbd/1bef96b8b4567
Removing image: 100% complete...done.
[root@local-node-3 ~]# rbd trash ls ceph_rbd
[root@local-node-3 ~]# rbd ls ceph_rbd
- 刪除池
[root@local-node-3 ~]# ceph osd lspools 7 ceph_rbd [root@local-node-3 ~]# ceph osd pool rm ceph_rbd ceph_rbd --yes-i-really-really-mean-it pool 'ceph_rbd' removed
- 查看集羣狀態：
[root@local-node-3 ~]# ceph -s
cluster:
id: 7bd25f8d-b76f-4ff9-89ec-186287bbeaa5
health: HEALTH_OK
services:
mon: 3 daemons, quorum local-node-1,local-node-2,local-node-3
mgr: ceph-mgr(active)
osd: 9 osds: 9 up, 9 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 9.3 GiB used, 81 GiB / 90 GiB avail
pgs:
[root@local-node-3 ~]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.08817 root default
-3 0.02939 host local-node-1
0 hdd 0.00980 osd.0 up 1.00000 1.00000
1 hdd 0.00980 osd.1 up 1.00000 1.00000
2 hdd 0.00980 osd.2 up 1.00000 1.00000
-5 0.02939 host local-node-2
3 hdd 0.00980 osd.3 up 1.00000 1.00000
4 hdd 0.00980 osd.4 up 1.00000 1.00000
5 hdd 0.00980 osd.5 up 1.00000 1.00000
-7 0.02939 host local-node-3
6 hdd 0.00980 osd.6 up 1.00000 1.00000
7 hdd 0.00980 osd.7 up 1.00000 1.00000
8 hdd 0.00980 osd.8 up 1.00000 1.00000
相關文章
- 1. Ceph集羣部署與Dashboard管理
- 2. ceph部署
- 3. ceph rbd與openstack的結合
- 4. Ceph RBD CephFS 存儲
- 5. ceph-部署篇（快速部署）
- 6. Kubernetes+Ceph時cephfs和ceph-rbd的PV管理
- 7. 理解 OpenStack + Ceph （3）：Ceph RBD 接口和工具 [Ceph RBD API and Tools]
- 8. Ceph集羣部署
- 9. （6）ceph RBD 複製
- 10. Centos7.4部署ceph塊設備
- 更多相關文章...
- • Maven 自動化部署 - Maven教程
- • ionic 頭部與底部 - ionic 教程
- • 使用阿里雲OSS+CDN部署前端頁面與加速靜態資源
- • Java Agent入門實戰（三）-JVM Attach原理與使用
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. Appium入門
- 2. Spring WebFlux 源碼分析(2)-Netty 服務器啓動服務流程 --TBD
- 3. wxpython入門第六步（高級組件）
- 4. CentOS7.5安裝SVN和可視化管理工具iF.SVNAdmin
- 5. jedis 3.0.1中JedisPoolConfig對象缺少setMaxIdle、setMaxWaitMillis等方法，問題記錄
- 6. 一步一圖一代碼，一定要讓你真正徹底明白紅黑樹
- 7. 2018-04-12—（重點）源碼角度分析Handler運行原理
- 8. Spring AOP源碼詳細解析
- 9. Spring Cloud（1）
- 10. python簡單爬去油價信息發送到公衆號
歡迎關注本站公眾號,獲取更多信息
