Openstack對接ceph存儲

在工做上的一些筆記，備註一下：

前期工做：
已經部署openstack 集羣， 當時操做版本icehouse版本
已經部署ceph的集羣， 當時操做的版本ceph-0.94.10,其它版本也能夠

 

從ceph集羣其中和個節點獲取相關配置文件，
openstack的存儲服務操做ceph時須要用到：
ceph.client.admin.keyring
ceph.conf

 

對集羣進行互信操做

 

在openstack各個節點安裝ceph相關的依賴包:
yum -y install ceph

 

將剛纔獲取到的兩個配置文件
ceph.client.admin.keyring
ceph.conf
分配傳到各個節點的/etc/ceph目錄

建立openstack會用到的存儲池, 'volumes', 'images', 'vms'
(只需在其中一臺節點執行如下命令便可)
ceph osd pool create images 1024
ceph osd pool create vms 1024
ceph osd pool create volumes 1024

 

設置ceph客戶端認證，在其中一個openstack節點執行如下命令：
ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rwx pool=images'
ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'
 

在glance服務節點,執行如下操做：
ceph auth get-or-create client.glance
將輸出結果存入/etc/ceph/ceph.client.glance.keyring
在cinder服務節點,執行如下操做：
ceph auth get-or-create client.cinder
將輸出結果存入/etc/ceph/ceph.client.cinder.keyring

uuidgen
生成uuid
或者獲取ceph集羣的uuid

 

在全部節點執行如下操做：
cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
<uuid>281134a0-0c76-47ba-9166-b0f0b73ea493</uuid>
 <usage type='ceph'>
    <name>client.cinder secret</name>
  </usage>
</secret>
EOF
ceph auth get-or-create client.cinder     #此命令輸出的結果會在virsh 設置時用到--base64參數裏

virsh secret-define --file secret.xml
virsh secret-set-value --secret 281134a0-0c76-47ba-9166-b0f0b73ea493 --base64 AQD0notZXjToMhAAlBARtxvamLcgtqEssAD6Ow==

 

在glance服務節點設置api配置：
openstack-config --set /etc/glance/glance-api.conf DEFAULT default_store rbd
openstack-config --set /etc/glance/glance-api.conf DEFAULT rbd_store_user glance
openstack-config --set /etc/glance/glance-api.conf DEFAULT rbd_store_pool images.....

 

在cinder服務節點設置配置：
openstack-config --set /etc/cinder/cinder.conf DEFAULT volume_driver cinder.volume.drivers.rbd.RBDDriver
openstack-config --set /etc/cinder/cinder.conf DEFAULT rbd_pool volumes
openstack-config --set /etc/cinder/cinder.conf DEFAULT rbd_ceph_conf /etc/ceph/ceph.conf.....

 

在nova服務節點設置配置：
openstack-config --set /etc/nova/nova.conf DEFAULT libvirt_images_type rbd
openstack-config --set /etc/nova/nova.conf DEFAULT libvirt_images_rbd_pool vms
openstack-config --set /etc/nova/nova.conf DEFAULT libvirt_images_rbd_ceph_conf /etc/ceph/ceph.conf
openstack-config --set /etc/nova/nova.conf DEFAULT rbd_user cinder.......

 

重啓openstack服務
至少對接完成
驗證是否對接成功
ceph osd lspools  可查看已經建立的池
0 rbd,1 volumes,2 images,3 vms,4 backups

在openstack建立一個雲硬盤
rbd ls volumes    可查看已經建立的結果
volume-15d2ce4d-50b7-4b47-ac73-ec0543637f87

或者上傳一個鏡像 rbd ls images     ac5c334f-fbc2-4c56-bf48-47912693b692