kolla-ansible部署容器ceph

kolla是從openstack孵化出的一個項目，kolla項目能夠製做鏡像包括openstack、ceph等容器鏡像，

ansible是自動化部署工具，執行playbook中的任務。

kolla-ansible是容器部署工具，部署openstack和ceph；kolla-ansible部署的容器鏡像能夠是kolla構建的，也能夠是從docker register下載來的（本文部署使用kolla-ansible部署ceph採用從docker register下載鏡像的方式部署）。

1、節點規劃

主機名	ip	角色
localhost	172.16.134.43	master節點，安裝kolla-ansible
node58	172.16.134.58	ceph節點，至少有一塊osd使用的磁盤
node59	172.16.134.59	ceph節點，至少有一塊osd使用的磁盤
node61	172.16.134.61	ceph節點，至少有一塊osd使用的磁盤

2、搭建master節點

一、安裝docker

yum install -y yum-utils device-mapper-persistent-data lvm2
yum install docker-ce -y

二、master和ceph節點之間解決互信

ssh-keygen

ssh-copy-id root@172.16.134.58

ssh-copy-id root@172.16.134.59

ssh-copy-id root@172.16.134.61

三、安裝kolla-ansible依賴包

yum -y install epel-release
yum install -y python-pip ansible
yum install -y python-devel libffi-devel openssl-devel gcc python-setuptools git

 四、修改pip源:
mkdir -p ~/.pip
tee ~/.pip/pip.conf <<-'EOF'
[global]
trusted-host=mirrors.aliyun.com
index-url=http://mirrors.aliyun.com/pypi/simple/
EOF
 五、升級pip:
pip install -U pip

六、下載kolla-ansible源碼並安裝

git clone https://github.com/openstack/kolla-ansible.git -b stable/queens

cd kolla-ansilbe

pip install -r requirements.txt -r test-requirements.txt

pip install . -i http://mirrors.aliyun.com/pypi/simple/

 七、複製相關文件
cp -r etc/kolla /etc/kolla/
cp ansible/inventory/* /home

八、生成密碼

 kolla-genpwd

九、設置docker

mkdir /etc/systemd/system/docker.service.d
編輯kolla.conf文件
vim /etc/systemd/system/docker.service.d/kolla.conf 
[Service]

MountFlags=shared
編輯daemon.json文件
vi /etc/docker/daemon.json
{
"registry-mirrors": ["https://ebu037tr.mirror.aliyuncs.com"],
"insecure-registries": ["docker-registries"]
}

注意：docker-registries爲docker鏡像服務器，在部署過程當中，kolla-ansible會從docker服務器上拉取所須要的鏡像，該docker鏡像服務器要有ceph各組件的鏡像。

         在ceph節點上也要用docker login {docker-registries}，登錄到docker服務器，不然在部署過程當中會出現認證錯誤。

十、重啓docker服務

systemctl daemon-reload
systemctl restart docker

十一、修改/etc/hosts文件，填入ceph節點

3、ceph節點環境配置(在三個ceph節點上執行一樣的操做)

一、禁用節點放火牆，安全策略等

[root@node58 ~]vim ~/init.sh
#!/bin/sh
sed -i 's/SELINUX=.*/SELINUX=Disabled/g' /etc/selinux/config
echo '' > /etc/resolv.conf
echo nameserver 114.114.114.114 >> /etc/resolv.conf
echo search novalocal >> /etc/resolv.conf
echo " net.ipv4.ip_forward = 1 ">> /etc/sysctl.conf&&sysctl -p
yum install vim wget -y

systemctl stop firewalld

systemctl disable firewalld
-----------------------------------------------------------
[root@node58 ~]# sh init.sh

二、節點配置時間同步

[root@node58 ~]# yum install -y chrony

[root@node58 ~]# vi /etc/chrony.conf
server 0.cn.pool.ntp.org iburst
server 1.cn.pool.ntp.org iburst
server 2.cn.pool.ntp.org iburst
server 3.cn.pool.ntp.org iburst

三、給ceph節點的磁盤打標籤

[root@node58 ~]# parted /dev/sdb -s -- mklabel gpt mkpart KOLLA_CEPH_OSD_BOOTSTRAP 1 -1

4、部署ceph容器服務（在master節點執行）

一、修改kolla-ansible的配置文件

[root@node58 ~]# cat /etc/kolla/globals.yml|grep -v '^#'|grep -v '^$'
---
kolla_install_type: "binary"
openstack_release: "queens"
kolla_internal_vip_address: "ip of master"
docker_registry: "{docker-registries}"
docker_namespace: "queens/kolla"
docker_registry_username: "admin"
docker_registry_password: "Harbor12345"
network_interface: "ens33"
enable_ceph: "yes"
enable_haproxy: "no"
enable_keystone: "no"
enable_glance: "no"
enable_neutron: "no"
enable_heat: "no"
enable_nova: "no"
enable_horizon: "no"
ceph_pool_type: "replicated"

注意：/etc/kolla/globals.yml文件會重載/usr/share/kolla-ansible/ansible/group_vars/all.yml文件，不須要安裝的服務在all.yml中改爲「no」

二、修改ansible的inventory文件

在[storage]下填入ceph節點的主機名，把其他section清空

六、部署ceph節點環境

kolla-ansible bootstrap-servers -i /home/multinode

七、檢查和部署

kolla-ansible  prechecks  -i /home/multinode

kolla-ansible deploy -i /home/multinode

八、測試（在ceph節點執行）

docker exec ceph_mon ceph -s