- Centos kvm+ceph
- 一. centos6.5 安裝kvm
- 1. disable selinux
- 2. 確認支持intel虛擬化
- 3. 安裝須要的包
- 4.設置橋接網絡
- 5.運行kvm instance（此步驟僅用於測試環境是否安裝成功）
- 6.鏈接到kvm
- 二. centos安裝ceph(firefly版本)
- 準備機器
- 管理機安裝
- 安裝其餘節點
- 三. kvm使用ceph
- 建立osd pool(塊設備的容器)
- 設置帳號對該pool的讀寫權限
- 用qemu-img在pool中建立img
- 驗證img建立成功
- 用kvm建立一個虛擬機
Centos kvm+ceph
centos 7沒法用公用源安裝ceph, 包依賴不知足
centos 6能夠安裝，但內核不支持rbd,須要更新內核
rpm --importhttp://elrepo.org/RPM-GPG-KEY-elrepo.orgnode
rpm -Uvhhttp://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpmpython
yum --enablerepo=elrepo-kernel install kernel-lt-y ）linux
一. centos6.5 安裝kvm
1. disable selinux
vi /etc/selinux/config
rebootgit
2. 確認支持intel虛擬化
egrep '(vmx|svm)' --color=always /proc/cpuinfo
空表明不支持vim
3. 安裝須要的包
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*
yum install virt-manager libvirt qemu-kvm openssh-askpass kvm python-virtinstcentos
service libvirtd start
chkconfig libvirtd on網絡
emulator 通常是qemu-kvm,也多是其餘。
/usr/libexec/qemu-kvm -M ? 查看支持的host系統類型 (我碰到的狀況，啓動虛擬機時提示host類型rhel6.5不支持，virsh edit ...將host中的rhel6.5改成pc經過)
/usr/libexec/qemu-kvm -drive format=? 查看支持的設備類型 (必須支持rbd,若是沒有顯示，須要安裝支持的版本。源碼安裝git clone git://git.qemu.org/qemu.git;./configure --enable-rbd。 可能未必產生qemu-kvm，也許是qemu-system-x86_64之類的，那就須要在配置文件裏將emulator換成編譯好的可執行文件)app
4.設置橋接網絡
yum install bridge-utils
vi /etc/sysconfig/network-scripts/ifcfg-br0ssh
DEVICE="br0"
NM_CONTROLLED="no"
ONBOOT=yes
TYPE=Bridge
BOOTPROTO=none
IPADDR=192.168.0.100
PREFIX=24
GATEWAY=192.168.0.1
DNS1=8.8.8.8
DNS2=8.8.4.4
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System br0"測試
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
NM_CONTROLLED="no"
ONBOOT=yes
TYPE="Ethernet"
UUID="73cb0b12-1f42-49b0-ad69-731e888276ff"
HWADDR=00:1E:90:F3:F0:02
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
BRIDGE=br0
/etc/init.d/network restart
5.運行kvm instance（此步驟僅用於測試環境是否安裝成功）
virt-install --connect qemu:///system -n vm10 -r 512 --vcpus=2 --disk path=/var/lib/libvirt/images/vm10.img,size=12 -c /dev/cdrom --vnc --noautoconsole --os-type linux --os-variant debiansqueeze --accelerate --network=bridge:br0 --hvm
6.鏈接到kvm
若是須要安裝gui
yum -y groupinstall "Desktop" "Desktop Platform" "X Window System" "Fonts"
二. centos安裝ceph(firefly版本)
準備機器
一臺安裝管理機:admin
一臺monitor:node1
兩臺數據機osd: node2, node3
一臺使用ceph rbd的客戶端: ceph-client
全部機器上都建立ceph用戶，給予sudo權限，因此後續命令以ceph用戶執行。
全部機器關閉 selinux
全部機器關閉Defaults requiretty（sudo visudo）
全部機器檢查iptables等防火牆設置，節點間通信使用22,6789,6800等端口，防止被拒絕
管理機安裝
添加repo
sudo vim /etc/yum.repos.d/ceph.repo
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://ceph.com/rpm-{ceph-release}/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc
我將baseurl替換爲baseurl=http://ceph.com/rpm-firefly/el6/noarch
執行sudo yum update && sudo yum install ceph-deploy
使得admin用ssh key登錄其餘機器
ssh-keygen
ssh-copy-id ceph@node1
ssh-copy-id ceph@node2
ssh-copy-id ceph@node3
安裝其餘節點
admin機器上
mkdir my-cluster
cd my-cluster
初始化配置：
ceph-deploy new node1
此時會在當前目錄下建立配置文件ceph.conf，編輯ceph.conf,
添加osd pool default size = 2， 這是由於咱們只有2個osd
添加rbd default format = 2, 將默認的rbd image格式設置爲2，支持image的clone功能
添加journal dio = false，
在全部節點上安裝ceph
ceph-deploy install admin node1 node2 node3
初始化監控節點
ceph-deploy mon create-initial node1
初始化osd節點
ssh node2
sudo mkdir /var/local/osd0
exit
ssh node3
sudo mkdir /var/local/osd1
exit
ceph-deploy osd prepare node2:/var/local/osd0 node3:/var/local/osd1
ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd1
（此處兩個命令應該在數秒內結束，若長時間不響應直至300秒超時，考慮是否有防火牆因素。）
將配置拷貝到各個節點
ceph-deploy admin admin-node node1 node2 node3
sudo chmod +r /etc/ceph/ceph.client.admin.keyring
ceph health
ceph status
但願獲得active_clean狀態
三. kvm使用ceph
建立osd pool(塊設備的容器)
ceph osd pool create libvirt-pool 128 128
設置帳號對該pool的讀寫權限
假設咱們使用的帳號是libvirt(若是使用admin帳號默認擁有全部權限，無需設置)
ceph auth get-or-create client.libvirt mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=libvirt-pool'
用qemu-img在pool中建立img
qemu-img create -f rbd rbd:libvirt-pool/new-libvirt-image 10G
這一步我遇到了Unknown file format 'rbd', 這是由於低版本的qemu-img不支持rbd.
可是個人qemu-img版本號已經夠了，猜想是個人包在編譯時沒有加rbd的選項。無奈強制安裝了版本號更低的 http://ceph.com/packages/qemu-kvm/centos/x86_64/qemu-img-0.12.1.2-2.355.el6.2.cuttlefish.x86_64.rpm 才支持)
驗證img建立成功
rbd -p libvirt-pool ls
用kvm建立一個虛擬機
1. 用virsh命令或virt-manager建立一個虛擬機
須要一個iso或img 在/var/lib/libvirt/images/下
我將它命名爲test。 cd rom中選擇一個iso,好比debian.iso.不選硬盤。
2. virsh edit test
將該vm的配置修改成使用rbd存儲
找到
<devices>
在其後添加以下：
<disk type='network' device='disk'>
<source protocol='rbd' name='libvirt-pool/new-libvirt-image'>
<host name='{monitor-host}' port='6789'/>
</source>
<target dev='vda' bus='virtio'/>
</disk>
3. 建立訪問ceph的帳號
cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
<usage type='ceph'>
<name>client.libvirt secret</name>
</usage>
</secret>
EOF
sudo virsh secret-define --file secret.xml
<uuid of secret is output here>
保存用戶libvirt的key
ceph auth get-key client.libvirt | sudo tee client.libvirt.key
保存產生的uuid
sudo virsh secret-set-value --secret {uuid of secret} --base64 $(cat client.libvirt.key) && rm client.libvirt.key secret.xml
virsh edit test
add auth
...
</source>
<auth username='libvirt'>
<secret type='ceph' uuid='9ec59067-fdbc-a6c0-03ff-df165c0587b8'/>
</auth>
4. 開啓虛擬機安裝os
同時 virsh edit test
將配置的boot方式從cdrom改成hd
5.安裝結束重啓虛擬機,會boot from vda，也就是rbd
6. 下一步可使用rbd snap, rdb clone, virsh, guestfs製做和使用虛擬機模板