別覺得真懂Openstack: 虛擬機建立的50個步驟和100個知識點(3)

4、Nova-compute

步驟17：nova-compute接收到請求後，經過Resource Tracker將建立虛擬機所須要的資源聲明佔用

步驟18：調用Neutron API配置Network，虛擬機處於Networking的狀態

須要注意的是，這一步雖然是配置Network，可是主要是數據結構的準備，真正的設備並無建立。

因爲在建立虛擬機的時候，咱們指定了將虛擬機放到哪一個private network裏面，於是在建立真正的設備以前，全部的信息都須要準備好。

這裏的知識點設計Network的建立，然而這一步其實在虛擬機建立以前就應該作好。

一個最簡單的場景是經過下面的腳本建立網絡

#!/bin/bash
TENANT_NAME="openstack"
TENANT_NETWORK_NAME="openstack-net"
TENANT_SUBNET_NAME="${TENANT_NETWORK_NAME}-subnet"
TENANT_ROUTER_NAME="openstack-router"
FIXED_RANGE="192.168.0.0/24"
NETWORK_GATEWAY="192.168.0.1"

PUBLIC_GATEWAY="172.24.1.1"
PUBLIC_RANGE="172.24.1.0/24"
PUBLIC_START="172.24.1.100"
PUBLIC_END="172.24.1.200"

TENANT_ID=$(keystone tenant-list | grep " $TENANT_NAME " | awk '{print $2}')

(1) TENANT_NET_ID=$(neutron net-create --tenant_id $TENANT_ID $TENANT_NETWORK_NAME --provider:network_type gre --provider:segmentation_id 1 | grep " id " | awk '{print $4}')

(2) TENANT_SUBNET_ID=$(neutron subnet-create --tenant_id $TENANT_ID --ip_version 4 --name $TENANT_SUBNET_NAME $TENANT_NET_ID $FIXED_RANGE --gateway $NETWORK_GATEWAY --dns_nameservers list=true 8.8.8.8 | grep " id " | awk '{print $4}')

(3) ROUTER_ID=$(neutron router-create --tenant_id $TENANT_ID $TENANT_ROUTER_NAME | grep " id " | awk '{print $4}')

(4) neutron router-interface-add $ROUTER_ID $TENANT_SUBNET_ID

(5) neutron net-create public --router:external=True

(6) neutron subnet-create --ip_version 4 --gateway $PUBLIC_GATEWAY public $PUBLIC_RANGE --allocation-pool start=$PUBLIC_START,end=$PUBLIC_END --disable-dhcp --name public-subnet

(7) neutron router-gateway-set ${TENANT_ROUTER_NAME} public

1. 爲這個Tenant建立一個private network，不一樣的private network是須要經過VLAN tagging進行隔離的，互相之間broadcast不能到達，這裏咱們用的是GRE模式，也須要一個相似VLAN ID的東西，稱爲Segment ID
2. 建立一個private network的subnet，subnet纔是真正配置IP網段的地方，對於私網，咱們經常用192.168.0.0/24這個網段
3. 爲這個Tenant建立一個Router，纔可以訪問外網
4. 將private network鏈接到Router上
5. 建立一個External Network
6. 建立一個Exernal Network的Subnet，這個外網邏輯上表明瞭咱們數據中心的物理網絡，經過這個物理網絡，咱們能夠訪問外網。於是PUBLIC_GATEWAY應該設爲數據中內心面的Gateway， PUBLIC_RANGE也應該和數據中心的物理網絡的CIDR一致，不然連不通，而之因此設置PUBLIC_START和PUBLIC_END，是由於在數據中心中，不可能全部的IP地址都給Openstack使用，另外可能搭建了VMware Vcenter，可能有物理機器，僅僅分配一個區間給Openstack來用。
7. 將Router鏈接到External Network

通過這個流程，從虛擬網絡，到物理網絡就邏輯上聯通了。

然而真正的建立底層的設備，倒是經過具體的命令來的，本人總結了一下：

neutron建立network執行的那些命令 

固然還有更復雜的場景，參考這篇文章

多個router和多個network 

步驟19：生成MAC Address

步驟20: 獲取DHCP Server的配置

步驟21：獲取Network的信息

步驟22：獲取Security Group的信息

步驟23：拿着全部的信息，建立Port對象，是一個Tap device，固然真正的設備尚未建立

步驟24：調用Libvirt Driver建立虛擬機

5、Image

在建立Instance以前，固然須要Image，Image後來發現是一個大學問。

在Openstack裏面，對於KVM，應用到的Image格式主要是兩種RAW和qcow2，

raw格式簡單，容易轉換爲其餘的格式。須要文件系統的支持才能支持sparse file，性能相對較高。

qcow2是動態的，相對於raw來講，有下列的好處：

• 即使文件系統不支持sparse file，文件大小也很小
• Copy on write
• Snapshot
• 壓縮
• 加密

具體的格式和特色，參考下面的文章

QEMU KVM libvirt手冊(4) – images

[轉] The QCOW2 Image Format

建立一個image，有多種方法

一種方法是經過virt-install，講hard disk設爲一個image文件, 從CDROM啓動一個虛擬機，按照正常的安裝流程來，最後操做系統安裝好，image再通過qemu-img進行處理，壓縮，最終造成image。

參考文章

QEMU KVM libvirt 手冊(1) 

固然如今有了更先進的方法，就是libguestfs，它能夠輕鬆基於已有版本的image建立一個你想要的image，就是virt-builder

參考文章

libguestfs手冊(3): virt命令 

固然一個能夠在Openstack裏面使用的image，毫不是僅僅安裝一個操做系統那麼簡單。

在OpenStack Virtual Machine Image Guide中詳細寫了一個Linux Image的各類需求

• Disk partitions and resize root partition on boot (cloud-init)
• No hard-coded MAC address information
• Ensure ssh server runs
• Disable firewall
• Access instance by using ssh public key (cloud-init)
• Use cloud-init to fetch the public key
• Process user data and other metadata (cloud-init)
• Ensure image writes boot log to console

另外加幾條：

• 包含MBR和bootloader，能夠自啓動
• 支持virtio的disk和network driver
• 使用DHCP分配IP

當一個Linux的Image安裝完畢後，總要測試一下：

• 能經過key ssh上去嗎
• 可以文件注入嗎
• cloud-init是否運行了
• 文件系統被resize爲flavor大小了嗎
• hostname設爲文件名嗎
• timezone設的對嗎
• /etc/fstab乾淨正確嗎
• 虛擬機的log被正確輸出了嗎
• /tmp路徑下乾淨嗎
• 能打snapshot嗎
• block storage添加後能正常看到和使用嗎

對於windows image，卻要複雜的多，windows真的不是對cloud友好的。

• 首先必須用virt-install將windows系統安裝好。
• windows要想使用virtio，就必須將windows版本的virtio安裝好。即使安裝好，還要在device manager裏面update driver纔好。
• Remote Access要打開，要不怎麼遠程桌面啊。
• 安裝一個SSH Server吧，有時候須要建立虛擬機後，自動執行腳本安裝東西，不能經過遠程桌面來。
• 安裝windows版本的cloud-init cloudbase-init
• 別忘了運行windows update來更新windows，不然會有不少安全漏洞。
• 在device manager裏面添加一個serial console的device
• windows的硬盤佔用一般很大，運行一下disk cleanup tool能夠清空一些硬盤。
• 微軟有一個SDelete工具，能夠講未分配的空間設爲0，從而能夠壓縮硬盤。
• 別忘了License問題。
• 有時候windows配置網絡的時候，會彈出對話框，這是家庭網絡，工做網絡，仍是公共網絡？這會使得網絡配置死在哪裏，在註冊表裏幹掉他。
• 運行sysprep

對於cloud-init，參考下面的文章

http://cloudinit.readthedocs.org/en/latest/index.html

http://www.scalehorizontally.com/2013/02/24/introduction-to-cloud-init/

在ubuntu中，cloud-init主要包括

配置文件在/etc/cloud下面，默認的cloud.cfg以下

root@dfasdfsdafasdf:/etc/cloud# cat cloud.cfg
# The top level settings are used as module
# and system configuration.

# A set of users which may be applied and/or used by various modules
# when a 'default' entry is found it will reference the 'default_user'
# from the distro configuration specified below
users:
   - default

# If this is set, 'root' will not be able to ssh in and they
# will get a message to login instead as the above $user (ubuntu)
disable_root: true

# This will cause the set+update hostname module to not operate (if true)
preserve_hostname: false

# Example datasource config
# datasource:
#    Ec2:
#      metadata_urls: [ 'blah.com' ]
#      timeout: 5 # (defaults to 50 seconds)
#      max_wait: 10 # (defaults to 120 seconds)

# The modules that run in the 'init' stage
cloud_init_modules:
- migrator
- seed_random
- bootcmd
- write-files
- growpart
- resizefs
- set_hostname
- update_hostname
- update_etc_hosts
- ca-certs
- rsyslog
- users-groups
- ssh

# The modules that run in the 'config' stage
cloud_config_modules:
# Emit the cloud config ready event
# this can be used by upstart jobs for 'start on cloud-config'.
- emit_upstart
- disk_setup
- mounts
- ssh-import-id
- locale
- set-passwords
- grub-dpkg
- apt-pipelining
- apt-configure
- package-update-upgrade-install
- landscape
- timezone
- puppet
- chef
- salt-minion
- mcollective
- disable-ec2-metadata
- runcmd
- byobu

# The modules that run in the 'final' stage
cloud_final_modules:
- rightscale_userdata
- scripts-vendor
- scripts-per-once
- scripts-per-boot
- scripts-per-instance
- scripts-user
- ssh-authkey-fingerprints
- keys-to-console
- phone-home
- final-message
- power-state-change

# System and/or distro specific settings
# (not accessible to handlers/transforms)
system_info:
   # This will affect which distro class gets used
   distro: ubuntu
   # Default user name + that default users groups (if added/used)
   default_user:
     name: ubuntu
     lock_passwd: True
     gecos: Ubuntu
     groups: [adm, audio, cdrom, dialout, dip, floppy, netdev, plugdev, sudo, video]
     sudo: ["ALL=(ALL) NOPASSWD:ALL"]
     shell: /bin/bash
   # Other config here will be given to the distro class and/or path classes
   paths:
      cloud_dir: /var/lib/cloud/
      templates_dir: /etc/cloud/templates/
      upstart_dir: /etc/init/
   package_mirrors:
     - arches: [i386, amd64]
       failsafe:
         primary: http://archive.ubuntu.com/ubuntu
         security: http://security.ubuntu.com/ubuntu
       search:
         primary:
           - http://%(ec2_region)s.ec2.archive.ubuntu.com/ubuntu/
           - http://%(availability_zone)s.clouds.archive.ubuntu.com/ubuntu/
         security: []
     - arches: [armhf, armel, default]
       failsafe:
         primary: http://ports.ubuntu.com/ubuntu-ports
         security: http://ports.ubuntu.com/ubuntu-ports
   ssh_svcname: ssh

工做文件夾在/var/lib/cloud

root@dfasdfsdafasdf:/var/lib/cloud/instance# ls
boot-finished     datasource  obj.pkl  sem            user-data.txt.i  vendor-data.txt.i
cloud-config.txt  handlers    scripts  user-data.txt  vendor-data.txt

另外就是cloud-init的命令

/usr/bin/cloud-init

若是咱們打開它，發現他是python文件，若是運行/usr/bin/cloud-init init，則會運行cloud_init_modules:下面的模塊，咱們以resizefs爲例子

/usr/bin/cloud-init 中會調用main_init，裏面會調用run_module_section

這就調用到python代碼裏面去了，因此cloud-init另外一個部分就是python代碼部分

/usr/lib/python2.7/dist-packages/cloudinit

咱們發現裏面有這個文件/usr/lib/python2.7/dist-packages/cloudinit/config/cc_resizefs.py

裏面是

def _resize_btrfs(mount_point, devpth):  # pylint: disable=W0613
    return ('btrfs', 'filesystem', 'resize', 'max', mount_point)

def _resize_ext(mount_point, devpth):  # pylint: disable=W0613
    return ('resize2fs', devpth)

def _resize_xfs(mount_point, devpth):  # pylint: disable=W0613
    return ('xfs_growfs', devpth)

def _resize_ufs(mount_point, devpth):  # pylint: disable=W0613
    return ('growfs', devpth)

哈哈，終於找到resize的根源了。

說完了建立image，還須要瞭解修改image，咱們的文件注入，就是對image的修改。

有三種方式：經過mount一個loop device，經過qemu的network block device，或者最早進的，經過libguestfs

總結成了一篇文章

如何修改image文件 

對於qemu-nbd，有文章

QEMU KVM Libvirt手冊(6) – Network Block Device 

對於libguestfs，我也寫了一些筆記

 

libguestfs手冊(1): 架構

libguestfs手冊(2)：guestfish command

libguestfs手冊(3): virt命令

對於文件注入，有文章

nova file injection 

對於如何打snapshot，分多種，有文章

QEMU KVM Libvirt手冊(5) – snapshots 

Snapshot Types

External Snapshot management

[轉] External(and Live) snapshots with libvirt

[轉] Snapshotting with libvirt for qcow2 images

步驟26：從Glance下載Image，做爲base

步驟27：基於base image，建立qcow2的image

步驟28：resize image的大小，和filesystem的大小無關

步驟29：配置configuration drive

步驟30：配置文件注入