KVM 開啓嵌套虛擬化

問題

在 CentOS KVM 上啓動虛擬機來部署 OpenStack 測試環境，在啓動具備 CPU 綁定、NUMA 親和的虛擬機時觸發錯誤：

libvirtError: Requested operation is not valid: cpu affinity is not supported

這是由於 Nova 使用了 qemu virt_type，而 Qemu 是經過模擬來實現 CPU、內存虛擬化的，因此天然也就不支持 cpu affinity 了。要使用 KVM 硬件虛擬化才能夠支持 CPU 綁定，因而修改 nova.conf：

[libvirt]
...
virt_type=kvm

重試，又出現錯誤：

libvirtError: invalid argument: could not find capabilities for domaintype=kvm

這是由於個人 HostOS 沒有開啓 KVM Nested 嵌套虛擬化，即 KVM 虛擬機裏面不支持 KVM 虛擬機，由於第一次 KVM 虛擬機沒能具備與 HostOS 相同的 CPU 環境。

解決

KVM 嵌套式虛擬 Nested 是一個可經過修改內核參數來啓用的功能，它可以使一臺虛擬機具相同的有物理機 CPU 特性，支持 vmx|svm(AMD) 硬件虛擬化，該特性須要 Linux 內核版本大於 Linux 3.x。

查看是否啓動了 Nested：

[root@virtualbmc ~]# cat /sys/module/kvm_intel/parameters/nested
Y

啓用 Nested：

echo 'options kvm_intel nested=1' >/etc/modprobe.d/kvm-nested.conf

# 卸載內核模塊
modprobe -r kvm_intel

# 從新加載內核模塊
modprobe kvm_intel

NOTE：若是沒法重載內核模塊，能夠考慮直接重啓

若是但願已經存在的虛擬機支持嵌套虛擬化，還須要從新編輯虛擬機的 XML 文件，修改其 cpu mode。

# 關機
$ virsh shutdown domain-xxx

# 編輯
$ virsh edit domain-xxx

<cpu mode='host-passthrough'>

# 開機
$ virsh start domain-xxx

登陸入虛擬機檢查是否有 CPU 穿透：

[root@overcloud-ovscompute-0 ~]# egrep '(vmx|svm)' /proc/cpuinfo
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon rep_good nopl eagerfpu pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust smep erms xsaveopt