001入門級的超融合私有云開源解決方案Proxmox VE之規劃部署

Proxmox VE 是什麼？
Proxmox VE 是一個完整的企業虛擬化開源平臺。藉助內置的Web界面，您能夠輕鬆管理VM和容器，軟件定義的存儲和網絡，高可用性集羣以及單個解決方案上的多個開箱即用工具。Proxmox VE 最大優點在於安裝使用的方便以及web管理界面的豐富，還能夠相對比較簡單的實現桌面雲。
從 Proxmox VE 5.x 版本開始，官方整合了分佈式文件系統Ceph，並對其進行了改進。這樣，就和OpenStack同樣，存儲方面集成實現了分佈式存儲，實現了計算、網絡、存儲一體化解決方案，即所謂的超融合。
Proxmox的主要特性，去中心化、超融合、高可用、開源低成本、易於實施管理，前面幾個特性都和OpenStack同樣，可是最後一點易於實施管理，OpenStack卻作得不是特別好。
Proxmox的主要劣勢，是這個開源產品只有一個廠商維護，叫作Proxmox Server Solutions 公司，可是隻要產品足夠穩定可靠，不用太多的定製化要求，可以拿來就用就行，只要足夠方便好用，並且免費。若是須要更多更好更及時的技術支持，也能夠直接購買這家公司的技術支持服務。

爲何要使用 Proxmox VE？

1. Proxmox VE 適用於虛擬機數量在1000臺如下的小型虛擬化或者私有云場景下。
2. Proxmox VE 支持各種存儲，包括分佈式存儲 Ceph 和 Zfs，可以像 OpenStack 同樣輕鬆的實現超融合。
3. 在使用分佈式存儲的狀況下能夠很方便低成本的實現虛擬機的 HA 以及自動動態遷移。
4. Proxmox VE 適用於中小企業固定工位的辦公桌面雲，輕鬆實現並管理使用。
5. 對於中小企業來講，只須要採購硬件設備便可，軟件幾乎是免費的，這就極大的下降了企業的使用成本。

Proxmox VE 規劃設計
網絡規劃

虛擬機集羣網絡拓撲圖
網絡方面須要管理網絡，集羣網絡，存儲網絡，3個網絡，須要強調的是，集羣網路須要獨立出來，由於集羣網絡對延時的要求很苛刻。若是有條件，每一個網絡都作bond。bond類型的選擇，集羣網絡直接使用active-backup，其餘的最好使用LACP（802.3ad）鏈路聚合，可是這種方式須要在交換機側作配置，兩個交換機之間也要作級聯，鏈路聚合的好處是一穩定，二帶寬不浪費，三高可用 。
存儲規劃
存儲方面，除了系統盤以外，每臺物理機使用2塊硬盤貢獻出來做爲Ceph存儲池使用，1塊硬盤做爲本地LVM存儲並掛載給鏡像和備份目錄使用，這樣能夠比較靈活，須要實現HA功能虛擬機能夠放在Ceph存儲池，LVM存儲池主要存放模板鏡像文件，也能夠給其餘虛擬機使用，LVM存儲池的虛擬機在相應速度上理論上要比Ceph的要高。Ceph存儲池使用3 mon，3副本。
硬件規劃
3臺物理機，每臺物理機須要5個物理萬兆網口，4塊3TB硬盤，內存至少8 GB，推薦128 GB，CPU 核數至少4核，推薦24核。
4臺交換機，4臺萬兆交換機爲主，兩兩互備。

Proxmox VE 部署
模擬環境
宿主機系統版本：Windows 10 Professional
虛擬機軟件版本：VMware Workstation 15
Proxmox VE 版本：Proxmox-VE 5.3.2
模擬硬件
第一臺虛擬 PVE（爲表述方便，如下「Proxmox VE」均用「PVE」代替），具體硬件配置以下：
CPU：4核
內存：6 GB
硬盤：4 塊，其中硬盤方面1塊硬盤爲系統盤31G，2塊30G的Ceph盤，1塊32G的LVM盤。
網卡：2 塊，1塊網卡同時給集羣和虛擬機使用（192.168.17.0/24網段），1塊網卡做爲ceph存儲網絡（192.168.3.0/24網段）使用。

PVE 部署

部署完畢，WEB 界面：
https://192.168.17.3:8006/
https://sanyuan.com:8006/

PVE 網絡配置
系統安裝過程當中配置了第一塊網卡做爲內部管理集羣網絡，網段是192.168.17.0/24 ，登錄系統後能夠發現這個地址是配置在網橋上的，網橋上搭一塊網卡進行橋接，所以新建一個網橋並配置192.168.3.0/24網段的地址給它，搭另外一塊網卡進行橋接，以下圖：

注意：
第一塊網卡設置了網關是192.168.17.2，這塊網卡就不能設置網關了 。其實就是在主機上設置了默認網關，只能有一個。
增長完網橋以後，須要重啓PVE節點生效配置。（網絡更改都須要重啓節點才能生效。）

PVE 取消訂閱及更新源
更改成非訂閱版，以下：
將/etc/apt/sources.list.d/pve-enterprise.list 文件內的惟一一條記錄註釋掉：
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade

消除「No valid subscription」提示的方法：
即，ssh登陸服務器後執行下面的指令：
sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service