攻克私有云通殺神器proxmox

用proxmox作服務器虛擬化已經很長一段時間了，不過全玩的是單服務器，最多也就弄三臺整個集羣，由於沒有共享存儲，沒法實現高可用（僱主捨不得投入，還欠俺不少工錢呢）。近期給人出了一個方案，計劃用proxmox高可用的方案，虛擬出n多虛擬機，而後把業務系統部署上去。方案討論了不少次，發現共享存儲的方式，費錢又費磁盤。考慮性能的話，得用15000轉的sas盤，但這種規格sas盤的容量最大是600G，並且單盤價格很高。用容量的sata盤吧，解決了容量問題，但性能又會成爲瓶頸。回來對方說，有人用ceph作存儲，掛接之，再建立作服務器虛擬化。

之前作過度布式存儲moosefs、hadoop dfs等，都有一個軟肋，即存在控制節點（或者叫命名節點一類），控制節點是關鍵，一死全死。最近查看moosefs官網，新版的商業版本，整出兩個master來，死掉一個，其餘節點選舉剩下的那個節點作master。這樣整出來，光存儲就是好大一堆服務器了。固然，有錢的能夠買商業存儲，解決性能和可用性問題。既然有人推薦，那就去了解一下ceph，嘿嘿，是去中心化的架構，這一點有優點了。

雖然有人用ceph作存儲，但與服務器虛擬化是單獨使用，個人意圖是能不能整合到proxmox裏？官網一看，好傢伙，proxmox5.x 集成了ceph啊，天意！

原本就有很長時間的proxmox使用和維護經驗，花點時間看看官網英文文檔，大概就明白怎麼一個狀況。弄臺式機來虛擬三個節點的proxmox，誰知配置不行，卡的要死沒法往下進行測試。正好北京有人要作虛擬化，讓我過去作個諮詢，哈哈，有了物理機，測試有着落了。

建議的方案是，用四臺物理服務器，配置徹底相同，劃分兩個網段，一個是網段用於存儲，另外一個用於虛擬機等。存儲分配上，ssd安裝proxmox，大概200G的ssd。剩下的盤位，插3塊以上的10000轉的sas大容量盤（單盤1.2T-1.8T）。我只在電話裏大體說了一下建議，等我到現場的時候，他們已經配置得差很少了。在ha那步卡住了，我給點撥了一下，暴力關機，運行其上的虛擬機狀態顯示正常，本打算用手工方式遷移到其餘節點，沒想到片刻自動漂移了，大喜過望！

看到管理界面有那個spice協議，實驗了一把。關閉某個虛擬機，編輯其硬件屬性，顯示器一項改爲spice，而後啓動此虛擬機，真的能夠呢！

遺憾的是，只能經過瀏覽器，點控制檯下拉菜單spice才能夠。

而我但願用virt-viewer客戶端訪問，這樣若是能成功，就能夠採購雲終端盒子進行鏈接。把服務器虛擬化與桌面虛擬化集成在一個proxmox上邊，遠勝於其它商業解決方案。

查看宿主服務器的進程及網絡，只發現spice代理進程spiceproxy。

監聽tcp 3128端口，試着telnet 該端口，能夠鏈接。若是虛擬機顯示器選定了spice，啓動後，附帶啓動一個61000端口的服務，進程名爲kvm。再啓動一個選擇spice顯示的虛擬機，宿主機就再起一個tcp 60001的端口。監聽地址是127.0.0.1，進程名仍是那個kvm。由此能夠判斷，以瀏覽器操做管理界面的下拉菜單spice，代理程序把這個請求傳遞給127.0.0.1:61000端口,因而能夠彈出窗口。

直接用客戶端連3128端口，不靈；換61000端口，仍是不靈。查了不少資料，也問了一些人，無果。這段時間，甚至走路都在想這個怎麼突破。後來，查到一種方法，用qm showcmd vmid 查指定虛擬機的整個kvm 指令所帶的所有參數和選項,這些參數和選項，到如今還不知道藏哪一個配置文件裏？當咱們用web管理界面建立虛擬機的時候，應該會去讀某個文件，但確定不是虛擬機那個配置文件，配置文件我查了，參數值不多的。好比個人某個虛擬機的id是100，我就執行 qm shoucmd 100>/root/vm100.sh，執行完畢，就去修改這個文件，找到spice那行，改「127.0.0.1」爲本地網卡實際地址，注意這個文件就是一整行，不要回車換行喲。不能肯定會不會有做用，執行一把再說，若是不對，也不會有什麼影響（再次重啓虛擬機後，這些配置是不會不保存和加載的）。執行此腳本無報錯，看管理界面，虛擬機是啓動起來了。到宿主機看看網絡監聽，61000端口綁定到實際網絡接口，而不是先遷的127.0.0.1.看來有戲。遠程telnet這個61000，嘿嘿，能連呢。如今，能夠試試客戶端，當心翼翼輸入"spice://172.16.35.99:61000",等待中....,哇塞！真出windows登陸界面了呢！

化緣網購的盒子到了好幾天，客戶端鏈接正常，那麼拿盒子也是不在話下了。
設置好盒子的值，猛戳鏈接。

到這裏，總算有前進了一步。不過有問題，若是把這個交付給別人，不能讓人編輯腳本，再執行這個腳本吧？而且，虛擬機每次重啓之後，這些設置就沒有了。這個問題須要解決，繼續查資料，問人。有開發虛擬平臺的兄弟說可能有相似xml這樣的文件存在，宿主機搜吧，沒有。差很少把目錄都翻遍了，沒找到有用的信息。暫且擱置吧，後邊再搞。

這遠程windows用spice協議連上之後，鼠標有兩個，點擊起來特別費勁。用盒子連或者用客戶端連，都是這個尿性，直接問賣盒子那個傑雲廠家售後，答覆說須要在虛擬機裏邊安裝vgaent，能夠從spice-space.org官網下載。這好辦，進去點download，真有這玩意，仔細看發現一個spice-guest-tools包，包含了vgaent等，就是你了，下載到虛擬機並安裝，還真能夠，鼠標只有一個指針，徹底正常。

後邊還有問題，沒有聲卡、u盤識別。繼續回去折騰spice，今天騎摩托到山上，忽然想到，能不能直接改虛擬機配置文件呢？咋老司機，改以前備份一下。回來後，立馬動手，查看官方文檔，能夠在配置文件裏寫參數.

改完，重啓虛擬機，還真有效。下一步，怎麼給加個界面，在web界面建立虛擬機的時候，把監聽地址、監聽端口、用戶密碼等，經過某種方式傳遞到虛擬機配置文件就完美了。

基本思路：弄個腳本，等建立好虛擬機配合文件後執行，取得其id，以610+id號作端口，並接受密碼輸入。交互後，輸出文本文件，記錄監聽ip、端口、密碼，交給用戶使用。

具體如何修改虛擬機配置文件？能調試出spice鏈接、聲卡、usb等，請訂閱俺的專欄，猛戳此處直達。

最後，來總結一下私有云通殺神器proxmox的強大之處：
一、去中心化，死掉哪一個節點都無大礙。vmware有vcenter，這個死翹翹之後，有些功能不能用了，一比見高低。
二、超融合。虛擬化平臺、存儲融合；服務器虛擬化、桌面虛擬化融合。據瞭解，大部分的商業方案，服務器虛擬化與桌面虛擬化各幹各的，管理成本和採購成本，那是槓槓的高。
三、超低成本。不需外掛共享存儲，光這個就省老鼻子了。商業解決方案，動不動一個cpu core報價就以萬爲單位，不過是openstack改改，價格殼殼嘛。
四、部署簡單快捷。proxmox自己就是iso文件，燒錄到u盤，引導後一路回車，分分鐘搞定一臺；創建集羣，每節點僅僅執行一條命令行指令，後邊的配置都在瀏覽器進行了。試問其它方案，無論商業的仍是開源的，誰能這麼便捷？別的不說，試試openstack，老司機都得猶豫。

來幾張圖，看看土豪公司的資源。

六個節點物理服務器組成的小集羣。

176個線程，除以2就是88個核心，捨得投入啊。

最後，和你們分享個人訂閱專欄《負載均衡高手煉成記》，本專欄依託做者十餘年IT運維經驗，從入門到實操，手把手教你構建運行不一樣場景下負載均衡以及平常維護。