可照搬實施的商超高可用方案：proxmox + haproxy 等

現狀

存在大量的單點問題：每一個門店一個物理服務器，中心機房多個服務器。門店服務器故障，營業受影響；中心機房服務器故障，門店的非現金業務（銀行卡刷卡、微信支付、支付寶等）受影響

整體思路

撤銷每一個門店的服務器，保證門店網絡的可靠性(多線路接入、4G終端設備等)，服務器集中到中心機房，構建更高可用性的數據平臺。

基本目標

• 高可用性：最小的停機時間，部分硬件損壞不對正常業務產生影響。

• 可擴展性：隨業務增長，可不中止業務進行容量擴充，也不改變現有的系統架構。

• 可視化運維：隨時掌握系統的運行狀況，並以集中、直觀的方式進行展現。

• 低成本：充分利用現有資源、合理規劃，使整個平臺成本可控且知足實際需求。

  
  

架構組成

本方案架構由負載均衡、超融合私有云、監控平臺以及備份系統組合而成。

Ø 負載均衡

負責將門店終端的請求按必定的算法，轉發到多個相同的後端應用。負載均衡實際包含三個功能：負載均衡、健康檢查及失敗切換。

• 負載均衡：多個後端分擔負載，以支持更大規模的訪問及業務請求；

• 健康檢查：後端服務某一個或者幾個出現故障，負載均衡器會自動把故障系統從轉發隊列裏面自動清除；後端服務恢復正常後，其又會自動加入到轉發隊列；

• 失敗切換：負載均衡器是成對出現的，通常設置爲一主一備，一旦主負載均衡出現故障，輔助負載均衡自動接替其工做。

Ø 超融合私有云

三臺或者三臺以上配置較高的物理服務器，組成去中心化的集羣、去中心化的存儲，只要組成集羣的最小單位存在，整個集羣就不會奔潰；運行在物理節點的虛擬機若是設定了HA（高可用），一旦物理機發生故障，這些虛擬機將自動漂移到運行正常的其它物理節點上。

超融合由以下幾個特色：

• 去中心化：沒有專門的控制節點，無需考慮控制節點的單點問題。

• 去集中存儲：傳統的私有云集羣架構，保障可用性是以共享存儲方式實現的。但共享存儲自己就是單點，雖然能夠以多磁盤冗餘已經雙控制器的方式提升可用性，但仍然存在IO集中、性能沒法提高的困境。

• 更低的建設成本：去掉昂貴的中心化存儲，磁盤分佈到本地物理服務器，投資成本大幅度下降。

• 在線擴容：不中止服務，對物理機配件（內存、cpu等）進行擴容，甚至新增物理節點。

  
  

Ø 系統監控

對主機資源（包括物理節點、虛擬機節點）運行情況進行實時監控、對應用或者服務進行實時監控，一旦出現故障，能及時有效的告警。

Ø 數據備份

備份包括兩部分，一是對重要的虛擬機進行備份，另外一個是對應用數據進行備份。虛擬機備份的目的是爲了故障的快速恢復，應用數據備份是爲了數據的完整性。

有了上述多重保障措施之後，整個平臺的可用性提升了好幾個量級。考慮到一下幾個場景的故障，咱們來進一步進行描述其可用性及可靠性：

• 虛擬機故障。負載均衡發揮做用，客戶端訪問不受影響，業務不會中斷。

• 物理機故障。超融合機制發揮做用，運行其上的應用（包括虛擬機系統）自動漂移，客戶端訪問不受影響，業務不會中斷。

• 集羣總體崩潰。備份系統發揮做用，重構一個新的集羣，以網絡方式掛接上備份數據，web界面選中備份文件，點擊恢復，坐等虛擬機進行快速恢復。傳統的恢復方式大概是這樣的：從新安裝系統à部署應用環境à複製備份數據到目標系統à導入數據à驗證數據有效性、完整性à恢復服務。

• 監控系統是不眠之眼，一旦故障，當即告警，可通知技術人員進行及時修復。

基礎設施

• 負載均衡器

獨立的服務器一對，不須要高配置。推薦配置：單cpu，32g內存，300G 15000轉sas盤（主要數據爲訪問日誌）。

• 超融合私有云

至少四臺物理服務器，數據網絡與集羣網絡分離，建議萬兆網絡，無條件狀況下，也必須保障全千兆。單臺物理服務器具體的配置建議以下：

• Cpu：2顆。單顆核心數10，多線程。

• 內存：至少128G，ddr3也能夠，主要根據主板來定。

• 硬盤：系統盤250G固態硬盤，數據盤4塊或者更多2.4T容量的10000轉sas高性能磁盤（sata盤讀寫性能比較差，不建議使用）。

•  網卡：若是使用萬兆網絡，則需單獨採購網卡及光纖模塊。

  
  

• 數據備份

內存、cpu低配，磁盤用多塊低速大容量sata盤，備份容量大於其它數據之總和。爲了減小備份時間，有效利用存儲空間，並非把全部的數據都進行備份，只要能保證系統發生災難性故障時，能快速對整個系統進行恢復就足夠了。

• 監控系統

單物理機，通常配置便可。爲保證可靠性，可對整個系統進行自動備份。

主要軟件

• 負載均衡

Keepalived + haproxy

• 超融合私有云

• 系統：debian

• 管理平臺：proxmox VE 5.3

• 存儲：ceph

  
  

• 監控系統

• 系統：centos 7

• 管理平臺：centroen 18

  
  

• 備份系統

• 系統：centos 7或者freebsd

• 共享：NFS

  
  

實施步驟

1. 部署超融合私有云

• 初始化集羣、建立ceph存儲（監視器、OSD、POOL）；

•  掛接共享存儲，上傳操做系統ISO；

• 建立虛擬機；

• 安裝虛擬機操做系統；

• 虛擬機設置高可用（HA）。

虛擬機能作成模板、能克隆、能手動遷移、遇物理機能自動漂移爲合格。

2. 部署應用

• 在虛擬機上安裝所需的應用，檢查無誤後作成模版；

• 用模板克隆虛擬機，啓動後更改其網絡地址等，保證虛擬機的惟一性；

• 導入數據；

• 測試服務的正確性。

應用部署由甲方自行完成，乙方配合。

3. 負載均衡

• 安裝系統；

• 安裝軟件；

• 功能配置；

• 功能測試；

  
  

4. 監控系統

• 安裝系統；

• 監控項配置；

• 模擬故障及故障恢復。

  
  

5. 數據備份

• 準備共享空間，並分配好合適的權限；

• 設定自動備份時間；

• 臨時設定一個比較近的時間點，選取少量虛擬機進行備份；

• 檢查自動備份是否如願。

• 手動刪掉已經備份過的虛擬機，用剛纔的數據恢復進行測試，檢驗其可靠性及正確性。

項目交付

• 單項功能所有正常：負載均衡、監控系統、備份、故障轉移等；

• 總體功能正常：終端系統能正常開展各類業務，如收銀、訂單處理、商品錄入等；

• 技術培訓：模塊功能講解、風險告知（哪些功能最好不要輕易去嘗試）、虛擬機管控、數據備份、監控項增長或者減小；

• 免費維護期：自交付之日起三個月。

  
  

需採購硬件

序號	名稱	配置	採購	數量	價格	總價	質保期
1	負載均衡一對	現有設備，內存32G，600G硬盤	無需	0
2	備份服務器	現有設備，內存32G，8-12塊SATA盤	無需	0
3	服務器更換CPU	更換至10H20C CPU 2470V2	需	10
4	服務器增長內存	每臺服務器內存增長至160G	需	20
5	服務器系統盤	服務器使用單獨系統盤，每臺服務器一個，共計5臺服務器	需	5
6	萬兆網卡	10Gb/s萬兆網卡+萬兆光纖跳線	需	5
7	萬兆模塊	10Gb/s萬兆光纖模塊	需	10
8	SAS萬轉硬盤	服務器更換成SAS 萬轉硬盤，提升性能，每臺服務器4個，共計5臺服務器	需	20
9	24口萬兆交換機	24口全萬兆；支持4K個VLAN；支持Guest VLAN、Voice VLAN；支持GVRP協議；支持MUX VLAN功能；支持基於MAC/協議/IP子網/策略/端口的VLAN；支持1:1和N:1 VLAN Mapping功能；MAC特性：支持MAC地址自動學習和老化；支持靜態、動態、黑洞MAC表項；支持源MAC地址過濾； IP路由：靜態路由、RIPv1/二、RIPng、OSPF、OSPFv三、ECMP、ISIS、ISISv六、BGP、BGP4+、VRRP、VRRP6；	根據實際 狀況選擇 16口全 萬兆或者 24口全 萬兆交換 機	1
10	16口萬兆交換機	16口全萬兆；支持4K個VLAN；支持Guest VLAN、Voice VLAN；支持GVRP協議；支持MUX VLAN功能；支持基於MAC/協議/IP子網/策略/端口的VLAN；支持1:1和N:1 VLAN Mapping功能；MAC特性：支持MAC地址自動學習和老化；支持靜態、動態、黑洞MAC表項；支持源MAC地址過濾； IP路由：靜態路由、RIPv1/二、RIPng、OSPF、OSPFv三、ECMP、ISIS、ISISv六、BGP、BGP4+、VRRP、VRRP6；	1
含增值稅總價

項目實施服務

項目實施須要到現場進行，涉及的費用包括路費、住宿費、餐費。因超融合平臺、負載均衡平臺、監控平臺等皆採用開源軟甲，不會產生受權費用；而運行在平臺之上的各類erp等商業應用，受權及費用問題，由項目方自行解決及負責。

名稱	金額
差旅	項目方支付，我方不墊付
實施費用	元，不含稅。
受權	無，需付費的話，項目方自行處理

預計項目實施週期爲兩週。

驗收標準以下：

• 超融合系統

•  能建立虛擬機並安裝操做系統；

•  能遷移虛擬機；

• 能建立模板；

• 能從模板建立虛擬機；

• 能對建立好的虛擬機進行克隆；

•  能銷燬虛擬機；

• 能對虛擬機進行備份；

• 能從備份中恢復虛擬機；

• 關閉物理服務器，運行其上並設定到HA中的虛擬機能自動漂移。

  
  

• 負載均衡

• 健康檢查：關閉某一個虛擬機或者應用，服務不受影響；

• 失敗切換（一）：關閉主負載均衡，vip自動漂移，轉發服務不受影響；

• 失敗切換（二）：恢復主負載均衡，vip回到主控負載均衡，轉發服務繼續進行。

  
  

• 監控系統

•  能正常添加監控項；

•  能進行語法檢查；

• 模擬主機故障，監控能實時告警；

•  模擬服務故障，監控能實時告警。