ESXi集羣配置一例（HP C7000+DELL EQlogic+HUAWEI 6700）轉載老管網絡日誌

轉載老管網絡日誌    

    本案例爲ESXi集羣的一個例子，正如[VMware集羣常見硬件配置、架構說明]說的，此架構應該爲第4種安全，即「刀片服務器+IPSAN萬兆存儲+萬兆核心交換機 」。這裏的刀片服務器爲HP C7000，IPSAN萬兆存儲爲DELL EQlogic，萬兆存儲交換機爲華爲S6700。

說明：該文檔只會描述案例的整個架構，以及如何實現等，不會涉及詳細的配置說明，如需瞭解請網上自行搜索相關設備的教程，具體內容以下：

 

1、案例概述

該案例主要搭建一套小型的私有云中心，以給須要計算資源的單位提供相應的服務。將硬件資源（刀片服務器、存儲等）經過VMware的虛擬化軟件來實現。

2、系統拓撲圖

 

3、設備清單

一、刀片服務器

兩臺HP C7000刀片機箱，每機箱配置8個刀片服務器及四個VC模塊，具體以下：

（1）HP C70000刀箱 * 2 
（2）BL420c刀片 * 8 （每刀片配置兩顆CPU、128G內存、4個10GB以太網卡） 
（3）HP Virtual Connect FlexFabric 10Gb/24-port Module模塊 * 4 
（4）其它（OA管理模塊、電源、風扇等）

 

二、DELL EQlogic存儲

存儲共配置了6個盤櫃，三個爲高速盤櫃（PS6110XV，雙控制器、8G緩存、24× 600GB 15Krpm SAS熱插撥硬盤），三個爲低速盤櫃（PS6110E，雙控制器、8G緩存、24× 3TB 7.2Krpm NL-SAS熱插撥硬盤）

（1）DELL EQLogic PS6110XV * 3 
（2）DELL EQLogic PS6110E * 3

三、華爲S6700萬兆交換機

共配置了兩臺，具體以下

（1）華爲 S6700-48-EI * 2 （配置48個萬兆SFP接口、支持三層交換）

四、虛擬化軟件VMware

虛擬化軟件採用的VMware vSphere 5.0 Enterprise，32個CPU受權（16個刀片，每刀片2個CPU）。

 

4、詳細連線圖

以太網業務網絡和IP SAN網絡都先鏈接至華爲S6700萬兆交換機上，業務網絡核心交換機華爲S9312再與S6700萬兆交換機經過4根10GB光纖相連。各網絡經過VLAN來隔離。刀片的VC模塊多根線鏈接至S6700時，鏈接在S6700上的多個端口須要作端口聚合（華爲交換機中稱E-trunk）。

 

5、網絡劃分

在一個私有云中，不單有存儲網絡及業務網絡，還有其它一些輔助的網絡，如VMware管理網絡、VMware vMotion網絡、存儲管理網絡等。這次具體劃分以下：

（1）VMware集羣管理，IP：172.22.228.0/128，網關：172.22.228.1，VLAN ID：228 
（2）業務網絡，IP：172.22.227.0/24，網關：172.22.227.1，VLAN ID：227 
（3）vMotion網絡，IP：10.100.100.0/24，網關：無，VLAN ID：3000 
（4）Iscsi存儲管理網絡，IP：172.22.228.128/128，網關：172.22.228.129，VLAN ID：229 
（5）Iscsi存儲業務網絡，IP：10.200.88.0/22，網關：無，VLAN ID：3088

5、HP VC模塊網絡配置

從詳細鏈接圖中可看出，每一個刀箱配置了四個VC模塊，兩個模塊用於以太網鏈接，兩個模塊用於IP SAN鏈接。

在整個配置過程當中，惟一與傳統服務器不一樣的是網絡的鏈接方式。傳統服務器只需將網絡接入服務器的物理網口便可。但本項目中HP刀片服務器使用了VC模塊來接入網絡。 
每臺刀片服務器配置了2塊雙端口刀兆物理網卡，即有4個物理網口。每一個物理網口需有一個VC模塊來對應，VC模塊以下圖所示：

因此每一個刀箱配置了4個VC模塊。每一個刀片的1個物理網口經過VC模塊，能夠虛擬出4個虛擬網口（4個虛擬網口總帶寬仍爲10GB），即4個物理網口能夠虛擬出16個虛擬網口。虛擬的網口帶寬能夠隨意分配，如1G+3G+3G+3G=10GB，固然也能夠虛擬成三塊，如1G+3G+6G=10G。 
刀片的4個物理網卡由兩塊雙端口的卡組成，第一塊接在主板上，稱爲LOM，第二塊接入Mezz插槽，稱爲Mezz Slot1插槽。在VC中LOM網卡的第一塊標記爲LOM:1，第二塊爲LOM:2。Mezz Slot1在VC中第一塊標記爲Mezz1:1，第二塊爲Mezz1:2。以下圖所示。

在VC中，每一個物理端口都被分紅了a、b、c、d四個虛擬網口，例如LOM:1網口就被虛擬成：LOM:1-a、LOM:1-b、LOM:1-c、LOM:1-d。其它三個網口以此類推，則16塊虛擬網卡以下圖所示。

咱們知道，在VMware中，網卡的序號是vmnic0、vmnic一、 vmnic2這樣順序排下去的。在VC中，每一個虛擬網卡如LOM:1-a也有一個序號。這三者之間的關係以下圖所示。

在整個VMware集羣中，網絡分爲管理網絡、業務網絡、vMotion網絡及Iscsi存儲網絡。對應的帶寬分配以下：

一、VMware管理網絡，帶寬1+1=2GB，VLAN ID：228 
二、業務網絡，帶寬6+6=12GB，VLAN ID：227 
三、vMotion網絡，帶寬3+3=6GB，VLAN ID：3000 
四、iSCSI存儲網絡，帶寬10+10=20GB，VLAN ID：3088

VMware四部分網絡對應刀片的網口劃分以下圖所示：

綜合上面的對應表，即能得出本案例網卡對應表，以下：

 

6、DELL EQLogic存儲規劃、配置

共配置了6個盤櫃，存儲的網絡劃分紅管理網絡和存儲網絡兩類，管理網絡經過一個單獨的交換機，將6個盤櫃鏈接起來，網絡地址爲172.22.228.128/128。存儲網絡地址爲10.200.88.0/22，存儲服務地址爲10.200.88.200/22。詳細以下：

一、拓撲

兩臺華爲的6700交換機，存儲有兩個控制器，接入規劃爲每一個盤櫃的控制器A接入第一臺華爲6700的交換機上，每一個盤櫃的控制器B接入第二臺華爲6700交換機上。如上圖所示。

二、存儲管理網絡

（1）PS6110XV-1（高速櫃1），管理IP：172.22.228.201/128，VLAN ID：229 
（2）PS6110XV-1（高速櫃1），管理IP：172.22.228.202/128，VLAN ID：229 
（3）PS6110XV-1（高速櫃1），管理IP：172.22.228.203/128，VLAN ID：229 
（4）PS6110E-1（低速櫃1），管理IP：172.22.228.204/128，VLAN ID：229 
（5）PS6110E-1（低速櫃1），管理IP：172.22.228.205/128，VLAN ID：229 
（6）PS6110E-1（低速櫃1），管理IP：172.22.228.206/128，VLAN ID：229

 

三、存儲業務網絡

存儲業務網絡只有一個IP地址，爲10.200.88.200/22，全部須要訪問存儲空間的設備只需訪問該IP地址便可。

四、存儲LAN劃分規劃

（1）高速盤

高速盤用於對數據讀寫要求高的分配，如虛擬機的操做系統等。

序號	分區名稱	分區大小	盤類型	用途
1	Cluster1-EQL_Datastore01	800GB	高速盤	虛擬機建立
2	Cluster1-EQL_Datastore02	800GB	高速盤	虛擬機建立
3	Cluster1-EQL_Datastore03	800GB	高速盤	虛擬機建立
4	Cluster1-EQL_Datastore04	800GB	高速盤	虛擬機建立
5	Cluster1-EQL_Datastore05	800GB	高速盤	虛擬機建立
6	Cluster2-EQL_Datastore01	800GB	高速盤	虛擬機建立
7	Cluster2-EQL_Datastore02	800GB	高速盤	虛擬機建立
8	Cluster2-EQL_Datastore03	800GB	高速盤	虛擬機建立
9	Cluster2-EQL_Datastore04	800GB	高速盤	虛擬機建立
10	Cluster2-EQL_Datastore05	800GB	高速盤	虛擬機建立

說明：劃分分區時名稱帶有cluster1和cluster2，是由於VMware到時建立兩個HA，8個ESXI刀片主機爲一個HA，cluster1的lun只能讓VMware的cluster1能夠訪問，cluster2只能讓VMware的cluster2能夠訪問。

（2）低速盤

低速盤用於存儲視頻等大容量的空間應用。

序號	分區名稱	分區大小	盤類型	用途
1	DC1_ISO_Datastore01	800GB	低速盤	軟件、鏡像存放

 

五、存儲管理

存儲管理是經過WEB界面來管理，能夠經過服務器10.200.88.200來管理，如https://10.200.88.200，也能夠經過存儲管理地址來訪問，如172.22.228.201等地址。默認用戶名密碼爲：grpadmin/password，進入後，就能夠對存儲進行管理。

 

6、華爲萬兆交換機規劃、配置

兩臺華爲交換機做爲業務網絡及存儲網絡的基礎，起着十分重要的做用。交換機自己只做爲二層交換機使用，經過VLAN來隔離不一樣的網絡。

型號爲華爲S6700-48-EI，帶有48個SFP萬兆插槽、包轉發率：715Mpps、交換容量：960Gbps。

在交換機上建立五個VLAN，227 228 229 3000 3088。

交換機端口鏈接、劃分表：

一、VMware管理網絡

S67000-01：11口（接HP C7000-01 VC01 X1口） 
S67000-01：19口（接HP C7000-02 VC01 X1口） 
S67000-02：11口（接HP C7000-01 VC03 X1口） 
S67000-02：19口（接HP C7000-02 VC03 X1口）

二、vMotion網絡

S67000-01：12口（接HP C7000-01 VC01 X2口） 
S67000-01：20口（接HP C7000-02 VC01 X2口） 
S67000-02：12口（接HP C7000-01 VC03 X2口） 
S67000-02：20口（接HP C7000-02 VC03 X2口）

三、業務網絡

S67000-01：13口（接HP C7000-01 VC01 X3口） 
S67000-01：14口（接HP C7000-01 VC01 X4口） 
S67000-01：15口（接HP C7000-02 VC01 X3口） 
S67000-01：16口（接HP C7000-02 VC01 X4口） 
S67000-02：13口（接HP C7000-01 VC03 X3口） 
S67000-02：14口（接HP C7000-01 VC03 X4口） 
S67000-02：15口（接HP C7000-02 VC03 X3口） 
S67000-02：16口（接HP C7000-02 VC03 X4口）

四、存儲網絡

S67000-01： 7口（接HP C7000-01 VC02 X1口） 
S67000-01： 8口（接HP C7000-01 VC02 X2口） 
S67000-01：17口（接HP C7000-01 VC02 X3口） 
S67000-01：18口（接HP C7000-01 VC02 X4口） 
S67000-01： 9口（接HP C7000-02 VC02 X1口） 
S67000-01：10口（接HP C7000-02 VC02 X2口） 
S67000-01：21口（接HP C7000-02 VC02 X3口） 
S67000-01：22口（接HP C7000-02 VC02 X4口） 
S67000-02： 7口（接HP C7000-01 VC04 X1口） 
S67000-02： 8口（接HP C7000-01 VC04 X2口） 
S67000-02：17口（接HP C7000-01 VC04 X3口） 
S67000-02：18口（接HP C7000-01 VC04 X4口） 
S67000-02： 9口（接HP C7000-02 VC04 X1口） 
S67000-02：10口（接HP C7000-02 VC04 X2口） 
S67000-02：21口（接HP C7000-02 VC04 X3口） 
S67000-02：22口（接HP C7000-02 VC04 X4口）

VMware管理網絡及 vMotion網絡都是VC上單線接入S6700交換機，因此S6700上不用作端口聚合。而業務網絡和存儲網絡都是同一VC設備上多根接入S6700交換機，則須要作端口鏈路聚合。具體以下：

一、S6700-01交換機上的端口聚合列表：

（1）1三、14口作成E-trunk 11，對應HP C7000-01 VC01 X3 X4兩端口 
（2）1五、16口作成E-trunk 13，對應HP C7000-02 VC01 X3 X4兩端口 
（3）七、八、1七、18口作成E-trunk 12，對應HP C7000-01 VC02 X1 X2 X3 X4四端口 
（4）九、十、2一、22口作成E-trunk 14，對應HP C7000-02 VC02 X1 X2 X3 X4四端口 
（5）4一、4二、4三、44口作成E-trunk 5，對應以太網核心S9312交換機的0-3四端口 
（6）4七、48口作成E-trunk 30，對應S6700-02交換機的4七、48兩端口

二、S6700-02交換機上的端口聚合列表：

（1）1三、14口作成E-trunk 11，對應HP C7000-01 VC03 X3 X4兩端口 
（2）1五、16口作成E-trunk 13，對應HP C7000-02 VC03 X3 X4兩端口 
（3）七、八、1七、18口作成E-trunk 12，對應HP C7000-01 VC04 X1 X2 X3 X4四端口 
（4）九、十、2一、22口作成E-trunk 14，對應HP C7000-02 VC04 X1 X2 X3 X4四端口 
（5）4一、4二、4三、44口作成E-trunk 6，對應以太網核心S9312交換機的4-7四端口 
（6）4七、48口作成E-trunk 30，對應S6700-01交換機的4七、48兩端口

華爲交換機端口聚合E-trunk配置舉例：

interface Eth-Trunk11 
description to-hp-c7000-01-vc01-eth_x3x4_ethernet 
port link-type trunk 
port trunk allow-pass vlan 227 to 228 3000 
mode lacp-static 
# 
interface XGigabitEthernet0/0/13 
eth-trunk 11 
# 
interface XGigabitEthernet0/0/14 
eth-trunk 11 
#

 

7、VMware集羣規劃、配置

案例中共有ESXi主機16臺，規劃爲第一個刀箱的前四個刀片與第二個刀箱的前四個刀片組成一個VMware HA，名稱爲Cluster1，第一個刀箱的後四個刀片與第二個刀箱的後四個刀片組成另外一個HA，名稱爲Cluster2，加強冗餘性，以下圖所示。

 

一、集羣概覽

域：cloud.xxx.cn 
數據中心名稱：DC1 
集羣1名稱：Cluster1 
集羣1主機數：8臺 
集羣1資源：

集羣2名稱：Cluster2 
集羣2主機數：8臺 
集羣2資源：

集羣一、2存儲資源：

集羣一、2網絡以下圖，存儲網絡、VMware管理網絡使用標準交換機，業務網絡採用分佈式交換機dvSwitch1。

 

二、集羣網絡配置

正如上面講到的，每一個刀片都會認到8個可用的網卡，以下圖，爲vmnic0、vmnic一、vmnic二、vmnic四、vmnic八、vmnic九、vmnic十、vmnic12，在集羣網卡配置時，只需將當時規劃好的網卡綁定在一塊兒便可。以下：

（1）VMware管理網絡：vmnic0、vmnic8 
（2）vMotion網絡：vmnic四、vmnic12 
（3）業務網絡：vmnic二、vmnic10 
（4）iSCSI存儲網絡：vmnic一、vmnic9

 

三、集羣管理機規劃、配置

案例中的管理機如域控、vCenter服務器都架設中虛擬機中，不單獨使用物理機來架設。清單以下：

序號	服務器名稱	服務器IP	網關
1	域控服務器-01	172.22.228.2	172.22.228.1
2	域控服務器-02	172.22.228.3	172.22.228.1
3	vCenter數據庫	172.22.228.101	172.22.228.1
4	vCenter服務器	172.22.228.100	172.22.228.1
5	vcops服務器	172.22.228.110  172.22.228.111	172.22.228.1

 

該案例整個架構及實現方式介紹就此結束，整個案例的複雜點應該是在HP的VC模塊與VMware結合的配置。因接觸也不深，文中不免有問題，僅供參考！

參考文章：

一、HP刀片服務器系統Flex-10 VC配置與VMware vSphere網絡設計

二、Understanding HP Flex-10 Mappings with VMware ESX/vSphere

標籤：eqlogic, hp c7000, huawei, vmware, 雲計算, 私有云
Category: 3. 配置筆記, 8. 虛擬化VMware/雲計算  |  3 Comments

HP C7000上的BL420c刀片安裝ESXi5

2014 年 1 月 22 日, 下午 11:48

打開刀片的KVM控制檯，以下圖，選擇[Virtual Drives] –> [CD/DVD] –> [Virtual Image]

選擇ESXi安裝ISO文件，這裏爲HP定製版ESXi，以下圖所示。

重啓後，就直接進入ESXi的安裝界面。

標籤：esxi, hp c7000
Category: 3. 配置筆記, 8. 虛擬化VMware/雲計算  |  Comment

HP C7000初始化配置

2014 年 1 月 22 日, 下午 11:24

HP C7000爲模塊化的刀片服務器，機箱高度10U，能夠插16臺半高的刀片服務器，以下圖，即爲插了8臺刀片服務器。

刀箱後背箱能夠插風扇、電源，以及I/O模塊（包括網絡、SAN交換機），以及用於管理刀片的OA模塊。

將相應的模塊（包括電源、風扇、I/0、刀片服務器）都插入刀箱後，開始對機箱進行上電工做，而後進行初始化配置工做。

一、配置OA（Onboard Administrator的縮寫）管理地址

經過機箱前面的小液晶屏設置管理控制器OA的IP地址，先選中enclosure settings，設置OA 1 IP地址，由於本刀箱沒有配置第二個OA管理卡，因此只需設置OA 1 IP便可，完成後，選擇Accept All。以下圖：

 

二、登錄刀箱管理，進行設置

將以下圖的OA管理口與一臺筆記本相連

而後在筆記本上打開IE瀏覽器，輸入https://10.0.0.1，初始用戶名密碼在刀箱的卡片上有，進入後，就能夠對刀箱的I/O模塊進行設置。

 

三、配置刀片服務器的iLO4地址，用於管理刀片

將刀片服務器的八爪魚與顯示器鍵盤相連，而後將該刀片開機，當運行至以下圖時，按F8進入刀處iLO4的配置

進入配置界面後，選擇[Network] –> [DNS/DHCP]，在DHCP Enable中變動爲OFF，以下圖所示

關閉DHCP後，在進入[Network] –> [NIC and TCP/IP]，設置iLO4的管理IP，這裏爲10.0.0.112，以下圖所示，完成 後，選擇EXIT退出便可。

完成後，再次進入刀箱的管理界面，進入[Device Bays]菜單欄，就能看到8個刀片的選項，選擇剛纔設置iLO4的12號刀片，以下圖，能夠看到IP地址已爲10.0.0.112，點擊Remote Console就能打開該刀片的KVM界面。

該界面是依託JAVA程序來打開，因此管理計算機上須要有JAVA程序支持，打開後，就會出現以下圖的界面，該界面即爲刀片服務器的KVM界面。可用於RAID的設置、安裝操做系統等之用。

在KVM界面中，也能夠看到iLO 4的IP地址已經設置爲10.0.0.112。