vSAN羣集只顯示一個vSAN存儲

在同一個vSphere數據中心中，若是建立多個vSAN羣集，那麼每一個vSAN羣集的ESXi主機應該都是全新安裝的操做系統。若是從一個vSAN羣集中移除ESXi主機，再在同一個數據中心中建立新的vSAN羣集，那麼只會顯示一個vSAN存儲，而且vSAN存儲的容量大小顯示不正確。近期在使用vSphere 6.7.0 U3進行測試時就出現了這個故障，如今將實驗回顧一下，但願對其餘讀者有所幫助。在本次實驗中，ESXi版本號爲6.7.0-14320388，vCenter Server版本號爲6.7.0-14368073，這是vSphere 6.7.0 U3的版本。

1 問題現象

當前有一個vSAN的實驗環境，4臺ESXi主機，管理地址分別是172.18.96.41～44，vSAN的地址是192.168.0.41～44，vSAN專門用了一臺萬兆交換機。管理地址接到另外一臺千兆交換機上。每臺機器64G內存，每臺機器一個磁盤組，1塊SSD、2塊2TB，這臺vSAN使用正常。正常狀況下vSAN存儲的容量是14.55TB。

而後在這個vCenter中，添加了一個新的羣集，2節點vSAN。每臺ESXi主機96G內存，這2臺主機vSAN流量網卡使用光纖直連（萬兆網卡）。每臺1個磁盤組，1個SSD，3塊2TB。見證主機在另一臺單獨的ESXi主機中。正常狀況下這個vSAN存儲的容量是10.92TB。

自從這個vSAN羣集添加以後，在vSphere Client中，不管是瀏覽原來的vSAN羣集仍是瀏覽如今的這個新添加的vSAN羣集，顯示的vSAN存儲只有後來添加的這一個了（容量爲10.92TB）。如圖一、圖二、圖3所示。

圖1 數據中心中查看存儲

圖2 2節點直連看存儲

圖3 原來的vSAN存儲

原來的vSAN羣集磁盤管理、vSAN監控信息都正常，如圖4所示。

圖4 原來的vSAN磁盤管理

第2個vSAN羣集磁盤管理中顯示也是正常，如圖5所示。

圖5 第2個vSAN羣集磁盤管理

使用SSH登陸第一個vSAN羣集中的其中一臺主機，執行esxcli vsan cluster unicastagent list，看到單播信息正常，如圖6所示。

圖6

登陸第2個vSAN羣集中的一臺主機，例如172.18.96.45，信息也正常，如圖7所示。

圖7

圖8 第1個vSAN羣集2 vSAN監控

圖9 第2個vSAN羣集

嘗試將第2個vSAN羣集移除後，第1個vSAN羣集vSAN存儲顯示爲0（如圖10所示），禁用HA再啓用後恢復正常。

圖10 vSAN存儲爲0

圖11 從新配置HA後正常

而後再次在數據中心中新建vSAN羣集，添加2節點主機以後故障再次出現。

2 建立多個數據中心

由於前面的實驗是在同一個數據中心中建立多個羣集。接下來建立了2個數據中心，每一個數據中心各放一個vSAN羣集。在添加vSAN羣集時，仍然是使用相同的實驗主機。但本次實驗發現，在同一個vCenter中建立多個數據中心、每一個數據中心有一個vSAN羣集時，每一個數據中心中vSAN存儲顯示正常。如圖12所示，圖中一共有3個數據中心，每一個數據中心中有一個vSAN羣集，在vCenter一級能夠顯示出3個vSAN存儲。

圖12 多個數據中心多個羣集顯示正常

既然多個數據中心、多個羣集，vSAN存儲顯示正常，那麼在同一個數據中心多個羣集應該也能夠。由於之前作過相似的實驗。之前vSphere 6.五、vSphere 6.7的時候都作過，只是此次vSphere 6.7.0 U3出錯，覺得是新版本的bug。

後來我想，這些計算機最初都是在一個vSAN羣集中，最初這是一個由12臺主機組成的vSAN羣集，只是最後從羣集中移除了8臺主機，將vSAN羣集收縮到4臺。從羣集中移除的這8臺ESXi主機也沒有從新安裝系統，會不會是這個緣由呢？

而後我只保留172.18.96.41～172.18.96.44的vSAN羣集，其餘主機所有從新安裝。在從新安裝後，在一個數據中心中建立2個羣集，每一個羣集添加不一樣的ESXi主機並配置vSAN，此次實驗以後發現，實驗成功，如圖13所示。

圖13 實驗成功