ZFS存儲池zpool丟失恢復及Gluster卷自愈

現象

存儲節點pods01的機器出現異常沒法鏈接，重啓。

恢復

• 重啓後zpool沒法訪問，運行 df -h ，發現zpool不見了。
• 使用zdb查詢發現全部的配置信息都在。查閱網絡，使用zpool import能夠恢復，但試了屢次，不成功。
• 而後運行 sudo mount -a，再運行 df -h ，發現 zpool 回來了。
• 再次重啓機器後，運行正常，zpool能夠訪問。

zpool Import命令格式和參數：

import [-d dir] [-D]
import [-d dir | -c cachefile] [-F [-n]] <pool | id>
import [-o mntopts] [-o property=value] ... 
    [-d dir | -c cachefile] [-D] [-f] [-m] [-N] [-R root] [-F [-n]] -a
import [-o mntopts] [-o property=value] ... 
    [-d dir | -c cachefile] [-D] [-f] [-m] [-N] [-R root] [-F [-n]]
    <pool | id> [newpool]

單獨運行import獲得zpool狀態：

supermap@pods01:/etc/netplan$ sudo zpool import
[sudo] supermap 的密碼： 
   pool: zpool
     id: 5005088901231101042
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

	zpool       ONLINE
	  sda       ONLINE
	  sdb       ONLINE
	  sdc       ONLINE
	  sdd       ONLINE
	  sde       ONLINE
	  sdf       ONLINE
	  sdg       ONLINE
	  sdh       ONLINE

而後，運行 zpool import zpool來恢復zfs存儲池（我這裏的名稱是zpool）。

結果

過完元旦後，再次開機，又沒法開機了。

繼續測試。

後續

從新啓動，能夠運行，登陸進去。

運行 df -h，沒有/zpool。

運行 zpool import zpool 一天一晚上，進程沒有結束（硬盤燈沒有活動），只好ctrl+c強行終止。

從新建立zpool（注意：數據會丟失！），運行：

sudo zpool create zpool /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh -f

運行 df -h，/zpool出現。

恢復Gluster卷：

# 查看卷狀態
gluster volume status

#移除節點的brick
gluster volume remove-brick zpool 10.1.1.193:/zpool/gvz00

#從新添加brick
gluster volume add-brick zpool 10.1.1.193:/zpool/gvz00

自動掛載：

# 建立掛載點目錄
/home/supermap/gvz00

# 編輯/etc/fstab文件，加入
10.1.1.193:/gvz00 /home/supermap/gvz00 glusterfs _netdev,rw,acl 0 0

查看信息：

ls -l ~/gvz00

若是訪問正常，恢復存儲系統完畢，下一步將進行數據的恢復（若是使用的是卷類型複製數據集，將會自動啓動healing自愈過程）。

參考

• Oracle Solaris ZFS 故障排除和池恢復，https://docs.oracle.com/cd/E19253-01/819-7065/6n91mt1gr/index.html
• ZFS 池損壞恢復，https://blog.csdn.net/dazuiba008/article/details/70799907
• GlusterFS的一次節點重置和恢復
• ZFS最佳實踐指南
• 分佈式存儲系統GlusterFS最新版本安裝
• Ubuntu上使用ZFS（Zettabyte File System）
• 提高ZFS性能的10個簡便方法
• ZFS快速安裝和性能測試
• 向分佈式存儲系統的遷移-使用ZFS/Gluster
• 解決 ZFS 存儲設備問題
• 經過GlusterFS黏合多節點SSD剩餘空間
• ZFS-自我恢復RAID