重啓K8S節點部分pvc不能正常掛載

Tags： 重啓K8S節點部分pvc不能正常掛載
重啓K8S節點部分pvc不能正常掛載
===
在本文中重點講一下重啓K8S節點以後部分pvc不能正常掛載的解決方案；

1. 故障發生：

  咱們一臺k8s計算節點出現故障，強制重啓以後，有一個gitlab的pod啓動的時候，經過kubectl describe pods gitlab查看的日誌老是有報錯：

Multi-Attach error for volume "pvc-76b54b6c-df46-11e7-a2f0-005056b12f99" Volume is already exclusively attached to one node and can't be attached to another

2. 故障處理：

查看pv對應哪一個rbd image,這個命令在安裝kubectl命令的k8s節點執行

kubectl get pv pvc-1557d839-714f-11e9-8d1a-5065f3457c8c -o go-template='{{.spec.rbd.image}}'

根據上一步輸出的結果，在ceph節點上面查看rbd image的watcher，-p指定pool

sudo rbd status kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56 -p kube

根據輸出的結果，登陸到那臺機器上面，在查看rbd images mapped關係

sudo rbd showmapped | kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56

最後一步，根據上一步命令的執行結果，在這臺機器上面卸載rdb imags

sudo rbd unmap /dev/rbd8

而後再重啓pod，發現pvc能夠正常掛載了；

博文的更詳細內容請關注個人我的微信公衆號 「雲時代IT運維」,本公衆號旨在共享互聯網運維新技術，新趨勢； 包括IT運維行業的諮詢，運維技術文檔分享。重點關注devops、jenkins、zabbix監控、kubernetes、ELK、各類中間件的使用，好比redis、MQ等；shell和python等運維編程語言；本人從事IT運維相關的工做有十多年。2008年開始專職從事Linux/Unix系統運維工做；對運維相關技術有必定程度的理解。本公衆號全部博文均是個人實際工做經驗總結，基本都是原創博文。我很樂意將我積累的經驗、心得、技術與你們分享交流！但願和你們在IT運維職業道路上一塊兒成長和進步；