沒有執行過rm -rf /*的開發不是好運維

沒有執行過rm -rf /*的開發不是好運維

原由

忽然收到用戶反饋說網站在手機端打開是白屏, 很奇怪的問題.

在電腦端試了下,確實也是白屏,HTML加載進來了,好像有個核心JS加載失敗.

看到一個錯誤是: We're sorry but house doesn't work properly without JavaScript enabled. Please enable it to continue.

還有一個http請求的錯誤是: ERR_INCOMPLETE_CHUNKED_ENCODING

因而嘗試了一下的解決方案:

• 無腦重啓看看能不能解決問題?重啓了一下對應Docker容器,無果
• 多是如今版本引入的Bug?回滾代碼從新build,無果.
• nginx的問題? 重啓nginx,無果.
• 查看nginx日誌,沒什麼有用的東西,無果.

靈機一閃,不會是磁盤空間滿了吧.

df -h 看了一眼,99.99%的磁盤使用率.

某個Docker容器的磁盤空間用掉了34G.

看一眼Docker容器,直覺告訴我應該是Elasticsearch服務...

不算過重要的服務,先停了清理空間再說.

刪掉了容器刪了data文件,重啓nginx,一切都正常Work了.

問題解決!!!

不過Elasticsearch總要從新回覆回來嘛,看了下騰訊云云硬盤盤價格,也不是很貴嘛.

單獨給Elasticsearch 起個數據盤吧.

做死開始

首先根據騰訊雲的指示,掛在了數據盤到服務器上面.

而後給數據盤分區,接着mount到對應的路徑.

嗯,好像有個警告.

難道不是這個磁盤麼?換另一個看看.

執行另一個mount.

全程命令以下:

進入對應目錄清空一下雲盤數據吧.(PS:腦子有病才作這個,剛剛初始化的雲盤哪有東西.)

ls 看一下,咋這麼多奇奇怪怪的文件,難道是原來Elasticsearch docker 容器留下來的.

先刪了再說.

執行 rm -rf ./*

咦,怎麼有文件busy沒法刪除.

額,咋ls都沒有了.

哈?cat 也沒有了.

噗,copy也炸了.

cd 還在.

哇卡,這可咋辦了.

先覆盤一下作了什麼事情

• 初始化磁盤的時候沒有格式化,可是mount失敗
• mount失敗後沒有檢查緣由,直接嘗試把另外一個磁盤mount進去
• mount系統盤到指定文件夾後並無檢查內容,直接rm -rf ./*
• rm -rf ./* 此時已經基本沒救了

拯救嘗試

還在跑的服務基本是活着的，因此暫時來講API和Web網站都是好的。

服務器上面跑的基本都是Docker容器, Docker鏡像都在阿里雲上面存着，基本不怕丟失的問題。

不過應用配置文件/服務器證書之類的東西都在上面，這個估計要折騰一下了。

cd 還能用，ls沒了，cat也沒了。

嘗試cat xxx.conf也沒用了,難道只能一點點翻配置文件麼.

羣裏的朋友提了一句，看看你的雲盤有沒有備份之類的.

咦,好像兩個星期前找騰訊雲技術支持的時候作過一次系統鏡像.

是否是能夠直接拿回來直接用?

看了下具體的鏡像版本和備註信息,看起來那時候上面的內容和如今的估計沒太多變化.

直接重裝以後更新一下各個服務的鏡像到最新版本應該就行了.

放棄拯救,直接使用備份的系統鏡像重裝

Work...

系統備份鏡像拯救世界!!!

後續操做 + 總結

• 數據盤和系統盤分開,不要讓程序的數據致使系統不可用
• 在費用容許的狀況下設置磁盤快照策略,我這邊最極端的狀況下也應該能回滾到一個星期前的版本
• 下次大影響操做前先手動備份系統鏡像,救命稻草通常的存在.