【故障公告】新版博客後臺部署時的配置問題引起故障

最近,咱們對新版博客後臺(Angular 8.2.7 + .NET Core 3.0)進行了灰度發佈,若是您訪問博客後臺時跳轉到 https://i-beta.cnblogs.com/ ,說明使用的就是新版博客後臺。git

今天咱們在一次基於 gitlab-ci 的自動化發佈過程當中,因爲操做問題在發佈前沒有對 appsettings.Production.json 的修改進行保存,形成容器在啓動時使用了舊版的配置文件,再加上容器的健康檢查不能檢查出這種不正常狀況(這個地方的改進還沒完成),最不應的是在發佈後沒有對關鍵功能進行測試驗證以及值班人員沒有及時處理用戶反饋,從而形成 18:22~19:27 期間使用新版博客後的用戶沒法正常發佈博文,很是抱歉由此給您帶來了麻煩,請您諒解。docker

咱們會吸收教訓,並採起如下改進措施:json

  • 更高優先級改進健康檢查。一是容器的健康檢查,二是阿里云云監控的健康檢查。當關鍵功能不可用時,讓健康檢查失敗(以前的健康檢查沒有對業務功能進行檢查)。這樣發佈時若是出現問題,容器健康檢查失敗,docker swarm 就不會部署新容器。當正在運行的容器出現問題影響關鍵功能的使用時及時報警。
  • 儘量實如今生產環境發佈後用「機器人」對關鍵功能進行測試驗證。
  • 每次自動化發佈時在值班羣發消息通知值班人員留意用戶反饋。
相關文章
相關標籤/搜索