如何運用結構化思惟進行故障處理

導讀：運用結構化思惟進行故障處理，其目的是爲了將故障應急操做標準化，進而提高處理效率。

近期收到朋友贈送的一本書—《深刻淺出MySQL》。閒暇之餘，閱讀了部分章節，書中針對故障處理一節，給我印象頗深。書中提煉出的一些方法論，正是我以前在團隊中推廣的方法。其目的是爲了將故障應急操做標準化，進而提高處理效率。推而廣之，這實際上是一種結構化思惟在具體工做中的體現。而這種思想在某具體工做、乃至我的、團隊發展等，都可發揮重要做用。特寫下此文。

1、故障處理流程

1.1 示例：數據庫故障處理

下面是來自網易的一些經驗，整理自《深刻淺出MySQL》一書。

1.1.1 事前：故障處理原則

1）溝通第一

在數據庫出現故障時，務必和運維、開發、產品等其餘團隊保持高效溝通。DBA在遇到故障時，必定不要忘了溝通的重要性，即便時間緊迫，簡要的溝通每每也能帶來事半功倍的效果。從長遠來看，也有利於培養和其餘人、其餘團隊之間的合做和信任關係。

2）關注人爲

人爲故障佔有不小的比例。要經過及時溝通並查看歷史記錄，確認操做是否有誤、要和其餘團隊溝通是否有特殊操做。固然，解決人爲故障最好的方法仍是將數據庫運維自動化、標準化、規範化。

3）快速恢復

在處理故障的時候，要明確的一個思路是要優先恢復服務，確保服務的最大可用性，其餘的不必定要優先考慮。

4）三思後行

有些故障處理方式，可能對數據庫形成難以恢復的影響，務必慎重，並儘可能作好備份。對於操做自己不熟悉帶來額外的問題，要儘可能避免。認真考慮命令可能帶來的後果，避免對系統形成二次傷害。

5）服務分級

平時應當對服務、應用、數據庫作好分級，一旦出現大面積故障，能夠按照服務的優先級來恢復核心業務。

1.1.2 事中：故障處理流程

1）故障發現

• OS指標

  • 負載
  • CPU使用率
  • 磁盤空間
  • IO使用率
  • SWAP使用狀況

• DB指標

  • 數據庫存活
  • 鏈接數
  • 慢SQL
  • 主從延遲

2）故障定位

• 檢查操做

  • 程序發佈
  • 在線表變動
  • 在線數據修改
  • 後臺任務、數據統計
  • 數據庫參數調整
  • 其餘誤操做

• 檢查OS

  • 系統進程
  • CPU
  • 內存、SWAP
  • IO
  • 系統日誌

• 檢查DB

  • 鏈接
  • 慢查詢
  • 鎖等待
  • QPS
  • 錯誤日誌

1.1.3 過後：故障解決方法

1）慢SQL

• 選擇條件上沒有索引或者索引效率低。
• 有索引，但沒有用到索引，或者選擇了錯誤的索引。
• 過濾條件不強，結果集太大。

2）SQL執行頻率高

• 惡意攻擊
• 緩存失效
• 應用實現邏輯不合理
• 業務量突增

3）鎖衝突

• 大事務
• 熱點問題

4）硬件問題

• RAID卡緩存問題
• 硬件損壞

5）參數不合理

1.2 示例：GP數據庫異常處理（個人經驗）

下面是我在以前單位總結的，針對GP的異常處理流程。圖中的【】部分對應具體的處理步驟（對應腳本或操做文檔）。

從上述兩個示例能夠看出，這是一種"統籌式"的工做方式，而非"應急式"的。它強調的是在出現故障後，按照規劃好的原則、步驟進行分析排查，找出核心問題；而後針對既有問題，再按照已有的相關預案進行處理。同時在處理過程當中，注意規避風險及溝通協調，以期達到故障的快速解決。 顯然這種方式，表明着一種對工做的前瞻力，防患於未然；避免了那種忙於救火，使工做永遠處於被動之中。上述其實就是一種"結構化思惟"的體現。

2、結構化思惟

2.1 什麼是"結構化思惟"？

• 思考的時候沒有邏輯，大多數時候不知道從哪裏下手。
• 講話時沒有條理，費不少口舌卻很難把事說清楚。
• 處理問題時效率低，東撿西漏，忙得團團轉效果卻不佳。
• 當你面臨上述窘境時，正是能夠考慮訓練本身的結構化思惟來解決。

結構化思惟:是指一我的在面對工做任務或者難題時能從多個側面進行思考，深入分析致使問題出現的緣由，系統制定行動方案，並採起恰當的手段使工做得以高效率開展，取得高績效。當你這樣作事的時候，你就擁有告終構化思惟，這將對你的職場晉升起到巨大的幫助做用。思惟決定發展，思惟層面不一樣致使結果不一樣。簡言之，結構化思惟指從總體思考到局部，是一種層級分明的思考模式。就是借用一些思惟框架來輔助思考，將碎片化的信息進行系統化的思考和處理，從而擴大思惟的層次，更全面地思考。

2.2 結構化思惟方法

如何進行結構化思考呢，也是有方法論的，總的來講是有兩個步驟，首先是「創建中心」，而後再進行「分解」。

1）創建中心

創建中心也就是要定義清楚要解決的問題，要明確目標，也是一種以終爲始的思考方式。也就是說，首先要搞清楚why，而後再進行how。創建中心有兩種方式：自上而下、自下而上。後面咱們會詳細說明。

創建中心一般不會是一次成型的，隨着對問題理解的變化，對中心的抽象也會進行相應的調整。不一樣的抽象層次其面對的問題寬度是不同的。具體要用哪一個層次的抽象做爲「中心」，要視具體狀況而定。抽象層次越高，要解決的問題域就越寬，外延越大。好比面對「系統 bug 多」的問題，向上抽象是「提高代碼質量」，向下抽象是「增強測試」，均可以做爲中心，選擇哪一個爲中心取決於你當前要解決的問題是什麼。

2）結構化分解

使用結構化的思惟對問題進行分解。分解策略就是常見的四種邏輯順序，即演繹順序、時間順序、空間順序和程度順序。

3）邏輯順序

下面配圖爲XMind工具的對應圖例。

• 演繹（因果）順序

「大前提、小前提、結論」的演繹推理方式就是演繹順序。好比，經典三段論：全部人都要死，蘇格拉底是人，蘇格拉底要死。

• 時間（步驟）順序

「第1、第2、第三」，「首先、而後、再者」等，不少的時間順序同時也是因果順序。

• 空間（結構）順序

「前端、後端、數據」，「波士頓、紐約、華盛頓」，化整爲零（將總體分解爲部分）等都是空間順序。在作空間分解的時候，要注意知足 MECE（Mutually Exclusive Collectively Exhaustive，相互獨立，徹底窮盡）原則。

• 程度（重要性）順序

好比「最重要、次重要、不重要」等。

2.3 "自上而下"的思考

自上而下的思考，適用於問題比較明確的狀況，咱們只須要找到問題的核心要素便可，而後進行展開便可。這就是一個很是典型的總分結構化思惟的思考方式。先總結，後發散。用這種方式思考，有助於造成、整理和構造思惟導圖，從而促進大腦天然有序地思考，從而讓你更全面地去分析一個問題。下面介紹幾種常見的自上而下的思考模型：

1）STAR法則

• Situation 背景
• Target 目標
• Action 行動
• Result 結果

2）SWOT 分析方法

• Strengths 優點
• Weaknesses 劣勢
• Opportunities 機會
• Threats威脅

3）問題解決

分析問題>找到緣由>設置目標>提出解決方案>實施

2.4 "自下而上"的思考

對於問題不夠明確的狀況，須要對多種雜亂的內容，進行分類、剪枝、概括彙總成一箇中心。根據《金字塔原理》「任何事情均可以概括出中心論點，中心論點可由三至七個論據支撐，每一個一級論點能夠衍生出其餘的分論點。」如此發散開來，就能夠造成如下的金字塔結構思考方式。

可是在尚未掌握這種結構化思惟方式時，直接用這種思考方式是有必定難度的。這時候咱們就能夠採用自下而上的思考方式去找結構。

• 儘量列出全部思考的要點
• 找出關係，進行分類
• 總結歸納要點，提煉觀點
• 觀點補充，完善思路

總結下就是：先發散，後總結。用這種方式思考，不只更容易找到邏輯結構，也更容易培養你的結構化思惟。舉個例子，當咱們面臨職業發展選擇時，如何總結提煉出本身的決策。

2.5 加強 — 擴展性思惟

擴展性思惟的核心目標是提高思惟的廣度，能夠有三種擴展方向：

• 觸類旁通：解決同類型的N個問題

這種思惟方式的特徵是觸類旁通，舉一反三，至關於產生批處理的效果，能夠大大提高解決問題的效率，避免重複處理。

• 尋求可能性：拓展解決問題的不一樣手段

拓展思惟常見的手段是：是否可以換更多的理解方式，或者更多的解法。

• 深挖根源：挖掘問題深層次緣由

這種思惟方式是要突破現有問題的表面化解決，而是須要深挖緣由，探究根本問題。只有這樣才能從根本上解決問題。

2.6 示例：個人一次故障經歷（深挖緣由）

寫在最後

思惟方式有不少種，你能夠在實際工做中，嘗試使用上面的方法。堅持一段時間後，你會發現想問題時更有邏輯性，說話也更有條理更有說服力。不只如此，你還能夠用這種結構化的思惟，去搭建和構造本身的思惟體系。

做者：韓鋒

首發於做者我的公號《韓鋒頻道》。

來源：宜信技術學院