【大話微服務】漫談服務熔斷、服務降級相關理論

生活是個大寶庫

「隔行如隔山」這句話相信每一個人都知道，在我看來這句話也對也不對。說它對是由於站在專業的角度上看確實是術業有專攻。說它不對是由於站在哲學或人性的角度上看不少事情又是相通的。

「服務熔斷、服務降級」對於歷來沒據說過的人來講絕對是一臉懵逼，並且站在專業的角度去解釋的話，別人真不必定能弄明白，不妨先從生活中的事情入手來看看。

立刻又要五一了，好多人都計劃着出去旅遊了吧。假設某個景區裏有一個稀世珍寶，好多人都知道了這個消息，且都準備前往一看。

平日裏你們都要上班，只有那些自由工做者或無業遊民來景區參觀，人很是少，因此能夠隨意駐足、觀看、拍照，沒有任何限制。

五一前夕，好多人無意工做，乾脆請假提早開啓假期模式，來景區參觀的人多了起來，因此景區規定，每一個人只有2個小時的時間，時間一到必須離開。

五一當前，全員放假，開啓擁堵模式，一大早景區就人滿爲患，爲了讓更多人進去，景區把時間壓縮到1小時。可是人仍是愈來愈多，已經達到臨界狀態了，景區只能關上大門，不讓遊客再進去。

可是遊客確定不爽啊，大老遠一路龜速過來，不讓進，確定不肯意啊。工做人員只好苦口婆心的解釋，人太多了，真不能再進去了，不然會出現安全事故。

但也不能讓大家白跑一趟啊，做爲補償，每人發一張門票5折優惠券，等人少的時候大家再來吧。

沒有時間限制時，就是正常的服務。

限制爲2小時，就是服務進行了輕微（或小範圍）降級。

限制爲1小時，就是服務再次（或大範圍）降級。

最後關上大門，就是服務熔斷了。

熔斷着實有些暴力，因此通常都會給個補償方案。

再舉一個應時應景的例子，保證每一個人都能看懂：

服務正常，發4~6個月年終獎。

服務降級，不發年終獎而發996福報。

服務熔斷，性價比低的員工直接開除。

補償方案，多發1個月工資。

必然會產生的結果

經過網絡去調用一個遠程機器上的服務早已司空見慣，進入微服務時代後，更是成了屢見不鮮。網絡並非何時都是穩定的，因此你的請求可能遲遲得不到響應而直至超時。

更糟糕的是，若是有許多人一塊兒調用這個沒法響應的服務，必然會致使某些關鍵性的資源被用完，無異因而雪上加霜，最終直接崩潰了。

好比一個數據庫表數據量很大但又沒有索引，直接全表掃描，查詢很慢，一直沒法返回結果，且CPU很高。此時若是請求不少的話，鏈接池中的數據庫連接立馬被用完，許多慢查詢疊加在一塊兒，CPU直接100%，雖然機器不必定崩潰，可是總體沒法響應。

現實中有不少問題是沒法解決的，咱們能作的就是儘可能避免它的發生。對於此類問題，必定要在如何避免上下功夫。固然這種事情也只能根據狀況而定了。

好比食品安全問題，咱們能作的只能是少在外面吃飯或努力選擇安全食材。好比空氣霧霾問題，咱們能作的就是儘可能減小戶外活動或出門戴口罩。

固然也會有一些強制措施，好比給汽車裝上限速軟件，不管怎麼踩油門，速度都沒法超過閾值。

回到計算機裏面，能夠爲每個服務配置一個計數器，當同時調用該服務的人數達到閾值時，對於後續的調用則再也不去執行服務而是直接返回。

也能夠爲每個請求都配置一個計時器，當執行時間達到閾值時，即便尚未拿到服務的結果，也會主動斷開，返回其它結果而不是無限期的耗下去。

只要是有些經驗的人，都能想到這些方法，接下來就看看大牛（Martin Fowler）給的方案吧。

斷路器（CircuitBreaker）

斷路器就是一種可使調用鏈路斷開的裝置。能夠把它想象成家庭電路中的保險絲，在電流過大時會自動熔斷而切斷電路起到保護整個電路的做用。軟件中的斷路器的行爲語義將會更加豐富一些。

就是把一個受保護的服務調用包裝進一個斷路器對象裏，斷路器對象會對失敗進行監控。（能夠認爲斷路器對象就是個小代理）。

一旦失敗的次數達到一個肯定的閾值，斷路器啓動。全部後續的對斷路器的調用都會直接獲得一個錯誤，而不會再去調用受保護的服務。

所以斷路器對象須要有一些必要的參數，如閾值、超時時間等，還須要一個計數器記錄失敗次數，還須要有一個狀態字段標識斷路器當前的狀態。

一開始斷路器狀態是閉合的，都會去調用受保護的服務，當失敗或超時時，計數器加1，當成功時從新將它置爲0。若是出現連續失敗致使計數器達到了閾值，則斷路器斷開，變爲斷開狀態，後續請求將直接返回錯誤。

可見斷路器內部的原理並不複雜，只不過還有一個問題須要考慮，那就是服務可能過了一下子恢復了，此時斷路器應該從新閉合上纔對，那這個閉合的動做應該由誰去發起呢？

咱們知道，保險絲在熔斷後，它本身不可能再從新接上，必須由相關人員去更換，也就是說須要外部力量介入。

那軟件中的斷路器在斷開後，當再次閉合時，也須要外部力量介入嗎，它本身不會自動閉合嗎？

軟件的行爲語義更加豐富

對於軟件斷路器，咱們可讓它本身去檢測底層服務是否再次可用。實現起來也很是簡單，那就是在一段合適的時間間隔以後，再嘗試去調一次受保護的服務，若是成功的話就把斷路器閉合上。

此時須要一個變量來存儲最後一次失敗的時間，還須要一個變量來存儲時間間隔。假設自最後一次失敗以來已經通過了這個指定的時間間隔，此時斷路器會被設置爲一個特殊的新狀態，即半開狀態。

它代表斷路器已經作好準備去執行一次真正的服務調用試驗，來看看問題是否已經被修復。之因此把它叫作試驗性調用，就是由於若是調用成功就閉合斷路器，若是仍然失敗則記錄下當前時間，進入下一輪時間間隔的等待。

在實際中斷路器的實現可能會複雜些，畢竟致使錯誤的狀況不少，每種狀況的處理邏輯都不同，還有就是不一樣錯誤類型對應的閾值也是不同的，如超時錯誤能夠多嘗試幾回，可是鏈接失敗的狀況嘗試3次就足夠了。

並且斷路器斷開的策略不必定按失敗的次數，能夠按一段時間窗口內失敗量所佔的百分比，好比連續10分鐘內有50%的失敗就斷開斷路器。

還可使用一個線程池，爲每個請求分配一個線程，當線程池裏的線程用完的話，斷路器斷開。當線程池裏又有線程時，斷路器閉合。

還可使用一個隊列，把全部的請求都放入隊列中，服務提供者按照固定的速度去消費，當隊列被填滿時，斷路器斷開。當隊列裏又有空間時，斷路器閉合。

事物的兩面性

斷路器的好處是顯而易見的。好比避免因爲下游服務出故障而致使上游服務也掛掉。再好比避免因爲部分服務出故障而致使整個機器崩潰，全部服務都不可用。

可是這樣會給客戶端帶來一些麻煩，客戶端必需要對斷路器的失敗作出反應，並且不一樣種類的失敗可能反應都不同。這會增長一些工做量的。

優惠、福利：

爲了更好的與讀者溝通，做者開通了知識星球，本週加入只需79元並且可再享7折優惠，就是加入後會再返給你24元。

我會專門錄製一系列高質量視頻，做爲對星球用戶的福利。

期待你的加入。能夠試看一下我錄製的視頻：

（END）