微服務神經元(Neural)

時間 2020-02-17

標籤微服神經元 neural 简体版

原文原文鏈接

微服務架構中的神經組織，主要爲分佈式架構提供了集羣容錯的三大利刃：限流、降級和熔斷。並同時提供了SPI、過濾器、JWT、重試機制、插件機制。此外還提供了不少小的黑科技(如：IP黑白名單、UUID增強版、Snowflake和大併發時間戳獲取等)。java

Featuresgit

分佈式限流（Limiter）web
- 致力於分佈式服務調用的流量控制，能夠在服務之間調用和服務網關中進行限流！
服務降級（Degrade）算法
- 致力於提供分佈式的服務降級開關！
個性化重試（Retryer）json
- 致力於打造更加智能的重試機制，帶你見證重試AI！
服務鑑權（Auth）安全
- 致力於保證每次分佈式調用鑑定，可在服務註冊、訂閱及調用環節進行服務鑑權！
鏈路追蹤（Trace）服務器
- 致力於爲微服務架構提供鏈路追蹤的埋點！
黑科技架構
- Perf：性能測試神器，能夠用於爲單個方法或代碼塊進行性能測試
- NUUID：UUID擴展版，提供更豐富的UUID生產規則
- Filter：基於責任鏈模式的過濾器
- IPFilter：IP黑白名單過濾器
- Snowflake：基於Snowflake算法的分佈式ID生成器
- SystemClock：解決大併發場景下獲取時間戳時的性能問題

[](https://gitee.com/yu120/neura... NPI

[](https://gitee.com/yu120/neura... JDK中SPI缺陷

JDK標準的SPI會一次性實例化擴展點全部實現，若是有擴展實現初始化很耗時，但若是沒用上也加載，會很浪費資源
不支持擴展點的IoC和AOP
不支持實現排序
不支持實現類分組
不支持單例/多例的選擇

[](https://gitee.com/yu120/neura... NPI功能特性

支持自定義實現類爲單例/多例
支持設置默認的實現類
支持實現類order排序
支持實現類定義特徵屬性category，用於區分多維度的不一樣類別
支持根據category屬性值來搜索實現類
支持自動掃描實現類
支持手動添加實現類
支持獲取全部實現類
支持只建立所需實現類，解決JDK原生的全量方式
支持自定義ClassLoader來加載class

TODO：須要實現對擴展點IoC和AOP的支持，一個擴展點能夠直接setter注入其它擴展點。併發

[](https://gitee.com/yu120/neura... 使用方式

第一步：定義接口運維

@NPI
public interface IDemo {}

第二步：定義接口實現類

@Extension("demo1")
public class Demo1Impl implements IDemo {}

@Extension("demo2")
public class Demo2Impl implements IDemo {}</pre>

第三步：使用接口全路徑（包名+類名）建立接口資源文件

src/main/resources/META-INF/neural/io.neural.demo.IDemo

第四步：在接口資源文件中寫入實現類全路徑（包名+類名）

io.neural.demo.Demo1Impl
io.neural.demo.Demo2Impl</pre>

第五步：使用ExtensionLoader來獲取接口實現類

public class Demo{
 public static void main(String[] args){
 IDemo demo1 =ExtensionLoader.getLoader(IDemo.class).getExtension("demo1");
 IDemo demo2 =ExtensionLoader.getLoader(IDemo.class).getExtension("demo2"); 
 }
}</pre>

[](https://gitee.com/yu120/neura... 限流（Limiter）

在分佈式架構中，限流的場景主要分爲兩種：injvm模式和cluster模式。

[](https://gitee.com/yu120/neura... injvm模式

[](https://gitee.com/yu120/neura... 併發量（Concurrency）

使用JDK中的信號量(Semaphore)進行控制。

public class Test{
 public static void main(String[] args){
 Semaphore semaphore = new Semaphore(10,true);
 semaphore.acquire();
 //do something here
 semaphore.release();
 }
}</pre>

[](https://gitee.com/yu120/neura... 速率控制（Rate）

使用Google的Guava中的限速器(RateLimiter)進行控制。

public class Test{
 public static void main(String[] args){
 RateLimiter limiter = RateLimiter.create(10.0); // 每秒不超過10個任務被提交
 limiter.acquire(); // 請求RateLimite
 }
}</pre>

[](https://gitee.com/yu120/neura... cluster模式（待完成）

分佈式限流主要適用於保護集羣的安全或者用於嚴格控制用戶的請求量（API經濟）。

[](https://gitee.com/yu120/neura... 限制瞬時併發數

定義：瞬時併發數，系統同時處理的請求/事務數量
優勢：這個算法可以實現控制併發數的效果
缺點：使用場景比較單一，通常用來對入流量進行控制

[](https://gitee.com/yu120/neura... 限制時間窗最大請求數

定義：時間窗最大請求數，指定的時間範圍內容許的最大請求數
優勢：這個算法可以知足絕大多數的流控需求，經過時間窗最大請求數能夠直接換算出最大的QPS（QPS = 請求數/時間窗）
缺點：這種方式可能會出現流量不平滑的狀況，時間窗內一小段流量佔比特別大

[](https://gitee.com/yu120/neura... 令牌桶

算法描述

假如用戶配置的平均發送速率爲r，則每隔1/r秒一個令牌被加入到桶中
假設桶中最多能夠存放b個令牌。若是令牌到達時令牌桶已經滿了，那麼這個令牌會被丟棄
當流量以速率v進入，從桶中以速率v取令牌，拿到令牌的流量經過，拿不到令牌流量不經過，執行熔斷邏輯

屬性

長期來看，符合流量的速率是受到令牌添加速率的影響，被穩定爲：r
由於令牌桶有必定的存儲量，能夠抵擋必定的流量突發狀況
- M是以字節/秒爲單位的最大可能傳輸速率。 M>r
- T max = b/(M-r) 承受最大傳輸速率的時間
- B max = T max * M 承受最大傳輸速率的時間內傳輸的流量

優勢：流量比較平滑，而且能夠抵擋必定的流量突發狀況

[](https://gitee.com/yu120/neura... 熔斷（CircuitBreaker）

在分佈式架構中，熔斷的場景主要分爲兩種：injvm模式和cluster模式。

[](https://gitee.com/yu120/neura...（EventCountCircuitBreaker）

在指定時間週期內根據事件發生的次數來實現精簡版熔斷器。如10秒以內觸發5次事件，則進行熔斷。

[](https://gitee.com/yu120/neura... 門限熔斷器（ThresholdCircuitBreaker）

TODO

[](https://gitee.com/yu120/neura... 降級（Degrade）（待完成）

服務降級是指當服務器壓力劇增時，根據當前業務狀況及流量對一些服務和頁面有策略的降級，以此緩解了服務器資源壓力，以保證核心任務的正常運行，同時也保證了部分甚至大部分客戶獲得正確響應。

[](https://gitee.com/yu120/neura... 管理方式

[](https://gitee.com/yu120/neura... 直接管理方式：運維人員能夠指定哪些模塊降級

當服務器檢測到壓力增大，服務器監測自動發送通知給運維人員，運維人員根據本身或相關人員判斷後經過配置平臺設置當前運行等級來降級。降級首先能夠對非核心業務進行接口降級。若是效果不顯著，開始對一些頁面進行降級，以此保證核心功能的正常運行。

[](https://gitee.com/yu120/neura... 分級管理方式：運維人員無需關心業務細節，直接按級別下降便可

業務肯定好對應業務的優先級別，指定好分級降級方案。當服務器檢測到壓力增大，服務檢測自動發送通知給運維人員。運維人員根據狀況選擇運行等級。

[](https://gitee.com/yu120/neura... 重試（Retryer）

[](https://gitee.com/yu120/neura... 重試策略

[](https://gitee.com/yu120/neura... 塊策略（BlockStrategy）

使當前線程使用Thread.sleep()的方式進行休眠重試。

[](https://gitee.com/yu120/neura... 中止策略（StopStrategy）

NeverStopStrategy：從不中止策略
StopAfterAttemptStrategy：嘗試後中止策略
StopAfterDelayStrategy：延遲後中止策略

[](https://gitee.com/yu120/neura... 等待策略（WaitStrategy）

FixedWaitStrategy：固定休眠時間等待策略
RandomWaitStrategy：隨機休眠時間等待策略，支持設置隨機休眠時間的下限值（minmum）與上限值（maxmum）
IncrementingWaitStrategy：定長遞增休眠時間等待策略
ExponentialWaitStrategy：指數函數（2^x，其中x表示嘗試次數）遞增休眠時間等待策略。支持設置休眠時間的上限值（maximumWait）
FibonacciWaitStrategy：斐波那契數列遞增休眠時間等待策略。支持設置休眠時間的上限值（maximumWait）
CompositeWaitStrategy：複合等待策略，即支持以上等待策略的組合計算休眠時間，最終休眠時間是以上策略中休眠時間之和
ExceptionWaitStrategy：異常等待策略