Spring Cloud限流思路及解決方案

時間 2020-09-20

原文原文鏈接

轉自： http://blog.csdn.net/zl1zl2zl3/article/details/78683855html

在高併發的應用中，限流每每是一個繞不開的話題。本文詳細探討在Spring Cloud中如何實現限流。redis

在 Zuul 上實現限流是個不錯的選擇，只須要編寫一個過濾器就能夠了，關鍵在於如何實現限流的算法。常見的限流算法有漏桶算法以及令牌桶算法。這個可參考 https://www.cnblogs.com/LBSer/p/4083131.html ，寫得通俗易懂，你值得擁有，我就不拽文了。算法

GoogleGuava 爲咱們提供了限流工具類 RateLimiter ，因而乎，咱們能夠擼代碼了。spring

代碼示例

@Component數據庫
public class RateLimitZuulFilter extends ZuulFilter {併發
private final RateLimiter rateLimiter = RateLimiter.create(1000.0);app
@Override分佈式
public String filterType() {ide
return FilterConstants.PRE_TYPE;微服務
}
@Override
public int filterOrder() {
return Ordered.HIGHEST_PRECEDENCE;
}
@Override
public boolean shouldFilter() {
// 這裏能夠考慮弄個限流開啓的開關，開啓限流返回true，關閉限流返回false，你懂的。
return true;
}
@Override
public Object run() {
try {
RequestContext currentContext = RequestContext.getCurrentContext();
HttpServletResponse response = currentContext.getResponse();
if (!rateLimiter.tryAcquire()) {
HttpStatus httpStatus = HttpStatus.TOO_MANY_REQUESTS;
response.setContentType(MediaType.TEXT_PLAIN_VALUE);
response.setStatus(httpStatus.value());
response.getWriter().append(httpStatus.getReasonPhrase());
currentContext.setSendZuulResponse(false);
throw new ZuulException(
httpStatus.getReasonPhrase(),
httpStatus.value(),
httpStatus.getReasonPhrase()
);
}
} catch (Exception e) {
ReflectionUtils.rethrowRuntimeException(e);
}
return null;
}
}

如上，咱們編寫了一個 pre 類型的過濾器。對Zuul過濾器有疑問的可參考個人博客：

Spring Cloud內置的Zuul過濾器詳解：http://www.itmuch.com/spring-cloud/zuul/zuul-filter-in-spring-cloud
Spring Cloud Zuul過濾器詳解：http://www.itmuch.com/spring-cloud/zuul/spring-cloud-zuul-filter

在過濾器中，咱們使用 GuavaRateLimiter 實現限流，若是已經達到最大流量，就拋異常。

分佈式場景下的限流

以上單節點Zuul下的限流，但在生產中，咱們每每會有多個Zuul實例。對於這種場景如何限流呢？咱們能夠藉助Redis實現限流。

使用redis實現，存儲兩個key，一個用於計時，一個用於計數。請求每調用一次，計數器增長1，若在計時器時間內計數器未超過閾值，則能夠處理任務

if(!cacheDao.hasKey(TIME_KEY)) {
cacheDao.putToValue(TIME_KEY, 0, 1, TimeUnit.SECONDS);
}
if(cacheDao.hasKey(TIME_KEY) && cacheDao.incrBy(COUNTER_KEY, 1) > 400) {
// 拋個異常什麼的
}

實現微服務級別的限流

一些場景下，咱們可能還須要實現微服務粒度的限流。此時能夠有兩種方案：

方式一：在微服務自己實現限流。

和在Zuul上實現限流相似，只需編寫一個過濾器或者攔截器便可，比較簡單，不做贅述。我的不太喜歡這種方式，由於每一個微服務都得編碼，感受成本很高啊。

加班那麼多，做爲程序猿的咱們，應該學會偷懶，這樣纔可能有時間孝順父母、抱老婆、逗兒子、遛狗養鳥、聊天打屁、追求人生信仰。好了不扯淡了，看方法二吧。

方法二：在Zuul上實現微服務粒度的限流。

在講解以前，咱們不妨模擬兩個路由規則，兩種路由規則分別表明Zuul的兩種路由方式。

zuul:
routes:
microservice-provider-user: /user/**
user2:
url: http://localhost:8000/
path: /user2/**

如配置所示，在這裏，咱們定義了兩個路由規則， microservice-provider-user 以及 user2 ，其中 microservice-provider-user 這個路由規則使用到Ribbon + Hystrix，走的是 RibbonRoutingFilter ；而 user2 這個路由用不上Ribbon也用不上Hystrix，走的是 SipleRoutingFilter 。若是你搞不清楚這點，請參閱個人博客：

Spring Cloud內置的Zuul過濾器詳解：http://www.itmuch.com/spring-cloud/zuul/zuul-filter-in-spring-cloud
Spring Cloud Zuul過濾器詳解：http://www.itmuch.com/spring-cloud/zuul/spring-cloud-zuul-filter

搞清楚這點以後，咱們就能夠擼代碼了：

@Component
public class RateLimitZuulFilter extends ZuulFilter {
private Map<String, RateLimiter> map = Maps.newConcurrentMap();
@Override
public String filterType() {
return FilterConstants.PRE_TYPE;
}
@Override
public int filterOrder() {
// 這邊的order必定要大於org.springframework.cloud.netflix.zuul.filters.pre.PreDecorationFilter的order
// 也就是要大於5
// 不然，RequestContext.getCurrentContext()裏拿不到serviceId等數據。
return Ordered.LOWEST_PRECEDENCE;
}
@Override
public boolean shouldFilter() {
// 這裏能夠考慮弄個限流開啓的開關，開啓限流返回true，關閉限流返回false，你懂的。
return true;
}
@Override
public Object run() {
try {
RequestContext context = RequestContext.getCurrentContext();
HttpServletResponse response = context.getResponse();
String key = null;
// 對於service格式的路由，走RibbonRoutingFilter
String serviceId = (String) context.get(SERVICE_ID_KEY);
if (serviceId != null) {
key = serviceId;
map.putIfAbsent(serviceId, RateLimiter.create(1000.0));
}
// 若是壓根不走RibbonRoutingFilter，則認爲是URL格式的路由
else {
// 對於URL格式的路由，走SimpleHostRoutingFilter
URL routeHost = context.getRouteHost();
if (routeHost != null) {
String url = routeHost.toString();
key = url;
map.putIfAbsent(url, RateLimiter.create(2000.0));
}
}
RateLimiter rateLimiter = map.get(key);
if (!rateLimiter.tryAcquire()) {
HttpStatus httpStatus = HttpStatus.TOO_MANY_REQUESTS;
response.setContentType(MediaType.TEXT_PLAIN_VALUE);
response.setStatus(httpStatus.value());
response.getWriter().append(httpStatus.getReasonPhrase());
context.setSendZuulResponse(false);
throw new ZuulException(
httpStatus.getReasonPhrase(),
httpStatus.value(),
httpStatus.getReasonPhrase()
);
}
} catch (Exception e) {
ReflectionUtils.rethrowRuntimeException(e);
}
return null;
}
}