（億級流量）分佈式防重複提交token設計
大型互聯網項目中，不少流量都達到億級。同一時間不少的人在使用，而每一個用戶提交表單的時候均可能會出現重複點擊的狀況，此時若是不作好控制，那麼系統將會產生不少的數據重複的問題。怎樣去設計一個高可用的防重複提交方案呢？博主將在此爲你們詳細分享當前本身負責的一個億級流量項目中如何實現防重複提交。javascript
首先，博主在介紹以前，先介紹下這個億級項目的故事。博主在16年入駐公司後，進入了該項目組，此時項目面對大流量訪問的狀況可謂很是糟。客戶每天跟公司搞事情，不信任團隊。具體問題爭論點以下：php
1.用戶在提交數據後，不少時候總會有重複提交（商城秒搶活動更甚，幾乎不可用）css
2.系統天天宕機好幾回（後經代碼+服務器數據分析，a各類流沒使用正確的方式去關閉；b.tomcat對應的session redis同步包有io句柄泄露；c.各類代碼不規範寫法如死循環、直接用new Thread()、StringBuffer亂用等；d.編寫的sql性能問題等等）html
3.不少功能點不可用，如數據量大的報表沒法導出、數據量大的excel沒法導入、pc端和微信端用戶信息等數據同步問題、大數據量的表單下拉選擇沒法使用、微信公衆號裏面圖片沒法多圖片上傳、商城秒搶活動常常出現商品超賣、無界線程（newCachedThreadPool）池亂用java
4.不少時候發版都出現功能漏發（服務器太多、且每臺有多個實例）web
..........ajax
總之，問題多得博主數都數不過來.redis
固然，上面的這些問題都很重要，必須解決；博主這次就單獨分享在解決防重複提交這個問題上的方案，其它的問題的解決方案如分佈式鎖、pc端單端登陸（微信端非單端）等等在後期講解。spring
首先說一下防重複提交token的工做流程：sql
用戶訪問表單添加頁面->spring防重複token攔截器攔截請求url，判斷url對應的controller方法是是否註解有生成防重複token的標識->生成防重複token保存到redis中RedisUtil.getRu().setex("formToken_" + uuid, "1", 60 * 60);同時將本次生存的防重複token放到session中->跳轉到表單頁面時重token中取出放入表單->用戶填寫完信息提交表單->spring防重複token攔截器攔截請求url，判斷提交的url對應controller方法是否註解有處理防重複提交token的標識->redis中formToken作原子減1操做RedisUtil.getRu().decr("formToken_" + clinetToken);若是不redis中作了減1操做後值不爲0，則爲重複提交，返回false。
防重複提交token生成流程圖：
防重複表單提交處理流程圖：
代碼設計部分（此處因爲非ajax提交表單時只須要兩個註解就能夠實現，故此處不做詳細解讀）：
FormToken類，表單類型註解
package com.empire.form; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; /** * 類FormToken.java的實現描述：FormToken註解 * * @author arron 2017年3月14日 下午8:51:20 */ @Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) public @interface FormToken { /** * 須要防重複功能的表單入口URL對應的controller方法須要添加的註解，用於生成token（默認爲uuid） * @return */ boolean save() default false; /** * 防重複表單提交表單到後臺對應的URL的controller方法須要添加的註解，用於第一次成功提交後remove掉token * @return */ boolean remove() default false; /** * 是否讓token防重複攔截器放過token校驗，爲true時通常用於ajax提交放過到controller中處理，此功能能夠在提交失敗後恢復token * @return */ boolean pass() default false;//若是攔截到位表單重複提交是否放過讓controller處理,默認被攔截器處理返回false; }
TokenInterceptor（自定義token攔截器）
package com.empire.interceptor; import java.lang.reflect.Method; import java.util.Date; import java.util.UUID; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import org.apache.log4j.Logger; import org.springframework.web.method.HandlerMethod; import org.springframework.web.servlet.handler.HandlerInterceptorAdapter; import com.empire.utils.RedisUtil; /** * 類TokenInterceptor.java的實現描述：攔截器：防止重複提交 * * @author arron 2017年7月23日 下午5:14:32 */ public class TokenInterceptor extends HandlerInterceptorAdapter { private static final Logger logger = Logger.getLogger(FormToken.class); @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception { if (handler instanceof HandlerMethod) { HandlerMethod handlerMethod = (HandlerMethod) handler; Method method = handlerMethod.getMethod(); FormToken annotation = method.getAnnotation(FormToken.class); if (annotation != null) { boolean needSaveSession = annotation.save(); if (needSaveSession) { Date d = new Date(); String uuid = UUID.randomUUID().toString(); RedisUtil.getRu().setex("formToken_" + uuid, "1", 60 * 60); request.getSession(true).setAttribute("formToken", uuid); logger.warn(request.getServletPath() + "---->formToken:" + uuid); } boolean needRemoveSession = annotation.remove(); if (needRemoveSession) { if (isRepeatSubmit(request)) { logger.warn("please don't repeat submit,url:" + request.getServletPath()); boolean pass = annotation.pass(); request.setAttribute("formToken_pass_repeat", "true"); return pass; } //request.getSession(true).removeAttribute("token"); } } return true; } else { return super.preHandle(request, response, handler); } } private boolean isRepeatSubmit(HttpServletRequest request) { String clinetToken = request.getParameter("formToken"); if (clinetToken == null) { return true; } boolean r = RedisUtil.getRu().exists("formToken_" + clinetToken); if (r) { Long upCount = RedisUtil.getRu().decr("formToken_" + clinetToken); //若是對更新標記作減減操做後不等0,表示是重複提交 if (upCount != 0) { RedisUtil.getRu().del("formToken_" + clinetToken); return true; } else { RedisUtil.getRu().del("formToken_" + clinetToken); return false; } } else { return true; } } }
controller表單入口方法:
@FormToken(save = true) @RequestMapping(value = "addAppointPage", produces = "text/html") public String addAppointPage(HttpServletRequest request, HttpServletResponse response, Model uiModel) { //業務代碼 ...... return "pcpageAppoint/add"; }
jsp（例子爲ajax方式狀況）
<jsp:directive.page contentType="text/html;charset=UTF-8"/> <%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core"%> <%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c"%> <%@taglib prefix="fmt" uri="http://java.sun.com/jsp/jstl/fmt" %> //script、css import ....... <script> function addAppoint(){ var formToken = $("#formToken").val(); var flag=true; var mileage=$('#mileage').val(); if(mileage==""){ alert("請輸入行駛里程"); flag=false; return; }else{ var reg=/^[0-9]*$/; if (!reg.test(mileage)){ alert("行駛里程只能是數字"); flag=false; return; } } $(".btn").removeAttr("onclick"); if(flag){ $.ajax({ url:"/ump/xxxxpc/pageAppoint/addAppointment", data : { //業務字段 "memberId":'${member.id}', ................... "mileage":mileage, 'formToken' : formToken }, type: "POST", error: function(msg){}, success:function(s){ var res = eval('([{'+s+'}])'); if(res[0].state){ alert(res[0].msg); window.location.href ="/ump/xxxxpc/pageAppoint/showAppointmentList"; }else{ alert(res[0].msg); return; } }, complete: comAjaxComplete //----此處爲pc端ajax統一鑑權，暫時不用管 }) } } </script> <div class="personal_right clearfix"> <div class="appointment"> <div class="appointment_form"> <input type="hidden" id="formToken" name="formToken" value="${formToken}"/> <div class="form_item"> <div class="item_left">行駛里程<sup class="important_ts">*</sup>：</div> <div class="item_right"><input id="mileage" placeholder="請輸入行駛里程"/></div> </div> <div class="submit_re"> <input type="button" value="提交" class="submit_sub theme_c" onclick="addAppoint();"/> <input type="button" value="返回" class="submit_sub other_c" onclick="history.back();"/> </div> </div> </div> </div>
controller表單提交方法:
@RequestMapping(value = "addAppointment", produces = "text/html;charset=utf-8") @ResponseBody @FormToken(remove = true, pass = true) public String addAppointment(HttpServletRequest request, HttpServletResponse response, Model uiModel,@RequestParam(value = "memberId", required = false) Long memberId, @RequestParam(value = "mileage", required = false) String mileage) { String str = ""; //判斷是否爲重複提交，若是是直接跳轉 String passRepeat = (String) request.getAttribute("formToken_pass_repeat"); if ("true".equals(passRepeat)) { str = "state:false,msg:\"請勿重複提交!\""; return str; } String clinetToken= request.getParameter("formToken"); //從新生成一個uuid，預定失敗的時候生成新的uuid String uuid =clinetToken; if (memberId == null || memberId.longValue() == 0l) { CommonInterceptorUtil.recoveryFormToken(uuid); str = "state:false,msg:\"參數錯誤，請刷新後重試\""; } else if (StringUtils.isEmpty(mileage)) { CommonInterceptorUtil.recoveryFormToken(uuid); str = "state:false,msg:\"行駛里程不能爲空\""; } else { //業務代碼 ...... str = "state:true,msg:\"預定成功\""; } return str; }
CommonInterceptorUtil (提交失敗時token恢復類)
package com.empire.interceptor;
import java.util.Date; import org.apache.commons.lang3.StringUtils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import com.empire.utils.RedisUtil; /** * 類CommonInterceptorUtil.java的實現描述：數據同步工具類 * * @author arron 2017年3月14日 下午3:51:53 */ public class CommonInterceptorUtil { private static final Logger log = LoggerFactory.getLogger(CommonInterceptorUtil .class); /** * 恢復formToken,用於ajax防止重複提交,在controller中執行業務失敗後調用 * * @param clinetToken */ public static void recoveryFormToken(String clinetToken) { if (StringUtils.isNotBlank(clinetToken)) { RedisUtil.getRu().setex("formToken_" + clinetToken, "1", 60 * 60); log.warn("防重複提交業務失敗_恢復成功formToken:" + clinetToken); } } }
RedisUtil（此處不是重點，可自行實現)
package com.empire.utils;
import java.util.List; import java.util.Map; import java.util.Set; import org.apache.log4j.Logger; import redis.clients.jedis.BinaryClient.LIST_POSITION; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; /** * jredis工具類 * * @author Aaron */ public class RedisUtil { private static final Logger LOGGER = Logger.getLogger(RedisUtil.class); private static JedisPool pool = null; private static RedisUtil ru = new RedisUtil(); private RedisUtil() { if (pool == null) { String ip = ""; int port = 6379; String redisIpPort = Global.REDIS_STRING; String[] str = redisIpPort.split(";"); if (null != str) { for (String ipAddress : str) { if (null != ipAddress && !"".equals(ipAddress)) { ip = ipAddress.split(":")[0]; port = Integer.parseInt(ipAddress.split(":")[1]); } } } JedisPoolConfig config = new JedisPoolConfig(); // 控制一個pool可分配多少個jedis實例，經過pool.getResource()來獲取； // 若是賦值爲-1，則表示不限制；若是pool已經分配了maxActive個jedis實例，則此時pool的狀態爲exhausted(耗盡)。 config.setMaxTotal(10000); // 控制一個pool最多有多少個狀態爲idle(空閒的)的jedis實例。 config.setMaxIdle(2000); // 表示當borrow(引入)一個jedis實例時，最大的等待時間，若是超過等待時間，則直接拋出JedisConnectionException； config.setMaxWaitMillis(1000 * 100); config.setTestOnBorrow(true); pool = new JedisPool(config, ip, port, 100000); } } /** * <p> * 設置key value,若是key已經存在則返回0,nx==> not exist * </p> * * @param key * @param value * @return 成功返回1 若是存在 和 發生異常 返回 0 */ public Long setnx(byte[] key, byte[] value) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.setnx(key, value); } catch (Exception e) { LOGGER.error(e.getMessage()); return 0L; } finally { returnResource(pool, jedis); } } /** * 設置有效時間 * * @param key * @param seconds單位:秒 * @return */ public Long expire(byte[] key, int seconds) { Jedis jedis = null; Long res = null; try { jedis = pool.getResource(); res = jedis.expire(key, seconds); } catch (Exception e) { LOGGER.error(e.getMessage()); } finally { returnResource(pool, jedis); } return res; } /** * <p> * 向redis存入key和value,並釋放鏈接資源 * </p> * <p> * 若是key已經存在 則覆蓋 * </p> * * @param key * @param value * @return 成功 返回OK 失敗返回 0 */ public String set(byte[] key, byte[] value) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.set(key, value); } catch (Exception e) { LOGGER.error(e.getMessage()); return "0"; } finally { returnResource(pool, jedis); } } /** * <p> * 經過key獲取儲存在redis中的value * </p> * <p> * 並釋放鏈接 * </p> * * @param key * @return 成功返回value 失敗返回null */ public byte[] get(byte[] key) { Jedis jedis = null; byte[] value = null; try { jedis = pool.getResource(); value = jedis.get(key); } catch (Exception e) { LOGGER.error(e.getMessage()); } finally { returnResource(pool, jedis); } return value; } /** * <p> * 經過key獲取儲存在redis中的value * </p> * <p> * 並釋放鏈接 * </p> * * @param key * @return 成功返回value 失敗返回null */ public String get(String key) { Jedis jedis = null; String value = null; try { jedis = pool.getResource(); value = jedis.get(key); } catch (Exception e) { LOGGER.error(e.getMessage()); } finally { returnResource(pool, jedis); } return value; } /** * <p> * 向redis存入key和value,並釋放鏈接資源 * </p> * <p> * 若是key已經存在 則覆蓋 * </p> * * @param key * @param value * @return 成功 返回OK 失敗返回 0 */ public String set(String key, String value) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.set(key, value); } catch (Exception e) { LOGGER.error(e.getMessage()); return "0"; } finally { returnResource(pool, jedis); } } /** * <p> * 刪除指定的key,也能夠傳入一個包含key的數組 * </p> * * @param keys 一個key 也可使 string 數組 * @return 返回刪除成功的個數 */ public Long del(byte[]... keys) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.del(keys); } catch (Exception e) { LOGGER.error(e.getMessage()); return 0L; } finally { returnResource(pool, jedis); } } /** * <p> * 刪除指定的key,也能夠傳入一個包含key的數組 * </p> * * @param keys 一個key 也可使 string 數組 * @return 返回刪除成功的個數 */ public Long del(String... keys) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.del(keys); } catch (Exception e) { LOGGER.error(e.getMessage()); return 0L; } finally { returnResource(pool, jedis); } } /** * <p> * 經過key向指定的value值追加值 * </p> * * @param key * @param str * @return 成功返回 添加後value的長度 失敗 返回 添加的 value 的長度 異常返回0L */ public Long append(String key, String str) { Jedis jedis = null; Long res = null; try { jedis = pool.getResource(); res = jedis.append(key, str); } catch (Exception e) { LOGGER.error(e.getMessage()); return 0L; } finally { returnResource(pool, jedis); } return res; } /** * <p> * 判斷key是否存在 * </p> * * @param key * @return true OR false */ public Boolean exists(String key) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.exists(key); } catch (Exception e) { LOGGER.error(e.getMessage()); return false; } finally { returnResource(pool, jedis); } } /** * <p> * 設置key value,若是key已經存在則返回0,nx==> not exist * </p> * * @param key * @param value * @return 成功返回1 若是存在 和 發生異常 返回 0 */ public Long setnx(String key, String value) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.setnx(key, value); } catch (Exception e) { LOGGER.error(e.getMessage()); return 0L; } finally { returnResource(pool, jedis); } } /** * <p> * 設置key value並制定這個鍵值的有效期 * </p> * * @param key * @param value * @param seconds 單位:秒 * @return 成功返回OK 失敗和異常返回null */ public String setex(String key, String value, int seconds) { Jedis jedis = null; String res = null; try { jedis = pool.getResource(); res = jedis.setex(key, seconds, value); } catch (Exception e) { LOGGER.error(e.getMessage()); } finally { returnResource(pool, jedis); } return res; } /** * 設置有效時間 * * @param key * @param seconds單位:秒 * @return */ public Long expire(String key, int seconds) { Jedis jedis = null; Long res = null; try { jedis = pool.getResource(); res = jedis.expire(key, seconds); } catch (Exception e) { LOGGER.error(e.getMessage()); } finally { returnResource(pool, jedis); } return res; } /** * <p> * 經過key 和offset 從指定的位置開始將原先value替換 * </p> * <p> * 下標從0開始,offset表示從offset下標開始替換 * </p> * <p> * 若是替換的字符串長度太小則會這樣 * </p> * <p> * example: * </p> * <p> * value : bigsea@zto.cn * </p> * <p> * str : abc * </p> * <P> * 從下標7開始替換 則結果爲 * </p> * <p> * RES : bigsea.abc.cn * </p> * * @param key * @param str * @param offset 下標位置 * @return 返回替換後 value 的長度 */ public Long setrange(String key, String str, int offset) { Jedis jedis = null; try { jedis = pool.getResource(); return jedis.setrange(key, offset, str); } catch (Exception e) { LOGGER.error(e.getMessage()); return 0L; } finally { returnResource(pool, jedis); } } /** * <p> * 經過批量的key獲取批量的value * </p> * * @param keys string數組 也能夠是一個key * @return 成功返回value的集合, 失敗返回null的集合 ,異常返回空 */ public List<String> mget(String... keys) { Jedis jedis = null; List<String> values = null; try { jedis = pool.getResource(); values = jedis.mget(keys); } catch (Exception e) { LOGGER.error(e.getMessage()); } finally { returnResource(pool, jedis); } return values; } /** * <p> * 批量的設置key:value,能夠一個 * </p> * <p> * example: * </p> * <p> * obj.mset(new String[]{"key2","value1","key2","value2"}) * </p> * * @param keysvalues * @return 成功返回OK 失敗 異常 返回 null */ public String mset(String... keysvalues) { Jedis jedis = null; String res = null; try { jedis = pool.getResource(); res = jedis.mset(keysvalues); } catch (Exception e) { LOGGER.error(e.getMessage()); } finally { returnResource(pool, jedis); } return res; } /** * <p> * 批量的設置key:value,能夠一個,若是key已經存在則會失敗,操做會回滾 * </p> * <p> * example: * </p> * <p> * obj.msetnx(new String[]{"key2","value1","key2","value2"}) * </p> * *