冪等問題 8種方案解決重複提交

時間 2019-11-05

原文原文鏈接

1.什麼是冪等

$\color{#4285f4}{冪等:}\color{#ea4335}{F(F(x))=F(x)}\color{#fbbc05}{屢次運算}\color{#34a853}{ 結果一致}$

在咱們編程中常見冪等
1)select查詢自然冪等  
2)delete刪除也是冪等,刪除同一個屢次效果同樣 
3)update直接更新某個值的,冪等 
4)update更新累加操做的,非冪等 
5)insert非冪等操做,每次新增一條
複製代碼

2.產生緣由前端

因爲重複點擊或者網絡重發  eg:  
1)點擊提交按鈕兩次;
2)點擊刷新按鈕;
3)使用瀏覽器後退按鈕重複以前的操做，致使重複提交表單;
4)使用瀏覽器歷史記錄重複提交表單;
5)瀏覽器重複的HTTP請;
6)nginx重發等狀況;
7)分佈式RPC的try重發等;
複製代碼

3.解決方案java

$\color{#34a853}{1)前端js提交禁止按鈕能夠用一些js組件}$

$\color{#34a853}{2)使用Post/Redirect/Get模式}$

在提交後執行頁面重定向，這就是所謂的
Post-Redirect-Get (PRG)模式。簡言之，
當用戶提交了表單後，你去執行一個客戶端的重定向，
轉到提交成功信息頁面。這能避免用戶按F5致使的
重複提交，而其也不會出現瀏覽器表單重複提交的警告，
也能消除按瀏覽器前進和後退按致使的一樣問題。
複製代碼

$\color{#34a853}{3)在session中存放一個特殊標誌}$

在服務器端，生成一個惟一的標識符，將它存入session，
同時將它寫入表單的隱藏字段中，而後將表單頁面發給瀏覽器，
用戶錄入信息後點擊提交，在服務器端，獲取表單中隱藏字段
的值，與session中的惟一標識符比較，相等說明是首次提交，
就處理本次請求，而後將session中的惟一標識符移除；不相等
說明是重複提交，就再也不處理。
複製代碼

$\color{#34a853}{4)其餘藉助使用header頭設置緩存控制頭Cache-control 等方式}$

比較複雜  不適合移動端APP的應用 這裏不詳解
複製代碼

$\color{#34a853}{5)藉助數據庫}$

insert使用惟一索引 update使用 樂觀鎖 version版本法
這種在大數據量和高併發下效率依賴數據庫硬件能力,可針對非核心業務
複製代碼

$\color{#34a853}{6)藉助悲觀鎖}$

使用select ... for update  ,這種和 synchronized 
鎖住先查再insert or update同樣,但要避免死鎖,效率也較差 
針對單體 請求併發不大 能夠推薦使用
複製代碼

$\color{#34a853}{7)藉助本地鎖}$ $\color{#ea4335}{本文重點}$

原理:使用了 ConcurrentHashMap 併發容器 putIfAbsent 方法,
和 ScheduledThreadPoolExecutor 定時任務,也能夠使用guava cache
的機制, gauva中有配有緩存的有效時間 也是能夠的key的生成 
Content-MD5 Content-MD5 是指 Body 的 MD5 值，
只有當 Body 非Form表單時才計算MD5，計算方式直接將參數和參數名稱統一加密MD5
MD5在必定範圍類認爲是惟一的 近似惟一  固然在低併發的狀況下足夠了 
固然本地鎖只適用於單機部署的應用.
複製代碼

①配置註解nginx

import java.lang.annotation.*;

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface Resubmit {

    /** * 延時時間 在延時多久後能夠再次提交 * * @return Time unit is one second */
    int delaySeconds() default 20;
}
複製代碼

②實例化鎖web

import com.google.common.cache.Cache;
import com.google.common.cache.CacheBuilder;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.codec.digest.DigestUtils;

import java.util.Objects;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

/** * @author lijing * 重複提交鎖 */
@Slf4j
public final class ResubmitLock {


    private static final ConcurrentHashMap<String, Object> LOCK_CACHE = new ConcurrentHashMap<>(200);
    private static final ScheduledThreadPoolExecutor EXECUTOR = new ScheduledThreadPoolExecutor(5, new ThreadPoolExecutor.DiscardPolicy());


   // private static final Cache<String, Object> CACHES = CacheBuilder.newBuilder()
            // 最大緩存 100 個
   // .maximumSize(1000)
            // 設置寫緩存後 5 秒鐘過時
   // .expireAfterWrite(5, TimeUnit.SECONDS)
   // .build();


    private ResubmitLock() {
    }

    /** * 靜態內部類 單例模式 * * @return */
    private static class SingletonInstance {
        private static final ResubmitLock INSTANCE = new ResubmitLock();
    }

    public static ResubmitLock getInstance() {
        return SingletonInstance.INSTANCE;
    }


    public static String handleKey(String param) {
        return DigestUtils.md5Hex(param == null ? "" : param);
    }

    /** * 加鎖 putIfAbsent 是原子操做保證線程安全 * * @param key 對應的key * @param value * @return */
    public boolean lock(final String key, Object value) {
        return Objects.isNull(LOCK_CACHE.putIfAbsent(key, value));
    }

    /** * 延時釋放鎖 用以控制短期內的重複提交 * * @param lock 是否須要解鎖 * @param key 對應的key * @param delaySeconds 延時時間 */
    public void unLock(final boolean lock, final String key, final int delaySeconds) {
        if (lock) {
            EXECUTOR.schedule(() -> {
                LOCK_CACHE.remove(key);
            }, delaySeconds, TimeUnit.SECONDS);
        }
    }
}
複製代碼

③AOP 切面redis

import com.alibaba.fastjson.JSONObject;
import com.cn.xxx.common.annotation.Resubmit;
import com.cn.xxx.common.annotation.impl.ResubmitLock;
import com.cn.xxx.common.dto.RequestDTO;
import com.cn.xxx.common.dto.ResponseDTO;
import com.cn.xxx.common.enums.ResponseCode;
import lombok.extern.log4j.Log4j;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.reflect.MethodSignature;
import org.springframework.stereotype.Component;

import java.lang.reflect.Method;

/** * @ClassName RequestDataAspect * @Description 數據重複提交校驗 * @Author lijing * @Date 2019/05/16 17:05 **/
@Log4j
@Aspect
@Component
public class ResubmitDataAspect {

    private final static String DATA = "data";
    private final static Object PRESENT = new Object();

    @Around("@annotation(com.cn.xxx.common.annotation.Resubmit)")
    public Object handleResubmit(ProceedingJoinPoint joinPoint) throws Throwable {
        Method method = ((MethodSignature) joinPoint.getSignature()).getMethod();
        //獲取註解信息
        Resubmit annotation = method.getAnnotation(Resubmit.class);
        int delaySeconds = annotation.delaySeconds();
        Object[] pointArgs = joinPoint.getArgs();
        String key = "";
        //獲取第一個參數
        Object firstParam = pointArgs[0];
        if (firstParam instanceof RequestDTO) {
            //解析參數
            JSONObject requestDTO = JSONObject.parseObject(firstParam.toString());
            JSONObject data = JSONObject.parseObject(requestDTO.getString(DATA));
            if (data != null) {
                StringBuffer sb = new StringBuffer();
                data.forEach((k, v) -> {
                    sb.append(v);
                });
                //生成加密參數 使用了content_MD5的加密方式
                key = ResubmitLock.handleKey(sb.toString());
            }
        }
        //執行鎖
        boolean lock = false;
        try {
            //設置解鎖key
            lock = ResubmitLock.getInstance().lock(key, PRESENT);
            if (lock) {
                //放行
                return joinPoint.proceed();
            } else {
                //響應重複提交異常
                return new ResponseDTO<>(ResponseCode.REPEAT_SUBMIT_OPERATION_EXCEPTION);
            }
        } finally {
            //設置解鎖key和解鎖時間
            ResubmitLock.getInstance().unLock(lock, key, delaySeconds);
        }
    }
}
複製代碼

④註解使用案例spring

@ApiOperation(value = "保存個人帖子接口", notes = "保存個人帖子接口")
    @PostMapping("/posts/save")
    @Resubmit(delaySeconds = 10)
    public ResponseDTO<BaseResponseDataDTO> saveBbsPosts(@RequestBody @Validated RequestDTO<BbsPostsRequestDTO> requestDto) {
        return bbsPostsBizService.saveBbsPosts(requestDto);
    }
複製代碼

以上就是本地鎖的方式進行的冪等提交使用了Content-MD5 進行加密只要參數不變,參數加密密值不變,key存在就阻止提交數據庫

固然也能夠使用一些其餘簽名校驗在某一次提交時先生成固定簽名提交到後端根據後端解析統一的簽名做爲每次提交的驗證token 去緩存中處理便可.apache

$\color{#34a853}{8)藉助分佈式 redis 鎖}$ $\color{#ea4335}{參考其餘做者}$

在 pom.xml 中添加上 starter-web、starter-aop、starter-data-redis 的依賴便可編程

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-aop</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-redis</artifactId>
    </dependency>
</dependencies>
複製代碼

屬性配置在 application.properites 資源文件中添加 redis 相關的配置項json

spring.redis.host=localhost
spring.redis.port=6379
spring.redis.password=123456
複製代碼

主要實現方式: 熟悉 Redis 的朋友都知道它是線程安全的，咱們利用它的特性能夠很輕鬆的實現一個分佈式鎖，如 opsForValue().setIfAbsent(key,value)它的做用就是若是緩存中沒有當前 Key 則進行緩存同時返回 true 反之亦然；當緩存後給 key 在設置個過時時間，防止由於系統崩潰而致使鎖遲遲不釋放造成死鎖；那麼咱們是否是能夠這樣認爲當返回 true 咱們認爲它獲取到鎖了，在鎖未釋放的時候咱們進行異常的拋出…

package com.battcn.interceptor;

import com.battcn.annotation.CacheLock;
import com.battcn.utils.RedisLockHelper;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.reflect.MethodSignature;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Configuration;
import org.springframework.util.StringUtils;

import java.lang.reflect.Method;
import java.util.UUID;

/** * redis 方案 * * @author Levin * @since 2018/6/12 0012 */
@Aspect
@Configuration
public class LockMethodInterceptor {

    @Autowired
    public LockMethodInterceptor(RedisLockHelper redisLockHelper, CacheKeyGenerator cacheKeyGenerator) {
        this.redisLockHelper = redisLockHelper;
        this.cacheKeyGenerator = cacheKeyGenerator;
    }

    private final RedisLockHelper redisLockHelper;
    private final CacheKeyGenerator cacheKeyGenerator;


    @Around("execution(public * *(..)) && @annotation(com.battcn.annotation.CacheLock)")
    public Object interceptor(ProceedingJoinPoint pjp) {
        MethodSignature signature = (MethodSignature) pjp.getSignature();
        Method method = signature.getMethod();
        CacheLock lock = method.getAnnotation(CacheLock.class);
        if (StringUtils.isEmpty(lock.prefix())) {
            throw new RuntimeException("lock key don't null...");
        }
        final String lockKey = cacheKeyGenerator.getLockKey(pjp);
        String value = UUID.randomUUID().toString();
        try {
            // 假設上鎖成功，可是設置過時時間失效，之後拿到的都是 false
            final boolean success = redisLockHelper.lock(lockKey, value, lock.expire(), lock.timeUnit());
            if (!success) {
                throw new RuntimeException("重複提交");
            }
            try {
                return pjp.proceed();
            } catch (Throwable throwable) {
                throw new RuntimeException("系統異常");
            }
        } finally {
            // TODO 若是演示的話須要註釋該代碼;實際應該放開
            redisLockHelper.unlock(lockKey, value);
        }
    }
}
複製代碼

RedisLockHelper 經過封裝成 API 方式調用，靈活度更加高

package com.battcn.utils;

import org.springframework.boot.autoconfigure.AutoConfigureAfter;
import org.springframework.boot.autoconfigure.data.redis.RedisAutoConfiguration;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisStringCommands;
import org.springframework.data.redis.core.RedisCallback;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.data.redis.core.types.Expiration;
import org.springframework.util.StringUtils;

import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;
import java.util.regex.Pattern;

/** * 須要定義成 Bean * * @author Levin * @since 2018/6/15 0015 */
@Configuration
@AutoConfigureAfter(RedisAutoConfiguration.class)
public class RedisLockHelper {


    private static final String DELIMITER = "|";

    /** * 若是要求比較高能夠經過注入的方式分配 */
    private static final ScheduledExecutorService EXECUTOR_SERVICE = Executors.newScheduledThreadPool(10);

    private final StringRedisTemplate stringRedisTemplate;

    public RedisLockHelper(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
    }

    /** * 獲取鎖（存在死鎖風險） * * @param lockKey lockKey * @param value value * @param time 超時時間 * @param unit 過時單位 * @return true or false */
    public boolean tryLock(final String lockKey, final String value, final long time, final TimeUnit unit) {
        return stringRedisTemplate.execute((RedisCallback<Boolean>) connection -> connection.set(lockKey.getBytes(), value.getBytes(), Expiration.from(time, unit), RedisStringCommands.SetOption.SET_IF_ABSENT));
    }

    /** * 獲取鎖 * * @param lockKey lockKey * @param uuid UUID * @param timeout 超時時間 * @param unit 過時單位 * @return true or false */
    public boolean lock(String lockKey, final String uuid, long timeout, final TimeUnit unit) {
        final long milliseconds = Expiration.from(timeout, unit).getExpirationTimeInMilliseconds();
        boolean success = stringRedisTemplate.opsForValue().setIfAbsent(lockKey, (System.currentTimeMillis() + milliseconds) + DELIMITER + uuid);
        if (success) {
            stringRedisTemplate.expire(lockKey, timeout, TimeUnit.SECONDS);
        } else {
            String oldVal = stringRedisTemplate.opsForValue().getAndSet(lockKey, (System.currentTimeMillis() + milliseconds) + DELIMITER + uuid);
            final String[] oldValues = oldVal.split(Pattern.quote(DELIMITER));
            if (Long.parseLong(oldValues[0]) + 1 <= System.currentTimeMillis()) {
                return true;
            }
        }
        return success;
    }


    /** * @see <a href="http://redis.io/commands/set">Redis Documentation: SET</a> */
    public void unlock(String lockKey, String value) {
        unlock(lockKey, value, 0, TimeUnit.MILLISECONDS);
    }

    /** * 延遲unlock * * @param lockKey key * @param uuid client(最好是惟一鍵的) * @param delayTime 延遲時間 * @param unit 時間單位 */
    public void unlock(final String lockKey, final String uuid, long delayTime, TimeUnit unit) {
        if (StringUtils.isEmpty(lockKey)) {
            return;
        }
        if (delayTime <= 0) {
            doUnlock(lockKey, uuid);
        } else {
            EXECUTOR_SERVICE.schedule(() -> doUnlock(lockKey, uuid), delayTime, unit);
        }
    }

    /** * @param lockKey key * @param uuid client(最好是惟一鍵的) */
    private void doUnlock(final String lockKey, final String uuid) {
        String val = stringRedisTemplate.opsForValue().get(lockKey);
        final String[] values = val.split(Pattern.quote(DELIMITER));
        if (values.length <= 0) {
            return;
        }
        if (uuid.equals(values[1])) {
            stringRedisTemplate.delete(lockKey);
        }
    }

}
複製代碼