億級流量高併發場景下，如何保證緩存與數據庫的雙寫一致性？

掃描下方海報二維碼，試聽課程：

（課程詳細大綱，請參見文末）

============================================

本文是公衆號讀者魏武歸心的投稿

感謝魏武歸心同窗的技術分享

============================================

相信只要是個稍微像樣點的互聯網公司，或多或少都有本身的一套緩存體

只要用緩存，就可能會涉及到緩存與數據庫雙存儲雙寫，你只要是雙寫，就必定會有數據一致性的問題，遂筆者想在這想和你們聊一聊：如何解決一致性問題？

如何保證緩存與數據庫雙寫一致性，也是如今Java面試中面試官很是喜歡問的一個問題！

通常來講，若是容許緩存能夠稍微跟數據庫偶爾有不一致，也就是說若是你的系統不是嚴格要求 緩存 + 數據庫 必須保持一致性的話，最好不要作這個方案。

即：讀請求和寫請求串行化，串到一個內存隊列裏去，從而達到防止併發請求致使數據錯亂的問題，場景如圖所示：

值得注意的是，串行化能夠保證必定不會出現不一致的狀況，可是它也會致使系統的吞吐量大幅度下降，用比正常狀況下多幾倍的機器去支撐線上的一個請求（土豪請自覺無視此提醒）

解決思路以下圖：

代碼實現大體以下：

/**
 * 請求異步處理的service實現
 * @author Administrator
 *
 */
@Service("requestAsyncProcessService")  
public class RequestAsyncProcessServiceImpl implements RequestAsyncProcessService {
  
  @Override
  public void process(Request request) {
    try {
      // 先作讀請求的去重
      RequestQueue requestQueue = RequestQueue.getInstance();
      Map<Integer, Boolean> flagMap = requestQueue.getFlagMap();
      
      if(request instanceof ProductInventoryDBUpdateRequest) {
        // 若是是一個更新數據庫的請求，那麼就將那個productId對應的標識設置爲true
        flagMap.put(request.getProductId(), true);
      } else if(request instanceof ProductInventoryCacheRefreshRequest) {
        Boolean flag = flagMap.get(request.getProductId());
        
        // 若是flag是null
        if(flag == null) {
          flagMap.put(request.getProductId(), false);
        }
        
        // 若是是緩存刷新的請求，那麼就判斷，若是標識不爲空，並且是true，就說明以前有一個這個商品的數據庫更新請求
        if(flag != null && flag) {
          flagMap.put(request.getProductId(), false);
        }
        
        // 若是是緩存刷新的請求，並且發現標識不爲空，可是標識是false
        // 說明前面已經有一個數據庫更新請求+一個緩存刷新請求了，你們想想
        if(flag != null && !flag) {
          // 對於這種讀請求，直接就過濾掉，不要放到後面的內存隊列裏面去了
          return;
        }
      }
      
      // 作請求的路由，根據每一個請求的商品id，路由到對應的內存隊列中去
      ArrayBlockingQueue<Request> queue = getRoutingQueue(request.getProductId());
      // 將請求放入對應的隊列中，完成路由操做
      queue.put(request);
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
  
  /**
   * 獲取路由到的內存隊列
   * @param productId 商品id
   * @return 內存隊列
   */
  private ArrayBlockingQueue<Request> getRoutingQueue(Integer productId) {
    RequestQueue requestQueue = RequestQueue.getInstance();
    
    // 先獲取productId的hash值
    String key = String.valueOf(productId);
    int h;
    int hash = (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
    
    // 對hash值取模，將hash值路由到指定的內存隊列中，好比內存隊列大小8
    // 用內存隊列的數量對hash值取模以後，結果必定是在0~7之間
    // 因此任何一個商品id都會被固定路由到一樣的一個內存隊列中去的
    int index = (requestQueue.queueSize() - 1) & hash;
    
    System.out.println("===========日誌===========: 路由內存隊列，商品id=" + productId + ", 隊列索引=" + index);  
    
    return requestQueue.getQueue(index);
  }

}複製代碼

Cache Aside Pattern

下面咱們來聊聊最經典的緩存+數據庫讀寫的模式，就是 Cache Aside Pattern。

讀的時候，先讀緩存，緩存沒有的話，就讀數據庫，而後取出數據後放入緩存，同時返回響應。更新的時候，先更新數據庫，而後再刪除緩存。

爲何是刪除緩存，而不是更新緩存？

緣由很簡單，不少時候，在複雜點的緩存場景，緩存不僅僅是數據庫中直接取出來的值。

好比可能更新了某個表的一個字段，而後其對應的緩存，是須要查詢另外兩個表的數據並進行運算，才能計算出緩存最新的值的。

另外更新緩存的代價有時候是很高的，是否是每次修改數據庫的時候，都必定要將其對應的緩存更新一份？

也許有的場景是這樣，可是對於比較複雜的緩存數據計算的場景，就不是這樣了。

若是你頻繁修改一個緩存涉及的多個表，緩存也頻繁更新。可是問題在於，這個緩存到底會不會被頻繁訪問到？

舉個栗子，一個緩存涉及的表的字段，在 1 分鐘內就修改了 20 次，或者是 100 次，那麼緩存更新 20 次、100 次；

可是這個緩存在 1 分鐘內只被讀取了 1 次，有大量的冷數據。

實際上，若是你只是刪除緩存的話，那麼在 1 分鐘內，這個緩存不過就從新計算一次而已，開銷大幅度下降，用到緩存纔去算緩存。

其實刪除緩存，而不是更新緩存，就是一個 lazy 計算的思想，不要每次都從新作複雜的計算，無論它會不會用到，而是讓它到須要被使用的時候再從新計算。

像 mybatis，hibernate，都有懶加載思想，查詢一個部門，部門帶了一個員工的 list，沒有必要說每次查詢部門，都把裏面的 1000 個員工的數據也同時查出來。

80% 的狀況，查這個部門，就只是要訪問這個部門的信息就能夠了，先查部門，同時要訪問裏面的員工，那麼這時只有在你要訪問裏面的員工的時候，纔會去數據庫裏面查詢 1000 個員工。

最初級的緩存不一致問題及解決方案

問題：先修改數據庫，再刪除緩存。若是刪除緩存失敗了，那麼會致使數據庫中是新數據，緩存中是舊數據，數據就出現了不一致。

解決思路：先刪除緩存，再修改數據庫。若是數據庫修改失敗了，那麼數據庫中是舊數據，緩存中是空的，那麼數據不會不一致。

由於讀的時候緩存沒有，則讀數據庫中舊數據，而後更新到緩存中。

比較複雜的數據不一致問題分析

數據發生了變動，先刪除了緩存，而後要去修改數據庫。

可是還沒來得及修改，一個請求過來，去讀緩存，發現緩存空了，去查詢數據庫，查到了修改前的舊數據，放到了緩存中。

隨後數據變動的程序完成了數據庫的修改。

完了，數據庫和緩存中的數據不同了。。。

爲何上億流量高併發場景下，緩存會出現這個問題？

只有在對一個數據在併發的進行讀寫的時候，纔可能會出現這種問題。

若是說你的併發量很低的話，特別是讀併發很低，天天訪問量就 1 萬次，那麼不多的狀況下，會出現剛纔描述的那種不一致的場景。

可是問題是，若是天天的是上億的流量，每秒併發讀是幾萬，每秒只要有數據更新的請求，就可能會出現上述的數據庫+緩存不一致的狀況。

解決方案以下：

更新數據的時候，根據數據的惟一標識，將操做路由以後，發送到一個 jvm 內部隊列中。

讀取數據的時候，若是發現數據不在緩存中，那麼將從新讀取數據+更新緩存的操做，根據惟一標識路由以後，也發送同一個 jvm 內部隊列中。

一個隊列對應一個工做線程，每一個工做線程串行拿到對應的操做，而後一條一條的執行。

這樣的話，一個數據變動的操做，先刪除緩存，而後再去更新數據庫，可是還沒完成更新。

此時若是一個讀請求過來，讀到了空的緩存，那麼能夠先將緩存更新的請求發送到隊列中，此時會在隊列中積壓，而後同步等待緩存更新完成。

這裏有一個優化點，一個隊列中，其實多個更新緩存請求串在一塊兒是沒意義的，所以能夠作過濾

若是發現隊列中已經有一個更新緩存的請求了，那麼就不用再放個更新請求操做進去了，直接等待前面的更新操做請求完成便可。

待那個隊列對應的工做線程完成了上一個操做的數據庫的修改以後，纔會去執行下一個操做，也就是緩存更新的操做，此時會從數據庫中讀取最新的值，而後寫入緩存中。

若是請求還在等待時間範圍內，不斷輪詢發現能夠取到值了，那麼就直接返回；若是請求等待的時間超過必定時長，那麼這一次直接從數據庫中讀取當前的舊值。

高併發的場景下，該解決方案要注意的問題：

一、讀請求長時阻塞

因爲讀請求進行了很是輕度的異步化，因此必定要注意讀超時的問題，每一個讀請求必須在超時時間範圍內返回。

該解決方案，最大的風險點在於，可能數據更新很頻繁，致使隊列中積壓了大量更新操做在裏面，而後讀請求會發生大量的超時，最後致使大量的請求直接走數據庫。

因此務必經過一些模擬真實的測試，看看更新數據的頻率是怎樣的。

另一點，由於一個隊列中，可能會積壓針對多個數據項的更新操做，所以須要根據本身的業務狀況進行測試，可能須要部署多個服務，每一個服務分攤一些數據的更新操做。

若是一個內存隊列裏積壓 100 個商品的庫存修改操做，每一個庫存修改操做要耗費 10ms 去完成，那麼最後一個商品的讀請求，可能等待 10 * 100 = 1000ms = 1s 後，才能獲得數據，這個時候就致使讀請求的長時阻塞。

所以，必定要根據實際業務系統的運行狀況，去進行一些壓力測試和模擬線上環境，去看看最繁忙的時候，內存隊列可能會積壓多少更新操做，可能會致使最後一個更新操做對應的讀請求，會 hang 多少時間。

若是讀請求在 200ms 返回，若是你計算事後，哪怕是最繁忙的時候，積壓 10 個更新操做，最多等待 200ms，那還能夠的。

若是一個內存隊列中可能積壓的更新操做特別多，那麼你就要加機器，讓每一個機器上部署的服務實例處理更少的數據，那麼每一個內存隊列中積壓的更新操做就會越少。

其實根據以前的項目經驗，通常來講，數據的寫頻率是很低的，所以實際上正常來講，在隊列中積壓的更新操做應該是不多的。

像這種針對讀高併發、讀緩存架構的項目，通常來講寫請求是很是少的，每秒的 QPS 能到幾百就不錯了。

實際粗略測算一下，若是一秒有 500 的寫操做，分紅 5 個時間片，每 200ms 就 100 個寫操做，放到 20 個內存隊列中，每一個內存隊列，可能就積壓 5 個寫操做。

每一個寫操做性能測試後，通常是在 20ms 左右就完成，那麼針對每一個內存隊列的數據的讀請求，也就最多 hang 一下子，200ms 之內確定能返回了。

通過剛纔簡單的測算，咱們知道，單機支撐的寫 QPS 在幾百是沒問題的，若是寫 QPS 擴大了 10 倍，那麼就擴容機器，擴容 10 倍的機器，每一個機器 20 個隊列。

二、讀請求併發量太高

這裏還必須作好壓力測試，確保恰巧碰上上述狀況時，還有一個風險，就是忽然間大量讀請求會在幾十毫秒的延時 hang 在服務上，看服務能不能扛的住，須要多少機器才能扛住最大的極限狀況的峯值。

可是由於並非全部的數據都在同一時間更新，緩存也不會同一時間失效，因此每次可能也就是少數數據的緩存失效了，而後那些數據對應的讀請求過來，併發量應該也不會特別大。

三、多服務實例部署的請求路由

可能這個服務部署了多個實例，那麼必須保證說，執行數據更新操做，以及執行緩存更新操做的請求，都經過 Nginx 服務器路由到相同的服務實例上。

好比對同一個商品的讀寫請求，所有路由到同一臺機器上。能夠本身去作服務間的按照某個請求參數的 hash 路由，也能夠用 Nginx 的 hash 路由功能等等。

四、熱點商品的路由問題，致使請求的傾斜

萬一某個商品的讀寫請求特別高，所有打到相同的機器的相同的隊列裏面去了，可能會形成某臺機器的壓力過大。

由於只有在商品數據更新的時候纔會清空緩存，而後纔會致使讀寫併發，因此要根據業務系統去看，若是更新頻率不是過高的話，這個問題的影響並非特別大，可是可能某些機器的負載會高一些。

END

《21天互聯網Java進階面試訓練營（分佈式篇）》詳細目錄，掃描圖片末尾的二維碼，試聽課程