LRU算法 緩存淘汰策略

四種實現方式

 

LRU

 

1.1. 原理

LRU（Least recently used，最近最少使用）算法根據數據的歷史訪問記錄來進行淘汰數據，其核心思想是「若是數據最近被訪問過，那麼未來被訪問的概率也更高」。

1.2. 實現

最多見的實現是使用一個鏈表保存緩存數據，詳細算法實現以下：

1. 新數據插入到鏈表頭部；

2. 每當緩存命中（即緩存數據被訪問），則將數據移到鏈表頭部；

3. 當鏈表滿的時候，將鏈表尾部的數據丟棄。

1.3. 分析

【命中率】

當存在熱點數據時，LRU的效率很好，但偶發性的、週期性的批量操做會致使LRU命中率急劇降低，緩存污染狀況比較嚴重。

【複雜度】

實現簡單。

【代價】

命中時須要遍歷鏈表，找到命中的數據塊索引，而後須要將數據移到頭部。

 

 

 

 

LRU-K

2.1. 原理

LRU-K中的K表明最近使用的次數，所以LRU能夠認爲是LRU-1。LRU-K的主要目的是爲了解決LRU算法「緩存污染」的問題，其核心思想是將「最近使用過1次」的判斷標準擴展爲「最近使用過K次」。

2.2. 實現

相比LRU，LRU-K須要多維護一個隊列，用於記錄全部緩存數據被訪問的歷史。只有當數據的訪問次數達到K次的時候，纔將數據放入緩存。當須要淘汰數據時，LRU-K會淘汰第K次訪問時間距當前時間最大的數據。詳細實現以下：

1. 數據第一次被訪問，加入到訪問歷史列表；

2. 若是數據在訪問歷史列表裏後沒有達到K次訪問，則按照必定規則（FIFO，LRU）淘汰；

3. 當訪問歷史隊列中的數據訪問次數達到K次後，將數據索引從歷史隊列刪除，將數據移到緩存隊列中，並緩存此數據，緩存隊列從新按照時間排序；

4. 緩存數據隊列中被再次訪問後，從新排序；

5. 須要淘汰數據時，淘汰緩存隊列中排在末尾的數據，即：淘汰「倒數第K次訪問離如今最久」的數據。

LRU-K具備LRU的優勢，同時可以避免LRU的缺點，實際應用中LRU-2是綜合各類因素後最優的選擇，LRU-3或者更大的K值命中率會高，但適應性差，須要大量的數據訪問才能將歷史訪問記錄清除掉。

2.3. 分析

【命中率】

LRU-K下降了「緩存污染」帶來的問題，命中率比LRU要高。

【複雜度】

LRU-K隊列是一個優先級隊列，算法複雜度和代價比較高。

【代價】

因爲LRU-K還須要記錄那些被訪問過、但尚未放入緩存的對象，所以內存消耗會比LRU要多；當數據量很大的時候，內存消耗會比較可觀。

LRU-K須要基於時間進行排序（能夠須要淘汰時再排序，也能夠即時排序），CPU消耗比LRU要高。

 

 

 Two queues（2Q）

3.1. 原理

Two queues（如下使用2Q代替）算法相似於LRU-2，不一樣點在於2Q將LRU-2算法中的訪問歷史隊列（注意這不是緩存數據的）改成一個FIFO緩存隊列，即：2Q算法有兩個緩存隊列，一個是FIFO隊列，一個是LRU隊列。

3.2. 實現

當數據第一次訪問時，2Q算法將數據緩存在FIFO隊列裏面，當數據第二次被訪問時，則將數據從FIFO隊列移到LRU隊列裏面，兩個隊列各自按照本身的方法淘汰數據。詳細實現以下：

1. 新訪問的數據插入到FIFO隊列；

2. 若是數據在FIFO隊列中一直沒有被再次訪問，則最終按照FIFO規則淘汰；

3. 若是數據在FIFO隊列中被再次訪問，則將數據移到LRU隊列頭部；

4. 若是數據在LRU隊列再次被訪問，則將數據移到LRU隊列頭部；

5. LRU隊列淘汰末尾的數據。

 

注：上圖中FIFO隊列比LRU隊列短，但並不表明這是算法要求，實際應用中二者比例沒有硬性規定。

3.3. 分析

【命中率】

2Q算法的命中率要高於LRU。

【複雜度】

須要兩個隊列，但兩個隊列自己都比較簡單。

【代價】

FIFO和LRU的代價之和。

2Q算法和LRU-2算法命中率相似，內存消耗也比較接近，但對於最後緩存的數據來講，2Q會減小一次從原始存儲讀取數據或者計算數據的操做。

 

 

 

 

 

Multi Queue（MQ）

4.1. 原理

MQ算法根據訪問頻率將數據劃分爲多個隊列，不一樣的隊列具備不一樣的訪問優先級，其核心思想是：優先緩存訪問次數多的數據。

4.2. 實現

MQ算法將緩存劃分爲多個LRU隊列，每一個隊列對應不一樣的訪問優先級。訪問優先級是根據訪問次數計算出來的，例如

詳細的算法結構圖以下，Q0，Q1....Qk表明不一樣的優先級隊列，Q-history表明從緩存中淘汰數據，但記錄了數據的索引和引用次數的隊列：

 

如上圖，算法詳細描述以下：

1. 新插入的數據放入Q0；

2. 每一個隊列按照LRU管理數據；

3. 當數據的訪問次數達到必定次數，須要提高優先級時，將數據從當前隊列刪除，加入到高一級隊列的頭部；

4. 爲了防止高優先級數據永遠不被淘汰，當數據在指定的時間裏訪問沒有被訪問時，須要下降優先級，將數據從當前隊列刪除，加入到低一級的隊列頭部；

5. 須要淘汰數據時，從最低一級隊列開始按照LRU淘汰；每一個隊列淘汰數據時，將數據從緩存中刪除，將數據索引加入Q-history頭部；

6. 若是數據在Q-history中被從新訪問，則從新計算其優先級，移到目標隊列的頭部；

7. Q-history按照LRU淘汰數據的索引。

4.3. 分析

【命中率】

MQ下降了「緩存污染」帶來的問題，命中率比LRU要高。

【複雜度】

MQ須要維護多個隊列，且須要維護每一個數據的訪問時間，複雜度比LRU高。

【代價】

MQ須要記錄每一個數據的訪問時間，須要定時掃描全部隊列，代價比LRU要高。

注：雖然MQ的隊列看起來數量比較多，但因爲全部隊列之和受限於緩存容量的大小，所以這裏多個隊列長度之和和一個LRU隊列是同樣的，所以隊列掃描性能也相近。

 

 

LRU類算法對比

因爲不一樣的訪問模型致使命中率變化較大，此處對比僅基於理論定性分析，不作定量分析。

對比點	對比
命中率	LRU-2 > MQ(2) > 2Q > LRU
複雜度	LRU-2 > MQ(2) > 2Q > LRU
代價	LRU-2  > MQ(2) > 2Q > LRU

實際應用中須要根據業務的需求和對數據的訪問狀況進行選擇，並非命中率越高越好。例如：雖然LRU看起來命中率會低一些，且存在」緩存污染「的問題，但因爲其簡單和代價小，實際應用中反而應用更多。

 

 

 

 

LRU緩存實現(Java)