淺談緩存寫法（三）：內存緩存該如何設計

分析設計

假設有個項目有比較高的併發量，要用到多級緩存，以下：

在實際設計一個內存緩存前，須要考慮的問題：

1：內存與Redis的數據置換，儘量在內存中提升數據命中率，減小下一級的壓力。

2：內存容量的限制，須要控制緩存數量。

3：熱點數據更新不一樣，須要可配置單個key過時時間。

4：良好的緩存過時刪除策略。

5：緩存數據結構的複雜度儘量的低。

關於置換及命中率：採用LRU算法，由於它實現簡單，緩存key命中率也很好。

LRU便是：把最近最少訪問的數據給淘汰掉，常常被訪問到便是熱點數據。

關於LRU數據結構：由於key優先級提高和key淘汰，因此須要順序結構，網上大多實現都採用的這種鏈表結構。

即新數據插入到鏈表頭部、被命中時的數據移動到頭部，添加複雜度O(1)，移動和獲取複雜度O(N)。

有沒複雜度更低的呢？ 有Dictionary，複雜度爲O(1)，性能最好。 那如何保證緩存的優先級提高呢？

O(1)LRU實現

定義個LRUCache類，構造參數maxKeySize 來控制緩存最大數量。

使用ConcurrentDictionary來做爲咱們的緩存容器，並能保證線程安全。

<pre style="margin:0px; padding:0px; white-space:pre-wrap; overflow-wrap:break-word; font-family:&quot; Courier New&quot; !important; font-size:12px !important; "> public class LRUCache<TValue>:IEnumerable<KeyValuePair<string,TValue>> {
	private long ageToDiscard = 0;
	//淘汰的年齡起點
private long currentAge = 0;
	//當前緩存最新年齡
private int maxSize = 0;
	//緩存最大容量
private readonly ConcurrentDictionary<string,TrackValue> cache;
	public LRUCache(int maxKeySize) {
	cache = new ConcurrentDictionary<string,TrackValue>();
	maxSize = maxKeySize;
}
}
</pre>
複製代碼

上面定義了 ageToDiscard、currentAge 這2個自增值參數，做用是標記緩存列表中各個key的新舊程度。

實現步驟以下：

每次添加key時，currentAge自增並將currentAge值分配給這個緩存值的age，currentAge一直自增。

<pre style="margin:0px; padding:0px; white-space:pre-wrap; overflow-wrap:break-word; font-family:&quot; Courier New&quot; !important; font-size:12px !important; "> public void Add(string key,TValue value) {
	Adjust(key);
	var result = new TrackValue(this,value);
	cache.AddOrUpdate(key,result,(k,o) => result);
}
public class TrackValue {
	public readonly TValue Value;
	public long Age;
	public TrackValue(LRUCache<TValue> lv,TValue tv) {
	Age = Interlocked.Increment(ref lv.currentAge);
	Value = tv;
}
}
</pre>
複製代碼

在添加時，如超過最大數量，檢查字典裏是否有ageToDiscard年齡的key，如沒有循環自增檢查，有則刪除、添加成功。

其ageToDiscard+maxSize= currentAge ，這樣設計就能在O(1)下保證能夠淘汰舊數據，而不是使用鏈表移動。

<pre style="margin:0px; padding:0px; white-space:pre-wrap; overflow-wrap:break-word; font-family:&quot; Courier New&quot; !important; font-size:12px !important; ">  public void Adjust(string key) {
	while (cache.Count >= maxSize) {
	long ageToDelete = Interlocked.Increment(ref ageToDiscard);
	var toDiscard = cache.FirstOrDefault(p => p.Value.Age == ageToDelete);
	if (toDiscard.Key == null) continue;
	TrackValue old;
	cache.TryRemove(toDiscard.Key,out old);
}
}</pre>
複製代碼

獲取key的時候表示它又被人訪問，將最新的currentAge賦值給它，增長它的年齡：

<pre style="margin:0px; padding:0px; white-space:pre-wrap; overflow-wrap:break-word; font-family:&quot; Courier New&quot; !important; font-size:12px !important; ">  public TValue Get(string key) {
	TrackValue value=null;
	if (cache.TryGetValue(key,out value)) {
	value.Age = Interlocked.Increment(ref currentAge);
}
return value.Value;}
</pre>
複製代碼

過時刪除策略

大多數狀況下，LRU算法對熱點數據命中率是很高的。 但若是忽然大量偶發性的數據訪問，會讓內存中存放大量冷數據，也便是緩存污染。

會引發LRU沒法命中熱點數據，致使緩存系統命中率急劇降低，也可使用LRU-K、2Q、MQ等變種算法來提升命中率。

過時配置

經過設定最大過時時間來儘可能避免冷數據常駐內存。

多數狀況每一個數據緩存的時間要求不一致的，因此須要再增長單個key的過時時間字段。

<pre style="margin:0px; padding:0px; white-space:pre-wrap; overflow-wrap:break-word; font-family:&quot; Courier New&quot; !important; font-size:12px !important; "> private TimeSpan maxTime;
	public LRUCache(int maxKeySize,TimeSpan maxExpireTime) {
	}//TrackValue增長建立時間和過時時間
public readonly DateTime CreateTime;
	public readonly TimeSpan ExpireTime;
	</pre>
複製代碼

刪除策略

關於key過時刪除，最好的方式是使用定時刪除，這樣能夠最快的釋放被佔用的內存，但很明顯大量的定時器對CPU來講是很是不友好的。

因此須要採用惰性刪除、在獲取key的時檢查是否過時，過時直接刪除。

<pre style="margin:0px; padding:0px; white-space:pre-wrap; overflow-wrap:break-word; font-family:&quot; Courier New&quot; !important; font-size:12px !important; ">public Tuple<TrackValue,bool> CheckExpire(string key) {
	TrackValue result;
	if (cache.TryGetValue(key,out result)) {
	var age = DateTime.Now.Subtract(result.CreateTime);
	if (age >= maxTime || age >= result.ExpireTime) {
	TrackValue old;
	cache.TryRemove(key,out old);
	return Tuple.Create(default(TrackValue),false);
}
}return Tuple.Create(result,true);}
</pre>
複製代碼

惰性刪除雖然性能最好，但對於冷數據來講仍是沒解決緩存污染的問題，因此還需增長個按期清理和惰性刪除配合使用。

好比單開個線程每5分鐘去遍歷檢查key是否過時，這個時間策略是可配置的，若是緩存數量較多可分批遍歷檢查。

<pre style="margin:0px; padding:0px; white-space:pre-wrap; overflow-wrap:break-word; font-family:&quot; Courier New&quot; !important; font-size:12px !important; ">public void Inspection() {
	foreach (var item in this) {
	CheckExpire(item.Key);
}
}
</pre>
複製代碼

惰性刪除配合按期刪除基本上能知足絕大多數要求了。

總結

本篇參考了redis、Orleans的相關實現。

若是繼續完善下去就是內存數據庫的雛形，相似redis，好比增長刪除key的通知回調，支持更多的數據類型存儲。