【高併發】在高併發環境下該如何構建應用級緩存？

寫在前面

隨着咱們的系統負載愈來愈高，系統的性能就會有所降低，此時，咱們能夠很天然地想到使用緩存來解決數據讀寫性能低下的問題。可是，立志成爲資深架構師的你，是否可以在高併發環境下合理而且高效的構建應用級緩存呢？

緩存命中率

緩存命中率是從緩存中讀取數據的次數與總讀取次數的比率，命中率越高越好。緩存命中率=從緩存中讀取次數 / (總讀取次數 (從緩存中讀取次數 + 從慢速設備上讀取次數))。這是一個很是重要的監控指標，若是作緩存，則應經過監控這個指標來看緩存是否工做良好。

緩存回收策略

1.基於空間

基於空間指緩存設置了存儲空間，如設置爲10MB，當達到存儲空間上限時，按照必定的策略移除數據。

2.基於容量

基於容量指緩存設置了最大大小，當緩存的條目超過最大大小時，按照必定的策略移除舊數據。

3.基於時間

TTL(Time To Live):存活期，即緩存數據從建立開始直到到期的一個時間段（無論在這個時間段內有沒有被訪問，緩存數據都將過時）。
TTI(Time To Idle)：空閒期，即緩存數據多久沒被訪問後移除緩存的時間。

4.基於對象引用

軟引用：若是一個對象是軟引用，則當JVM堆內存不足時，垃圾回收器能夠回收這些對象。軟引用適合用來作緩存，從而當JVM堆內存不足時，能夠回收這些對象騰出一些空間供強引用對象使用，從而避免OOM。
弱引用：當垃圾回收器回收內存時，若是發現弱引用，則將它當即回收。相對於軟引用，弱引用有更短的生命週期。

注意：只有在沒有其餘強引用對象引用弱引用/軟引用對象時，垃圾回收時纔回收該引用。即若是有一個對象（不是弱引用/軟引用對象）引用了弱引用/軟引用對象，那麼垃圾回收時不會回收該弱引用/軟引用對象。

5.回收算法

使用基於空間和基於容量的緩存會使用必定的策略移除舊數據，常見的以下。

• FIFO(First In First Out)：先進先出算法，即先放入緩存的先被移除。
• LRU(Least Recently Used)：最近最少使用算法，時間時間距離如今最久的那個被移除。
• LFU(Least Frequently Used)：最不經常使用算法，必定時間段內使用次數（頻率）最少的那個被移除。

實際應用中基於LRU的緩存居多。

緩存類型

堆內存： 使用Java堆內存來存儲對象。使用堆緩存的好處是沒有序列化/反序列化，是最快的緩存。缺點也很明顯，當緩存的數據量很大時，GC（垃圾回收）暫停時間會變長，存儲容量受限於堆空間大小。通常經過軟引用/弱引用來存儲緩存對象。即當堆內存不足時，能夠強制回收這部份內存釋放堆內存空間。通常使用堆緩存存儲較熱的數據。可使用Guava Cache、Ehcache 3.x、 MapDB實現。

堆外內存： 即緩存數據存儲在堆外內存，能夠減小GC暫停時間（堆對象轉移到堆外，GC掃描和移動的對象變少了），能夠支持更多的緩存空間（只受機器內存大小限制，不受堆空間的影響）。可是，讀取數據時須要序列化/反序列化。所以，會比堆緩存慢不少。可使用Ehcache 3.x、 MapDB實現。

磁盤緩存： 即緩存數據存儲在磁盤上，在JVM重啓時數據還存在，而堆/堆外緩存數據會丟失，須要從新加載。可使用Ehcache 3.x、MapDB實現。

分佈式緩存： 分佈式緩存可使用ehcache-clustered(配合Terracotta server)實現Java進程間分佈式緩存。也可使用Memcached、Redis實現。

緩存模式

單機模式： 存儲最熱的數據到堆緩存，相對熱的數據到堆外緩存，不熱的數據到磁盤緩存。
集羣模式： 存儲最熱的數據到堆緩存，相對熱的數據到對外緩存，全量數據到分佈式緩存。

寫在最後

若是以爲文章對你有點幫助，請微信搜索並關注「 冰河技術 」微信公衆號，跟冰河學習高併發編程技術。

最後，附上併發編程須要掌握的核心技能知識圖，祝你們在學習併發編程時，少走彎路。