Ehcache 3.7文檔—基礎篇—Tiering Options

Ehcache支持分層緩存的概念，這節主要介紹不一樣的配置選項，同時也解釋了規則和最佳實踐。

一. 數據緩存到堆外

當在cache中除了有heap層以外，有一些須要注意的：

• 添加一個key-value到cache時，意味着key和value要被序列化。
• 從cache中讀取key-value時，意味着key和value能被反序列化。

基於上述兩點，你須要認識到數據應該使用二進制表示，而且考慮何如進行序列化和反序列化，由於他在cache性能中是重要的指標。你能夠參考Seializers章節來了解序列化和反序列化。

這也說明了某些配置在紙面上說有意義，可是在實際使用中可能不能提供最佳性能。

 

二. 單層設置

全部的層級配置均可以是單獨使用的，例如你能夠單獨使用offheap或者clustered的cache。

下面列出一些單層配置：

• heap
• offheap
• disk
• clustered

簡單的定義一個單層配置：

CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, (1) ResourcePoolsBuilder.newResourcePoolsBuilder().offheap(2, MemoryUnit.GB)).build();(2)

(1). 在configuration builder中首先配置key和value的類型。

(2). 指定想使用哪一個存儲層，這裏咱們只使用offheap層。

1. Heap層

The starting point of every cache and also the faster since no serialization is necessary. You can optionally use copiers (see the section Serializers and Copiers) to pass keys and values by-value, the default being by-reference.

Heap層的大小能夠按照entries或者字節來分配。

ResourcePoolsBuilder.newResourcePoolsBuilder().heap(10, EntryUnit.ENTRIES); (1)
//or
ResourcePoolsBuilder.heap(10); (2)
//or
ResourcePoolsBuilder.newResourcePoolsBuilder().heap(10, MemoryUnit.MB); (3)

(1). heap中只容許存儲10個entries，當超出時會刪除某些entry。

(2). 一個簡版的指定10個entries。

(3). 指定heap大小爲10MB，超出時會刪除某些entry。

 

按照字節來分配heap大小存在的問題：

除了heap層外，其餘層計算cache的大小是很容易的。你能夠經過計算序列化後entries的大小來增長或減小緩存的大小。

可是當heap層使用字節大小來代替entries個數來設置heap size時，就有點複雜了。

緩存數據的大小和數據結構影響了運行時性能。

CacheConfiguration<Long, String> usesConfiguredInCacheConfig = CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.newResourcePoolsBuilder() .heap(10, MemoryUnit.KB) (1) .offheap(10, MemoryUnit.MB)) (2) .withSizeOfMaxObjectGraph(1000) .withSizeOfMaxObjectSize(1000, MemoryUnit.B) (3) .build(); CacheConfiguration<Long, String> usesDefaultSizeOfEngineConfig = CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.newResourcePoolsBuilder() .heap(10, MemoryUnit.KB)) .build(); CacheManager cacheManager = CacheManagerBuilder.newCacheManagerBuilder() .withDefaultSizeOfMaxObjectSize(500, MemoryUnit.B) .withDefaultSizeOfMaxObjectGraph(2000) (4) .withCache("usesConfiguredInCache", usesConfiguredInCacheConfig) .withCache("usesDefaultSizeOfEngine", usesDefaultSizeOfEngineConfig) .build(true);

(1). 這將會限制heap層使用的內存的大小，而且又會有一個計算對象大小的成本。

(2). 設置offheap大小爲10MB。

(3). 能夠經過額外兩個參數更進一步的設置大小，第一個參數是指定了當遍歷對象圖時最大的對象數量(默認是1000)，第二個參數定義了單個對象大小的最大值(默認是Long.MAX_VALUE)，若是超過任何一個配置的大小，那麼entry將不能被存進cache。

(4). 提供了默認的配置給CacheManager，若是有顯示定義的，那麼將覆蓋這兩個值。

 

2. Off-heap層

若是你想使用off-heap，你須要定義Resuource Pool而且指定你想要分配的空間大小。

ResourcePoolsBuilder.newResourcePoolsBuilder().offheap(10, MemoryUnit.MB);(1)

(1). 只分配了10MB給off-heap，當超出時會刪除某些entry。

上面的例子只分配很小的off-heap空間，你能夠分配更多的空間來使用。

記住數據存儲在off-heap，須要進行序列化和反序列化，因此他的速度會比heap層慢。

你能夠把在heap中影響GC性能的數據，存儲在off-heap。

不要忘了設置java 運行時參數 -XX:MaxDirectMemorySize選項，他的大小根據off-heap的大小來設置。

 

3. Disk層

對於Disk層，數據存儲在磁盤上，這個磁盤越快那麼訪問的數據也就越快

PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder() (1) .with(CacheManagerBuilder.persistence(new File(getStoragePath(), "myData"))) (2) .withCache("persistent-cache", CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.newResourcePoolsBuilder().disk(10, MemoryUnit.MB, true)) (3) ) .build(true); persistentCacheManager.close();

(1). 得到一個PersistentCacheManager，它比普通的CacheManager多了destory caches。

(2). 提供數據存儲的位置

(3). 給cache中使用的Disk，定義一個resource pool，第三個參數是一個boolean類型的，它用來決定是否將Disk pool持久化。若是設置成true，那麼就持久化存儲。當使用兩個參數的版本時disk(long，MemoryUnit)這個pool不會被持久化。

上面的例子分配了很小的內存空間，你能夠分配更多的空間來使用。

持久化意味着，當JVM重啓時，cache中全部的東西都會保存下來，而且啓動後會在相同的位置建立持久化的CacheManager。

注意：Disk層不能在CahceManager之間共享，在同一時間一個CacheManager只能有一個持久化目錄。

記住數據存儲在磁盤，必需要序列化/反序列化而且要讀/寫到磁盤中，因此他的速度要比heap和off-heap慢不少。因此在如下狀況使用磁盤存儲：

• 有大量的數據，不適合在off-heap中儲存。
• 磁盤的速度大於正在緩存的速度。
• 數據須要持久化

注意：Ehcache 3只提供了在正常調用關閉時(close())纔會持久化數據，若是jvm崩潰那麼數據就不能完整性，在重啓後，Ehcache會檢測到CacheManager沒有正常的關閉而且會在使用前清除磁盤存儲的數據。

磁盤存儲被分紅多段，提供併發訪問的能力，因此持有以打開文件的指針，默認是16。有時你可能須要減少併發量，節省資源你就須要減少段的數量。

String storagePath = getStoragePath(); PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder() .with(CacheManagerBuilder.persistence(new File(storagePath, "myData"))) .withCache("less-segments", CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.newResourcePoolsBuilder().disk(10, MemoryUnit.MB)) .add(new OffHeapDiskStoreConfiguration(2)) (1) ) .build(true); persistentCacheManager.close();

(1). 定義一個OffHeapDiskStoreConfiguration實例指定段的數量。

 

4. 集羣存儲

集羣層意味着客戶端鏈接到Terracotta服務組，那裏存儲着cahe，這也能夠做爲jvms之間的共享cache。

 

二. 多層配置

若是你想使用多層存儲，那麼你必須遵照一些約定：

1. 必需要有heap層，這是當前實現的限制
2. Disk層和Clustered層不能共存，這個限制是必須的，由於包含兩層的jvm生命週期比包含單個的jvm生命週期長，在重啓時會致使兼容性問題。
3. 各個層級之間應該按照大小排成金字塔形狀，這是由於層之間相互依賴，最快的層在最頂上，最慢的層在最底下。一般來講heap比機器中全部內存(off-heap)受到的限制更多，而off-heap比disk或cluster受到的限制多。因此就有了金字塔型的設置。

 

 Ehcache要求，heap大小 < off-heap大小 < disk大小，雖然Ehcache沒法驗證 基於count-entry配置的heap 和 基於字節配置的off-heap和cluster大小關係，可是在測試時用戶要保證這點。

 根據上面的說明，以下配置是有效的：

• heap + offheap
• heap + offheap + disk
• heap + offheap + clustered
• heap + disk
• heap + clustered

以下是使用heap，offheap和clustered的例子

PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder() .with(cluster(CLUSTER_URI).autoCreate()) (1) .withCache("threeTierCache", CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.newResourcePoolsBuilder() .heap(10, EntryUnit.ENTRIES) (2) .offheap(1, MemoryUnit.MB) (3) .with(ClusteredResourcePoolBuilder.clusteredDedicated("primary-server-resource", 2, MemoryUnit.MB)) (4) ) ).build(true);

(1). 指定集羣信息，告訴怎麼去鏈接Terracotta服務集羣。

(2). 定義一個heap層，這是最小最快的存儲層。

(3). Define the offheap tier. Next in line as cacheing tier.

(4). Define the Clustered tier. The authoritative tier for this cache.

 

三. Resource pools

層的設置是經過使用resource pools，大多數使用ResourcePoolsBuilder。來看一下以前的一個例子

PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder() .with(CacheManagerBuilder.persistence(new File(getStoragePath(), "myData"))) .withCache("threeTieredCache", CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.newResourcePoolsBuilder() .heap(10, EntryUnit.ENTRIES) .offheap(1, MemoryUnit.MB) .disk(20, MemoryUnit.MB, true) ) ).build(true);

這個cache使用了3層(heap，offheap，disk)。這些層被建立並鏈接起來都是經過使用ResourcePoolsBuilder。層的聲明順序是沒有關係的，由於每一個層都有一個height，層的高度越高，客戶就會越會先使用該層。

resource pool只是一個配置信息，它不是一個真正的pool，不能夠在多個cache之間共享，對於理解這點很是重要。考慮下面的這段代碼：

ResourcePools pool = ResourcePoolsBuilder.heap(10).build(); CacheManager cacheManager = CacheManagerBuilder.newCacheManagerBuilder() .withCache("test-cache1", CacheConfigurationBuilder.newCacheConfigurationBuilder(Integer.class, String.class, pool)) .withCache("test-cache2", CacheConfigurationBuilder.newCacheConfigurationBuilder(Integer.class, String.class, pool)) .build(true);

最終你會獲得兩個cache，每一個都包含了10個entries。而不是這兩個cache共享10個entries。pool歷來都不會在cache之間共享，除了clustered cache，它是能夠被共享或獨立使用的。

更新ResourcePools

能夠給正在運行中的cache，調整大小。

注意：updateResourcePools()只容許你調整heap的大小，而不準調整pool的類型。因此你不能改變off-heap和disk層的大小。

ResourcePools pools = ResourcePoolsBuilder.newResourcePoolsBuilder().heap(20L, EntryUnit.ENTRIES).build(); (1) cache.getRuntimeConfiguration().updateResourcePools(pools); (2) assertThat(cache.getRuntimeConfiguration().getResourcePools() .getPoolForResource(ResourceType.Core.HEAP).getSize(), is(20L));

(1). 你須要建立一個新的ResourcePools對象，並使用ResourcePoolsBuilder設置heap的大小，而後將該對象傳給上述方法來觸發更新機制。

(2). 爲了更新ResourcePools的容量，可使用RuntimeConfiguration中的updateResourcePools(ResourcePools)方法，而後將ResourcePools對象傳進去觸發更新操做。

 

四. Destory Persistent Tiers

Disk層和Clustered層是兩個持久層，那就意味着當JVM中止時全部的數據仍然會保存在磁盤或集羣中。

可是你可能想將他們全都刪除掉，你可使用PersistentCacheManager類，他有以下方法：

destory()

    這個方法銷燬全部與cache manager相關的數據(包括cache)。必定關閉這個CacheManager或者這個CacheManager沒有初始化才能夠調用該方法。一樣，對於clustered層，不能有其餘的CacheManager鏈接到當前要被關閉的CacheManager上。

destoryCache(String cacheName)

    這個方法銷燬了給定的cache，一樣這個被銷燬的cache不能正在被其餘的CacheManager使用。

 

五. Sequence Flow for Cache Operations with Multiple Tiers(多層cache的操做順序流)

爲了理解在使用多層存儲時，不一樣的緩存層發生了什麼。下面有個Put和Get操做的例子。下面的序列圖雖然簡單可是仍然顯示最重要的部分。

 你須要注意一下幾點：

• 當你添加一條數據時，它直接進入到authoritative層，它是最低的層。
• 下面的get操做會將該數據向上層推。
• 固然，只要一有數據添加到authoritative層，更高的層會使相應的數據無效。
• 若是高緩衝層中沒有命中數據，那麼就會一直查找到authoritative層。

 注意：若是你的authoritative層越慢，那麼你的put操做就會越慢。對於正常cache的要使用，這是沒問題的。由於get操做的頻率要大於put操做的頻率。可是若是相反put頻率大於get頻率那可能意味着一開始你就不該該考慮使用cache。