memcached存儲解析

Memcached 是一個高性能的分佈式內存對象緩存系統，用於動態Web應用以減輕數據庫負載。 它經過在內存中緩存數據和對象來減小讀取數據庫的次數，從而提升動態、數據庫驅動網站的速度。

Memcached如何存儲咱們的數據？

要很好的使用Memcached，那麼必須知道咱們的數據交給Memcached，它是怎麼處理它們的。爲了說明這個，須要先了解幾個名詞：slab class,page,chunk。它們三者之間的關係以下： 

1. slab class ：memcached會自動根據設置的chunk size以及當前分配給memcached建立一系列slab class，單個slab class中的chunk大小是同樣的，而每一個slab class中的chunk大小根據設置設置的chunk_size*growth_factor^(i-1),其中i表示第幾個slab class(這裏須要注意這裏的chunk_size不僅是item的數據大小，還包含memcached內部的一個item結構體大小，這個值通常是48byte，默認的growth_factor是1.25)。
2. chunk：能夠理解爲memcached中存儲數據的最小單元，每一個存儲在memcached中的item都會分配一個符合它大小的chunk，chunk的數量決定了memcached存儲item的數量，默認的chunk爲48byte。
3. page：memcached中的內存是已page爲單位分配給每一個slab class，而後每一個slab class根據它的chunk大小，計算出各自可以存儲的item的數量，默認page大小爲1M。而每一頁可以存放多少個item，這取決於chunk_size的大小。

 

經過上面能夠看到slab class 1中一個page可以存儲的item數量是最多的，而最後一個slab class一個page只能存儲一個item。這是因爲第一個slab class 1的chunk大小是全部slab class中最小的，那麼對於就致使了slab class 1的可以存儲的item最多了。

memcached這樣作的好處什麼呢？memcached這樣作將數據存儲根據可以存儲的大小歸爲幾類，而且內存按照固定的大小來劃分。相比於隨機分配內存大小，致使內存碎片難於回收來講，這種內存方案對內存的利用率更高，並且便於管理。這就是memcached的slab allocation。

對於memcached來講，若是一個item申請寫入數據，會計算當前item的大小而後加上memcached的item結構體大小，判斷具體是存儲在哪一個slab class上面。判斷的條件是item_size+item_structure_size<=某個slab class上的chunk大小。以上面的圖來講，好比我須要寫入一個54byte的數據（key+value），因爲memcached的item結構體大小是48，那麼memcached對於這個item須要寫入的總數據大小是100byte，因而就會寫入slab class2的某個chunk裏面。因而就會存在下面的狀況：

因爲slab class2的chunk大小是112byte，那麼寫入100byte數據，就會有12byte空間浪費。這就是下一個話題，如何可以讓memcached充分使用內存。

 

讓Memcached充分使用內存。

上面列舉的例子能夠看出如何chunk大小設置不合適會致使內存空間的浪費，如何讓memcached合理的使用內存呢？下面將介紹設置哪些參數來達到根據具體的業務合理的使用內存。

1. 經過上面能夠知道，slab class 1中可以存儲的item數量是全部slab class中最多的，那麼若是可以調整slab class 1的chunk大小，就可以提升memcached存儲的數據量，而且對內存的利用率也有很大的提升。能夠經過在memcached的啓動參數-n來設置的slab class 1的chunk大小。因爲後面的slab class都是在這個基礎上遞增，那麼其實的slab class的chunk大小比較重要。好比你發現大家的業務存入memcached都是100byte的大小數據，那麼能夠將起始slab class的chunk設置爲148byte(還要加上48byte的item結構體大小)，例如memcached -n 148。這樣就能夠將數據基本上都會分佈在slab class 1上面，並且在每一頁上面可以建立的chunk數量也是最大的。
2. 上面說經過調整slab class 1的chunk大小來提供可以存儲的item數量，那麼只是對於item大小比較固定的狀況。若是對於item大小存在差別的時候呢？那麼能夠經過設置growth_factor來控制後面的slab class中chunk遞增的速度，能夠控制slab class中chunk大小變化幅度，來提升memcached的利用率。好比你如今的數據基本上在100-200byte之間，若是讓這些數據所有存儲在slab class 1那麼有些item會只是佔用chunk中的一半，這樣對內存浪費比較大。因此能夠條件growth_factor大小，來控制整個chunk大小在slab class遞增的速度。能夠經過啓動參數-f來指定growth_factor大小，好比memcached -f 1.01 -n 100 （growth_factor值必須大於1）這樣可讓memcached在chunk爲100的基礎上增加速度比較緩慢，可以有多個slab class的chunk大小分佈在100-200byte之間。具體設置什麼，能夠根據你的業務或者必定的公式來得到這個值。
3. 除了上面幾個參數以外，能夠調節頁面的大小，以及分配給memcached的總內存大小來控制memcached分配內存的策略。經過啓動參數-m調節memcached總內存大小，以及-I調節頁面的大小。