談談Memcached與Redis

時間 2019-12-02

原文原文鏈接

1. Memcached簡介html

Memcached是以LiveJurnal旗下Danga Interactive公司的Bard Fitzpatric爲首開發的高性能分佈式內存緩存服務器。其本質上就是一個內存key-value數據庫，可是不支持數據的持久化，服務器關閉以後數據所有丟失。Memcached使用C語言開發，在大多數像Linux、BSD和Solaris等POSIX系統上，只要安裝了libevent便可使用。在Windows下，它也有一個可用的非官方版本(http://code.jellycan.com/memcached/)。Memcached 的客戶端軟件實現很是多，包括C/C++, PHP, Java, Python, Ruby, Perl, Erlang, Lua等。當前Memcached使用普遍，除了LiveJournal之外還有Wikipedia、Flickr、Twitter、Youtube和 WordPress等。web

在Window系統下，Memcached的安裝很是方便，只需從以上給出的地址下載可執行軟件而後運行memcached.exe –d install便可完成安裝。在Linux等系統下，咱們首先須要安裝libevent，而後從獲取源碼，make && make install便可。默認狀況下，Memcached的服務器啓動程序會安裝到/usr/local/bin目錄下。在啓動Memcached時，咱們可覺得其配置不一樣的啓動參數。redis

1.1 Memcached配置算法

Memcached服務器在啓動時須要對關鍵的參數進行配置，下面咱們就看一看Memcached在啓動時須要設定哪些關鍵參數以及這些參數的做用。sql

1）-p Memcached的TCP監聽端口，缺省配置爲11211；數據庫

2）-U Memcached的UDP監聽端口，缺省配置爲11211，爲0時表示關閉UDP監聽；數組

3）-s Memcached監聽的UNIX套接字路徑；緩存

4）-a 訪問UNIX套接字的八進制掩碼，缺省配置爲0700；安全

5）-l 監聽的服務器IP地址，默認爲全部網卡；服務器

6）-d 爲Memcached服務器啓動守護進程；

7）-r 最大core文件大小；

8）-u 運行Memcached的用戶，若是當前爲root的話須要使用此參數指定用戶；

9）-m 分配給Memcached使用的內存數量，單位是MB；

10）-M 指示Memcached在內存用光的時候返回錯誤而不是使用LRU算法移除數據記錄；

11）-c 最大併發連數，缺省配置爲1024；

12）-v –vv –vvv 設定服務器端打印的消息的詳細程度，其中-v僅打印錯誤和警告信息，-vv在-v的基礎上還會打印客戶端的命令和相應，-vvv在-vv的基礎上還會打印內存狀態轉換信息；

13）-f 用於設置chunk大小的遞增因子；

14）-n 最小的chunk大小，缺省配置爲48個字節；

15）-t Memcached服務器使用的線程數，缺省配置爲4個；

16）-L 嘗試使用大內存頁；

17）-R 每一個事件的最大請求數，缺省配置爲20個；

18）-C 禁用CAS，CAS模式會帶來8個字節的冗餘；

2. Redis簡介

Redis是一個開源的key-value存儲系統。與Memcached相似，Redis將大部分數據存儲在內存中，支持的數據類型包括：字符串、哈希表、鏈表、集合、有序集合以及基於這些數據類型的相關操做。Redis使用C語言開發，在大多數像Linux、BSD和Solaris等POSIX系統上無需任何外部依賴就可使用。Redis支持的客戶端語言也很是豐富，經常使用的計算機語言如C、C#、C++、Object-C、PHP、Python、 Java、Perl、Lua、Erlang等均有可用的客戶端來訪問Redis服務器。當前Redis的應用已經很是普遍，國內像新浪、淘寶，國外像 Flickr、Github等均在使用Redis的緩存服務。

Redis的安裝很是方便，只需從http://redis.io/download獲取源碼，而後make && make install便可。默認狀況下，Redis的服務器啓動程序和客戶端程序會安裝到/usr/local/bin目錄下。在啓動Redis服務器時，咱們須要爲其指定一個配置文件，缺省狀況下配置文件在Redis的源碼目錄下，文件名爲redis.conf。

2.1 Redis配置文件

爲了對Redis的系統實現有一個直接的認識，咱們首先來看一下Redis的配置文件中定義了哪些主要參數以及這些參數的做用。

1）daemonize no 默認狀況下，redis不是在後臺運行的。若是須要在後臺運行，把該項的值更改成yes；

2）pidfile /var/run/redis.pid當Redis在後臺運行的時候，Redis默認會把pid文件放在/var/run/redis.pid，你能夠配置到其餘地址。當運行多個redis服務時，須要指定不一樣的pid文件和端口；

3）port 6379指定redis運行的端口，默認是6379；

4）bind 127.0.0.1 指定redis只接收來自於該IP地址的請求，若是不進行設置，那麼將處理全部請求。在生產環境中最好設置該項；

5）loglevel debug 指定日誌記錄級別，其中Redis總共支持四個級別：debug、verbose、notice、warning，默認爲verbose。debug表示記錄不少信息，用於開發和測試。verbose表示記錄有用的信息，但不像debug會記錄那麼多。notice表示普通的verbose，經常使用於生產環境。warning 表示只有很是重要或者嚴重的信息會記錄到日誌；

6）logfile /var/log/redis/redis.log 配置log文件地址，默認值爲stdout。若後臺模式會輸出到/dev/null；

7）databases 16 可用數據庫數，默認值爲16，默認數據庫爲0，數據庫範圍在0-（database-1）之間；

8）save 900 1保存數據到磁盤，格式爲save ，指出在多長時間內，有多少次更新操做，就將數據同步到數據文件rdb。至關於條件觸發抓取快照，這個能夠多個條件配合。save 900 1就表示900秒內至少有1個key被改變就保存數據到磁盤；

9）rdbcompression yes 存儲至本地數據庫時（持久化到rdb文件）是否壓縮數據，默認爲yes；

10）dbfilename dump.rdb本地持久化數據庫文件名，默認值爲dump.rdb；

11）dir ./ 工做目錄，數據庫鏡像備份的文件放置的路徑。這裏的路徑跟文件名要分開配置是由於redis在進行備份時，先會將當前數據庫的狀態寫入到一個臨時文件中，等備份完成時，再把該臨時文件替換爲上面所指定的文件。而這裏的臨時文件和上面所配置的備份文件都會放在這個指定的路徑當中，AOF文件也會存放在這個目錄下面。注意這裏必須指定一個目錄而不是文件；

12）slaveof 主從複製，設置該數據庫爲其餘數據庫的從數據庫。設置當本機爲slave服務時，設置master服務的IP地址及端口。在Redis啓動時，它會自動從master進行數據同步；

13）masterauth 當master服務設置了密碼保護時(用requirepass制定的密碼)slave服務鏈接master的密碼；

14）slave-serve-stale-data yes 當從庫同主機失去鏈接或者複製正在進行，從機庫有兩種運行方式：若是slave-serve-stale-data設置爲yes(默認設置)，從庫會繼續相應客戶端的請求。若是slave-serve-stale-data是指爲no，除去INFO和SLAVOF命令以外的任何請求都會返回一個錯誤"SYNC with master in progress"；

15）repl-ping-slave-period 10從庫會按照一個時間間隔向主庫發送PING，能夠經過repl-ping-slave-period設置這個時間間隔，默認是10秒；

16）repl-timeout 60 設置主庫批量數據傳輸時間或者ping回覆時間間隔，默認值是60秒，必定要確保repl-timeout大於repl-ping-slave-period；

17）requirepass foobared 設置客戶端鏈接後進行任何其餘指定前須要使用的密碼。由於redis速度至關快，因此在一臺比較好的服務器下，一個外部的用戶能夠在一秒鐘進行150K次的密碼嘗試，這意味着你須要指定很是強大的密碼來防止暴力破解；

18）rename-command CONFIG "" 命令重命名，在一個共享環境下能夠重命名相對危險的命令，好比把CONFIG重名爲一個不容易猜想的字符：# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52。若是想刪除一個命令，直接把它重命名爲一個空字符""即可：rename-command CONFIG ""；

19）maxclients 128設置同一時間最大客戶端鏈接數，默認無限制。Redis能夠同時打開的客戶端鏈接數爲Redis進程能夠打開的最大文件描述符數。若是設置 maxclients 0，表示不做限制。當客戶端鏈接數到達限制時，Redis會關閉新的鏈接並向客戶端返回max number of clients reached錯誤信息；

20）maxmemory 指定Redis最大內存限制。Redis在啓動時會把數據加載到內存中，達到最大內存後，Redis會先嚐試清除已到期或即將到期的Key，Redis同時也會移除空的list對象。當此方法處理後，仍然到達最大內存設置，將沒法再進行寫入操做，但仍然能夠進行讀取操做。注意：Redis新的vm機制，會把Key存放內存，Value會存放在swap區；

21）maxmemory-policy volatile-lru 當內存達到最大值的時候Redis會選擇刪除哪些數據呢？有五種方式可供選擇：volatile-lru表明利用LRU算法移除設置過過時時間的key (LRU:最近使用 Least Recently Used )，allkeys-lru表明利用LRU算法移除任何key，volatile-random表明移除設置過過時時間的隨機 key，allkeys_random表明移除一個隨機的key，volatile-ttl表明移除即將過時的key(minor TTL)，noeviction表明不移除任何key，只是返回一個寫錯誤。

注意：對於上面的策略，若是沒有合適的key能夠移除，寫的時候Redis會返回一個錯誤；

22）appendonly no 默認狀況下，redis會在後臺異步的把數據庫鏡像備份到磁盤，可是該備份是很是耗時的，並且備份也不能很頻繁。若是發生諸如拉閘限電、拔插頭等情況，那麼將形成比較大範圍的數據丟失，因此redis提供了另一種更加高效的數據庫備份及災難恢復方式。開啓append only模式以後，redis會把所接收到的每一次寫操做請求都追加到appendonly.aof文件中。當redis從新啓動時，會從該文件恢復出之前的狀態，可是這樣會形成appendonly.aof文件過大，因此redis還支持了BGREWRITEAOF指令對appendonly.aof 進行從新整理，你能夠同時開啓asynchronous dumps 和 AOF；

23）appendfilename appendonly.aof AOF文件名稱,默認爲"appendonly.aof";

24）appendfsync everysec Redis支持三種同步AOF文件的策略: no表明不進行同步，系統去操做，always表明每次有寫操做都進行同步，everysec表明對寫操做進行累積，每秒同步一次，默認是"everysec"，按照速度和安全折中這是最好的。

25）slowlog-log-slower-than 10000 記錄超過特定執行時間的命令。執行時間不包括I/O計算，好比鏈接客戶端，返回結果等，只是命令執行時間。能夠經過兩個參數設置slow log：一個是告訴Redis執行超過多少時間被記錄的參數slowlog-log-slower-than(微妙)，另外一個是slow log 的長度。當一個新命令被記錄的時候最先的命令將被從隊列中移除，下面的時間以微妙微單位，所以1000000表明一分鐘。注意制定一個負數將關閉慢日誌，而設置爲0將強制每一個命令都會記錄；

26）hash-max-zipmap-entries 512 && hash-max-zipmap-value 64 當hash中包含超過指定元素個數而且最大的元素沒有超過臨界時，hash將以一種特殊的編碼方式（大大減小內存使用）來存儲，這裏能夠設置這兩個臨界值。Redis Hash對應Value內部實際就是一個HashMap，實際這裏會有2種不一樣實現。這個Hash的成員比較少時Redis爲了節省內存會採用相似一維數組的方式來緊湊存儲，而不會採用真正的HashMap結構，對應的value redisObject的encoding爲zipmap。當成員數量增大時會自動轉成真正的HashMap，此時encoding爲ht；

27）list-max-ziplist-entries 512 list數據類型多少節點如下會採用去指針的緊湊存儲格式；

28）list-max-ziplist-value 64數據類型節點值大小小於多少字節會採用緊湊存儲格式；

29）set-max-intset-entries 512 set數據類型內部數據若是所有是數值型，且包含多少節點如下會採用緊湊格式存儲；

30）zset-max-ziplist-entries 128 zsort數據類型多少節點如下會採用去指針的緊湊存儲格式；

31）zset-max-ziplist-value 64 zsort數據類型節點值大小小於多少字節會採用緊湊存儲格式。

32）activerehashing yes Redis將在每100毫秒時使用1毫秒的CPU時間來對redis的hash表進行從新hash，能夠下降內存的使用。當你的使用場景中，有很是嚴格的實時性須要，不可以接受Redis時不時的對請求有2毫秒的延遲的話，把這項配置爲no。若是沒有這麼嚴格的實時性要求，能夠設置爲yes，以便可以儘可能快的釋放內存；

2.2 Redis的經常使用數據類型

與Memcached僅支持簡單的key-value結構的數據記錄不一樣，Redis支持的數據類型要豐富得多。最爲經常使用的數據類型主要由五種：String、Hash、List、Set和Sorted Set。在具體描述這幾種數據類型以前，咱們先經過一張圖來了解下Redis內部內存管理中是如何描述這些不一樣數據類型的。

圖1 Redis對象

Redis內部使用一個redisObject對象來表示全部的key和value。redisObject最主要的信息如圖1所示：type表明一個 value對象具體是何種數據類型，encoding是不一樣數據類型在redis內部的存儲方式，好比：type=string表明value存儲的是一個普通字符串，那麼對應的encoding能夠是raw或者是int，若是是int則表明實際redis內部是按數值型類存儲和表示這個字符串的，固然前提是這個字符串自己能夠用數值表示，好比:"123" "456"這樣的字符串。這裏須要特殊說明一下vm字段，只有打開了Redis的虛擬內存功能，此字段纔會真正的分配內存，該功能默認是關閉狀態的。經過 Figure1咱們能夠發現Redis使用redisObject來表示全部的key/value數據是比較浪費內存的，固然這些內存管理成本的付出主要也是爲了給Redis不一樣數據類型提供一個統一的管理接口，實際做者也提供了多種方法幫助咱們儘可能節省內存使用。下面咱們先來逐一的分析下這五種數據類型的使用和內部實現方式。

1）String

經常使用命令：set/get/decr/incr/mget等；

應用場景：String是最經常使用的一種數據類型，普通的key/value存儲均可以歸爲此類；

實現方式：String在redis內部存儲默認就是一個字符串，被redisObject所引用，當遇到incr、decr等操做時會轉成數值型進行計算，此時redisObject的encoding字段爲int。

2）Hash

經常使用命令：hget/hset/hgetall等

應用場景：咱們要存儲一個用戶信息對象數據，其中包括用戶ID、用戶姓名、年齡和生日，經過用戶ID咱們但願獲取該用戶的姓名或者年齡或者生日；

實現方式：Redis的Hash實際是內部存儲的Value爲一個HashMap，並提供了直接存取這個Map成員的接口。如圖2所示，Key是用戶 ID, value是一個Map。這個Map的key是成員的屬性名，value是屬性值。這樣對數據的修改和存取均可以直接經過其內部Map的 Key(Redis裏稱內部Map的key爲field), 也就是經過 key(用戶ID) + field(屬性標籤) 就能夠操做對應屬性數據。當前HashMap的實現有兩種方式：當HashMap的成員比較少時Redis爲了節省內存會採用相似一維數組的方式來緊湊存儲，而不會採用真正的HashMap結構，這時對應的value的redisObject的encoding爲zipmap，當成員數量增大時會自動轉成真正的HashMap,此時encoding爲ht。

圖2 Redis的Hash數據類型

3）List

經常使用命令：lpush/rpush/lpop/rpop/lrange等；

應用場景：Redis list的應用場景很是多，也是Redis最重要的數據結構之一，好比twitter的關注列表，粉絲列表等均可以用Redis的list結構來實現；

實現方式：Redis list的實現爲一個雙向鏈表，便可以支持反向查找和遍歷，更方便操做，不過帶來了部分額外的內存開銷，Redis內部的不少實現，包括髮送緩衝隊列等也都是用的這個數據結構。

4）Set

經常使用命令：sadd/spop/smembers/sunion等；

應用場景：Redis set對外提供的功能與list相似是一個列表的功能，特殊之處在於set是能夠自動排重的，當你須要存儲一個列表數據，又不但願出現重複數據時，set 是一個很好的選擇，而且set提供了判斷某個成員是否在一個set集合內的重要接口，這個也是list所不能提供的；

實現方式：set 的內部實現是一個 value永遠爲null的HashMap，實際就是經過計算hash的方式來快速排重的，這也是set能提供判斷一個成員是否在集合內的緣由。

5）Sorted Set

經常使用命令：zadd/zrange/zrem/zcard等；

應用場景：Redis sorted set的使用場景與set相似，區別是set不是自動有序的，而sorted set能夠經過用戶額外提供一個優先級(score)的參數來爲成員排序，而且是插入有序的，即自動排序。當你須要一個有序的而且不重複的集合列表，那麼能夠選擇sorted set數據結構，好比twitter 的public timeline能夠以發表時間做爲score來存儲，這樣獲取時就是自動按時間排好序的。

實現方式：Redis sorted set的內部使用HashMap和跳躍表(SkipList)來保證數據的存儲和有序，HashMap裏放的是成員到score的映射，而跳躍表裏存放的是全部的成員，排序依據是HashMap裏存的score,使用跳躍表的結構能夠得到比較高的查找效率，而且在實現上比較簡單。

2.3 Redis的持久化

Redis雖然是基於內存的存儲系統，可是它自己是支持內存數據的持久化的，並且提供兩種主要的持久化策略：RDB快照和AOF日誌。咱們會在下文分別介紹這兩種不一樣的持久化策略。

2.3.1 Redis的RDB快照

Redis支持將當前數據的快照存成一個數據文件的持久化機制，即RDB快照。這種方法是很是好理解的，可是一個持續寫入的數據庫如何生成快照呢？Redis藉助了fork命令的copy on write機制。在生成快照時，將當前進程fork出一個子進程，而後在子進程中循環全部的數據，將數據寫成爲RDB文件。

咱們能夠經過Redis的save指令來配置RDB快照生成的時機，好比你能夠配置當10分鐘之內有100次寫入就生成快照，也能夠配置當1小時內有 1000次寫入就生成快照，也能夠多個規則一塊兒實施。這些規則的定義就在Redis的配置文件中，你也能夠經過Redis的CONFIG SET命令在Redis運行時設置規則，不須要重啓Redis。

Redis的RDB文件不會壞掉，由於其寫操做是在一個新進程中進行的，當生成一個新的RDB文件時，Redis生成的子進程會先將數據寫到一個臨時文件中，而後經過原子性rename系統調用將臨時文件重命名爲RDB文件，這樣在任什麼時候候出現故障，Redis的RDB文件都老是可用的。同時，Redis 的RDB文件也是Redis主從同步內部實現中的一環。

可是，咱們能夠很明顯的看到，RDB有他的不足，就是一旦數據庫出現問題，那麼咱們的RDB文件中保存的數據並非全新的，從上次RDB文件生成到 Redis停機這段時間的數據所有丟掉了。在某些業務下，這是能夠忍受的，咱們也推薦這些業務使用RDB的方式進行持久化，由於開啓RDB的代價並不高。可是對於另一些對數據安全性要求極高的應用，沒法容忍數據丟失的應用，RDB就無能爲力了，因此Redis引入了另外一個重要的持久化機制：AOF日誌。

2.3.2 Redis的AOF日誌

AOF日誌的全稱是append only file，從名字上咱們就能看出來，它是一個追加寫入的日誌文件。與通常數據庫的binlog不一樣的是，AOF文件是可識別的純文本，它的內容就是一個個的Redis標準命令。固然，並非發送發Redis的全部命令都要記錄到AOF日誌裏面，只有那些會致使數據發生修改的命令纔會追加到AOF文件。那麼每一條修改數據的命令都生成一條日誌，那麼AOF文件是否是會很大？答案是確定的，AOF文件會愈來愈大，因此Redis又提供了一個功能，叫作AOF rewrite。其功能就是從新生成一份AOF文件，新的AOF文件中一條記錄的操做只會有一次，而不像一份老文件那樣，可能記錄了對同一個值的屢次操做。其生成過程和RDB相似，也是fork一個進程，直接遍歷數據，寫入新的AOF臨時文件。在寫入新文件的過程當中，全部的寫操做日誌仍是會寫到原來老的 AOF文件中，同時還會記錄在內存緩衝區中。當重完操做完成後，會將全部緩衝區中的日誌一次性寫入到臨時文件中。而後調用原子性的rename命令用新的 AOF文件取代老的AOF文件。

AOF是一個寫文件操做，其目的是將操做日誌寫到磁盤上，因此它也一樣會遇到咱們上面說的寫操做的5個流程。那麼寫AOF的操做安全性又有多高呢。實際上這是能夠設置的，在Redis中對AOF調用write(2)寫入後，什麼時候再調用fsync將其寫到磁盤上，經過appendfsync選項來控制，下面 appendfsync的三個設置項，安全強度逐漸變強。

1）appendfsync no

當設置appendfsync爲no的時候，Redis不會主動調用fsync去將AOF日誌內容同步到磁盤，因此這一切就徹底依賴於操做系統的調試了。對大多數Linux操做系統，是每30秒進行一次fsync，將緩衝區中的數據寫到磁盤上。

2）appendfsync everysec

當設置appendfsync爲everysec的時候，Redis會默認每隔一秒進行一次fsync調用，將緩衝區中的數據寫到磁盤。可是當這一次的 fsync調用時長超過1秒時。Redis會採起延遲fsync的策略，再等一秒鐘。也就是在兩秒後再進行fsync，這一次的fsync就無論會執行多長時間都會進行。這時候因爲在fsync時文件描述符會被阻塞，因此當前的寫操做就會阻塞。因此結論就是，在絕大多數狀況下，Redis會每隔一秒進行一次fsync。在最壞的狀況下，兩秒鐘會進行一次fsync操做。這一操做在大多數數據庫系統中被稱爲group commit，就是組合屢次寫操做的數據，一次性將日誌寫到磁盤。

3）appednfsync always

當設置appendfsync爲always時，每一次寫操做都會調用一次fsync，這時數據是最安全的，固然，因爲每次都會執行fsync，因此其性能也會受到影響。

3. Memcached和Redis關鍵技術對比

做爲內存數據緩衝系統，Memcached和Redis均具備很高的性能，可是二者在關鍵實現技術上具備很大差別，這種差別決定了二者具備不一樣的特色和不一樣的適用條件。下面咱們會對二者的關鍵技術進行一些對比，以此來揭示二者的差別。

3.1 Memcached和Redis的內存管理機制對比

對於像Redis和Memcached這種基於內存的數據庫系統來講，內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的 malloc/free函數是最經常使用的分配和釋放內存的方法，可是這種方法存在着很大的缺陷：首先，對於開發人員來講不匹配的malloc和free容易形成內存泄露；其次，頻繁調用會形成大量內存碎片沒法回收從新利用，下降內存利用率；最後，做爲系統調用，其系統開銷遠遠大於通常函數調用。因此，爲了提高內存的管理效率，高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制，可是實現方法存在很大的差別，下面將會對二者的內存管理機制分別進行介紹。

3.1.1 Memcached的內存管理機制

Memcached默認使用Slab Allocation機制管理內存，其主要思想是按照預先規定的大小，將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄，以完全解決內存碎片問題。Slab Allocation機制只爲存儲外部數據而設計，也就是說全部的key-value數據都存儲在Slab Allocation系統裏，而Memcached的其它內存請求則經過普通的malloc/free來申請，由於這些請求的數量和頻率決定了它們不會對整個系統的性能形成影響

Slab Allocation的原理至關簡單。如圖3所示，它首先從操做系統申請一大塊內存，並將其分割成各類尺寸的塊Chunk，並把尺寸相同的塊分紅組Slab Class。其中，Chunk就是用來存儲key-value數據的最小單位。每一個Slab Class的大小，能夠在Memcached啓動的時候經過制定Growth Factor來控制。假定Figure 1中Growth Factor的取值爲1.25，因此若是第一組Chunk的大小爲88個字節，第二組Chunk的大小就爲112個字節，依此類推。

圖3 Memcached內存管理架構

當Memcached接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的Slab Class，而後經過查詢Memcached保存着的該Slab Class內空閒Chunk的列表就能夠找到一個可用於存儲數據的Chunk。當一條數據庫過時或者丟棄時，該記錄所佔用的Chunk就能夠回收，從新添加到空閒列表中。從以上過程咱們能夠看出Memcached的內存管理制效率高，並且不會形成內存碎片，可是它最大的缺點就是會致使空間浪費。由於每一個 Chunk都分配了特定長度的內存空間，因此變長數據沒法充分利用這些空間。如圖 4所示，將100個字節的數據緩存到128個字節的Chunk中，剩餘的28個字節就浪費掉了。

圖4 Memcached的存儲空間浪費

3.1.2 Redis的內存管理機制

Redis的內存管理主要經過源碼中zmalloc.h和zmalloc.c兩個文件來實現的。Redis爲了方便內存的管理，在分配一塊內存以後，會將這塊內存的大小存入內存塊的頭部。如圖 5所示，real_ptr是redis調用malloc後返回的指針。redis將內存塊的大小size存入頭部，size所佔據的內存大小是已知的，爲 size_t類型的長度，而後返回ret_ptr。當須要釋放內存的時候，ret_ptr被傳給內存管理程序。經過ret_ptr，程序能夠很容易的算出 real_ptr的值，而後將real_ptr傳給free釋放內存。

圖5 Redis塊分配

Redis經過定義一個數組來記錄全部的內存分配狀況，這個數組的長度爲ZMALLOC_MAX_ALLOC_STAT。數組的每個元素表明當前程序所分配的內存塊的個數，且內存塊的大小爲該元素的下標。在源碼中，這個數組爲zmalloc_allocations。 zmalloc_allocations[16]表明已經分配的長度爲16bytes的內存塊的個數。zmalloc.c中有一個靜態變量 used_memory用來記錄當前分配的內存總大小。因此，總的來看，Redis採用的是包裝的mallc/free，相較於Memcached的內存管理方法來講，要簡單不少。

3.2 Redis和Memcached的集羣實現機制對比

Memcached是全內存的數據緩衝系統，Redis雖然支持數據的持久化，可是全內存畢竟纔是其高性能的本質。做爲基於內存的存儲系統來講，機器物理內存的大小就是系統可以容納的最大數據量。若是須要處理的數據量超過了單臺機器的物理內存大小，就須要構建分佈式集羣來擴展存儲能力。

3.2.1 Memcached的分佈式存儲

Memcached自己並不支持分佈式，所以只能在客戶端經過像一致性哈希這樣的分佈式算法來實現Memcached的分佈式存儲。圖6 給出了Memcached的分佈式存儲實現架構。當客戶端向Memcached集羣發送數據以前，首先會經過內置的分佈式算法計算出該條數據的目標節點，而後數據會直接發送到該節點上存儲。但客戶端查詢數據時，一樣要計算出查詢數據所在的節點，而後直接向該節點發送查詢請求以獲取數據。

圖6 Memcached客戶端分佈式存儲實現

3.2.2 Redis的分佈式存儲

相較於Memcached只能採用客戶端實現分佈式存儲，Redis更偏向於在服務器端構建分佈式存儲。儘管Redis當前已經發布的穩定版本尚未添加分佈式存儲功能，但Redis開發版中已經具有了Redis Cluster的基本功能。預計在2.6版本以後，Redis就會發布徹底支持分佈式的穩定版本，時間不晚於2012年末。下面咱們會根據開發版中的實現，簡單介紹一下Redis Cluster的核心思想。

Redis Cluster是一個實現了分佈式且容許單點故障的Redis高級版本，它沒有中心節點，具備線性可伸縮的功能。圖7給出Redis Cluster的分佈式存儲架構，其中節點與節點之間經過二進制協議進行通訊，節點與客戶端之間經過ascii協議進行通訊。在數據的放置策略上，Redis Cluster將整個key的數值域分紅4096個哈希槽，每一個節點上能夠存儲一個或多個哈希槽，也就是說當前Redis Cluster支持的最大節點數就是4096。Redis Cluster使用的分佈式算法也很簡單：crc16( key ) % HASH_SLOTS_NUMBER。

圖7 Redis分佈式架構

爲了保證單點故障下的數據可用性，Redis Cluster引入了Master節點和Slave節點。如圖4所示，在Redis Cluster中，每一個Master節點都會有對應的兩個用於冗餘的Slave節點。這樣在整個集羣中，任意兩個節點的宕機都不會致使數據的不可用。當 Master節點退出後，集羣會自動選擇一個Slave節點成爲新的Master節點。

圖8 Redis Cluster中的Master節點和Slave節點

3.3 Redis和Memcached總體對比

Redis的做者Salvatore Sanfilippo曾經對這兩種基於內存的數據存儲系統進行過比較，整體來看仍是比較客觀的，現總結以下：

1）性能對比：因爲Redis 只使用單核，而Memcached可使用多核，因此平均每個核上Redis在存儲小數據時比Memcached性能更高。而在100k以上的數據中，Memcached性能要高於Redis，雖然Redis最近也在存儲大數據的性能上進行優化，可是比起 Memcached，仍是稍有遜色。

2）內存使用效率對比：使用簡單的key-value存儲的話，Memcached的內存利用率更高，而若是Redis採用hash結構來作key-value存儲，因爲其組合式的壓縮，其內存利用率會高於Memcached。

3）Redis支持服務器端的數據操做：Redis相比Memcached來講，擁有更多的數據結構和並支持更豐富的數據操做，一般在Memcached 裏，你須要將數據拿到客戶端來進行相似的修改再set回去。這大大增長了網絡IO的次數和數據體積。在Redis中，這些複雜的操做一般和通常的 GET/SET同樣高效。因此，若是須要緩存可以支持更復雜的結構和操做，那麼Redis會是不錯的選擇。

另附：Redis使用總結之與Memcached異同

1、Redis是什麼？兩句話能夠作下歸納：

1. 是一個徹底開源免費的key-value內存數據庫
2. 一般被認爲是一個數據結構服務器，主要是由於其有着豐富的數據結構 strings、map、 list、sets、 sorted sets

2、Redis不是什麼？一樣從兩個方面來作下對比：

1. 不是sql server、mySQL等關係型數據庫，主要緣由是：
    . redis目前還只能做爲小數據量存儲（所有數據可以加載在內存中），海量數據存儲方面並非redis所擅長的領域
    . 設計、實現方法很不同.關係型數據庫經過表來存儲數據，經過SQL來查詢數據。而Redis通上述五種數據結構來存儲數據，經過命令來查詢數據
2. 不是Memcached等緩存系統，主要緣由有如下幾個：
    .網絡IO模型方面：Memcached是多線程，分爲監聽線程、worker線程，引入鎖，帶來了性能損耗。Redis使用單線程的IO複用模型，將速度優點發揮到最大，也提供了較簡單的計算功能
    .內存管理方面：Memcached使用預分配的內存池的方式，帶來必定程度的空間浪費而且在內存仍然有很大空間時，新的數據也可能會被剔除，而Redis使用現場申請內存的方式來存儲數據，不會剔除任何非臨時數據 Redis更適合做爲存儲而不是cache
    .數據的一致性方面：Memcached提供了cas命令來保證.而Redis提供了事務的功能，能夠保證一串命令的原子性，中間不會被任何操做打斷
    .存儲方式方面：Memcached只支持簡單的key-value存儲，不支持枚舉，不支持持久化和複製等功能

一句話小結一下：Redis是一個高性能的key-value數據庫。 redis的出現，很大程度補償了memcached這類key/value存儲的不足，在部分場合能夠對關係數據庫起到很好的補充做用。

3、Redis有什麼用？只有瞭解了它有哪些特性，咱們在用的時候才能揚長避短，爲咱們所用：

1. 速度快：使用標準C寫，全部數據都在內存中完成，讀寫速度分別達到10萬/20萬
2. 持久化：對數據的更新採用Copy-on-write技術，能夠異步地保存到磁盤上，主要有兩種策略，一是根據時間，更新次數的快照（save 300 10 ）二是基於語句追加方式(Append-only file，aof)
3. 自動操做：對不一樣數據類型的操做都是自動的，很安全
4. 快速的主--從複製，官方提供了一個數據，Slave在21秒即完成了對Amazon網站10G key set的複製。
5. Sharding技術：很容易將數據分佈到多個Redis實例中，數據庫的擴展是個永恆的話題，在關係型數據庫中，主要是以添加硬件、以分區爲主要技術形式的縱向擴展解決了不少的應用場景，但隨着web2.0、移動互聯網、雲計算等應用的興起，這種擴展模式已經不太適合了，因此近年來，像採用主從配置、數據庫複製形式的，Sharding這種技術把負載分佈到多個特理節點上去的橫向擴展方式用處愈來愈多。

4、這裏對Redis數據庫作下小結：

1. 提升了DB的可擴展性，只須要將新加的數據放到新加的服務器上就能夠了
2. 提升了DB的可用性，隻影響到須要訪問的shard服務器上的數據的用戶
3. 提升了DB的可維護性，對系統的升級和配置能夠按shard一個個來搞，對服務產生的影響較小
4. 小的數據庫存的查詢壓力小，查詢更快，性能更好

寫到這裏，可能就會有人急不可待地想用它了，那怎麼用呢？能夠直接到官方文檔，裏面幫咱們整理好了各個語言環境下的客戶端，主要有Ruby、Python、 PHP、Perl、Lua、Java、C#....有幾種語言，我也沒見過，因此就很少說了，你懂的....

5、最後，把我使用過程當中的一些經驗與教訓，作個小結：

1. 要進行Master-slave配置，出現服務故障時能夠支持切換。
2. 在master側禁用數據持久化，只需在slave上配置數據持久化。
3. 物理內存+虛擬內存不足，這個時候dump一直死着，時間久了機器掛掉。這個狀況就是災難！
4. 當Redis物理內存使用超過內存總容量的3/5時就會開始比較危險了，就開始作swap,內存碎片大
5. 當達到最大內存時，會清空帶有過時時間的key，即便key未到過時時間.
6. redis與DB同步寫的問題，先寫DB，後寫redis，由於寫內存基本上沒有問題