[轉]Memcache的使用和協議分析詳解

時間 2019-11-20

原文原文鏈接

Memcache是什麼
Memcache是danga.com的一個項目，最先是爲 LiveJournal 服務的，目前全世界很多人使用這個緩存項目來構建本身大負載的網站，來分擔數據庫的壓力。
它能夠應對任意多個鏈接，使用非阻塞的網絡IO。因爲它的工做機制是在內存中開闢一塊空間，而後創建一個HashTable，Memcached自管理這些HashTable。
Memcache官方網站：http://www.danga.com/memcached，更多詳細的信息能夠來這裏瞭解 :)php

爲何會有Memcache和memcached兩種名稱？
其實Memcache是這個項目的名稱，而memcached是它服務器端的主程序文件名。一個是項目名稱，一個是主程序文件名。html

Memcache的安裝
分爲兩個過程：memcache服務器端的安裝和memcached客戶端的安裝。
所謂服務器端的安裝就是在服務器（通常都是linux系統）上安裝Memcache實現數據的存儲
所謂客戶端的安裝就是指php（或者其餘程序，Memcache還有其餘不錯的api接口提供）去使用服務器端的Memcache提供的函數，須要php添加擴展。前端

具體的配置你們能夠參考：
Linux下的Memcache安裝：http://www.ccvita.com/257.html
Windows下的Memcache安裝：http://www.ccvita.com/258.html
Memcache基礎教程：http://www.ccvita.com/259.html
Discuz!的Memcache緩存實現：http://www.ccvita.com/261.html
Memcache協議中文版：http://www.ccvita.com/306.html
Memcache分佈式部署方案：http://www.ccvita.com/395.htmllinux

【安裝Memcache服務器端】算法

我目前的平臺，服務器是Fedora Core 1（內核：2.4.22），客戶端是Windows XP SP2，須要安裝的就是服務器的Memcached的守護進程和客戶端的PHP擴展php_memcache兩個東西。如今我分別來說。數據庫

服務器端主要是安裝memcache服務器端，目前的最新版本是 memcached-1.2.0 。
下載：http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz
另外，Memcache用到了libevent這個庫用於Socket的處理，因此還須要安裝libevent，libevent的最新版本是libevent-1.2。（若是你的系統已經安裝了libevent，能夠不用安裝）
官網：http://www.monkey.org/~provos/libevent/
下載：http://www.monkey.org/~provos/libevent-1.2.tar.gzwindows

我分別把兩個東東下載回來，放到 /tmp 目錄下：
# cd /tmp
# wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz
# wget http://www.monkey.org/~provos/libevent-1.2.tar.gz後端

先安裝libevent：
# tar zxvf libevent-1.2.tar.gz
# cd libevent-1.2
# ./configure --prefix=/usr
# make
# make installapi

而後看看咱們的libevent是否安裝成功：
# ls -al /usr/lib | grep libevent
lrwxrwxrwx    1 root     root          21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3
-rwxr-xr-x       1 root     root          263546 11?? 12 17:38 libevent-1.2.so.1.0.3
-rw-r--r--        1 root     root          454156 11?? 12 17:38 libevent.a
-rwxr-xr-x      1 root     root          811 11?? 12 17:38 libevent.la
lrwxrwxrwx    1 root     root          21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3數組

還不錯，都安裝上了，再來安裝memcache，同時須要安裝中指定libevent的安裝位置：

# cd /tmp
# tar zxvf memcached-1.2.0.tar.gz
# cd memcached-1.2.0
# ./configure --with-libevent=/usr
# make
# make install

若是中間出現報錯，請仔細檢查錯誤信息，按照錯誤信息來配置或者增長相應的庫或者路徑。
安裝完成後會把memcached放到 /usr/local/bin/memcached ，咱們看如下是否安裝了：

# ls -al /usr/local/bin/mem*
-rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached
-rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug

恩，安裝完成了，如今咱們看如下memcache的幫助：

# /usr/local/bin/memecached -h
memcached 1.2.0
-p <num> port number to listen on
-s <file> unix socket path to listen on (disables network support)
-l <ip_addr> interface to listen on, default is INDRR_ANY
-d run as a daemon
-r maximize core file limit
-u <username> assume identity of <username> (only when run as root)
-m <num> max memory to use for items in megabytes, default is 64 MB
-M return error on memory exhausted (rather than removing items)
-c <num> max simultaneous connections, default is 1024
-k lock down all paged memory
-v verbose (print errors/warnings while in event loop)
-vv very verbose (also print client commands/reponses)
-h print this help and exit
-i print memcached and libevent license
-b run a managed instanced (mnemonic: buckets)
-P <file> save PID in <file>, only used with -d option
-f <factor> chunk size growth factor, default 1.25
-n <bytes> minimum space allocated for key+value+flags, default 48

參數不算多，咱們來啓動一個Memcache的服務器端：
# /usr/local/bin/memcached -d -m 10 -u root -l 192.168.0.200 -p 12000 -c 256 -P /tmp/memcached.pid

-d選項是啓動一個守護進程，-m是分配給Memcache使用的內存數量，單位是MB，我這裏是10MB，-u是運行Memcache的用戶，我這裏是root，-l是監聽的服務器IP地址，若是有多個地址的話，我這裏指定了服務器的IP地址192.168.0.200，-p是設置 Memcache監聽的端口，我這裏設置了12000，最好是1024以上的端口，-c選項是最大運行的併發鏈接數，默認是1024，我這裏設置了 256，按照你服務器的負載量來設定，-P是設置保存Memcache的pid文件，我這裏是保存在 /tmp/memcached.pid，若是要結束Memcache進程，執行：
# kill `cat /tmp/memcached.pid`

也能夠啓動多個守護進程，不過端口不能重複。

【安裝Memcache的PHP擴展】

Memcache就是在服務器監聽端口，經過必定的協議交互來寫入數據到服務器內存中，或者獲取一些值。若是你瞭解Memcache的交互協議，完全能夠本身構建Memcache的客戶端，目前網上也有不少構建好的Memcache客戶端的PHP Class，能夠直接用，不過我這裏爲了效率，仍是決定使用PECL中Memcache的專用擴展，由於畢竟是用C寫的，效率比較高，並且安裝部署比較方便。

下載PECL中的Memcache，由於個人客戶端是Windows XP，因此須要下載dll版，個人PHP版本是PHP 5.1.4，必須下載PHP 5.1專用的擴展。
PECL官網：http://pecl.php.net （For Linux）
http://pecl4win.php.net（For Windows）
擴展下載： http://pecl4win.php.net/download.php/ext/5_1/5.1.2/php_memcache.dll

若是你的PHP是其餘版本，請到 http://pecl4win.php.net/ext.php/php_memcache.dll 選擇你相應的版本，若是是Linux下的PHP，請到 http://pecl.php.net/package/memcache 選擇相應想要下載的版本。

下載完了之後，我把php_memcache.dll 拷貝到 c:/php5/ext 目錄下，若是你的擴展目錄是在是缺省路徑，（就是沒有修改過php.ini中的擴展路徑）請拷貝到 c:/windows/ 目錄下，若是是Linux平臺，請本身編譯安裝，能夠在程序中使用dl()函數加載，或者在編譯php的時候加載進去。最後重啓Web服務器，IIS/Apache。

個人網站目錄是在：d:/mysite 目錄下，如今創建一個 phpinfo.php 文件在網站根目錄下，代碼是：
<?phpinfo()?>
看有沒有成功加載 php_memcache.dll 擴展。若是顯示了 Memcache 選項和相應的版本信息，則說明成功加載了，不然請仔細檢查上面的步驟。

若是一切正確無誤，那麼說明安裝成功。

【Memcache初試】

[ 接口介紹 ]
服務器端和客戶端都安裝配置好了，如今咱們就來測試如下咱們的成果。Memcache客戶端包含兩組接口，一組是面向過程的接口，一組是面向對象的接口，具體能夠參考PHP手冊「LXXV. Memcache Functions」這章。咱們爲了簡單方便，就使用面向對象的方式，也便於維護和編寫代碼。Memcache面向對象的經常使用接口包括：

Memcache::connect -- 打開一個到Memcache的鏈接
Memcache::pconnect -- 打開一個到Memcache的長鏈接
Memcache::close -- 關閉一個Memcache的鏈接
Memcache::set -- 保存數據到Memcache服務器上
Memcache::get -- 提取一個保存在Memcache服務器上的數據
Memcache::replace -- 替換一個已經存在Memcache服務器上的項目（功能相似Memcache::set）
Memcache::delete -- 從Memcache服務器上刪除一個保存的項目
Memcache::flush -- 刷新全部Memcache服務器上保存的項目（相似於刪除全部的保存的項目）
Memcache::getStats -- 獲取當前Memcache服務器運行的狀態

[ 測試代碼 ]
如今咱們開始一段測試代碼：

<?php
//鏈接
$mem = new Memcache;
$mem->connect("192.168.0.200", 12000);

//保存數據
$mem->set('key1', 'This is first value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val ." ";

//替換數據
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val . " ";

//保存數組
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo " ";

//刪除數據
$mem->delete('key1');
$val = $mem->get('key1');echo "Get key1 value: " . $val . " ";//清除全部數據$mem->flush();$val2 = $mem->get('key2');echo "Get key2 value: ";print_r($val2);echo " ";//關閉鏈接$mem->close();?>

若是正常的話，瀏覽器將輸出：
Get key1 value: This is first value
Get key1 value: This is replace value
Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )
Get key1 value:
Get key2 value:

基本說明咱們的Memcache安裝成功，咱們再來分析如下上面的這段程序。

[ 程序分析 ]

初始化一個Memcache的對象：
$mem = new Memcache;

鏈接到咱們的Memcache服務器端，第一個參數是服務器的IP地址，也能夠是主機名，第二個參數是Memcache的開放的端口：
$mem->connect("192.168.0.200", 12000);

保存一個數據到Memcache服務器上，第一個參數是數據的key，用來定位一個數據，第二個參數是須要保存的數據內容，這裏是一個字符串，第三個參數是一個標記，通常設置爲0或者MEMCACHE_COMPRESSED就好了，第四個參數是數據的有效期，就是說數據在這個時間內是有效的，若是過去這個時間，那麼會被Memcache服務器端清除掉這個數據，單位是秒，若是設置爲0，則是永遠有效，咱們這裏設置了60，就是一分鐘有效時間：
$mem->set('key1', 'This is first value', 0, 60);

從Memcache服務器端獲取一條數據，它只有一個參數，就是須要獲取數據的key，咱們這裏是上一步設置的key1，如今獲取這個數據後輸出輸出：
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

如今是使用replace方法來替換掉上面key1的值，replace方法的參數跟set是同樣的，不過第一個參數key1是必須是要替換數據內容的key，最後輸出了：
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

一樣的，Memcache也是能夠保存數組的，下面是在Memcache上面保存了一個數組，而後獲取回來並輸出
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
print_r($val2);

如今刪除一個數據，使用delte接口，參數就是一個key，而後就可以把Memcache服務器這個key的數據刪除，最後輸出的時候沒有結果
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . " ";

最後咱們把全部的保存在Memcache服務器上的數據都清除，會發現數據都沒有了，最後輸出key2的數據爲空，最後關閉鏈接
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo " ";

【Memcache協議分析】

若是你不喜歡 php_memcache.dll 擴展或者服務器器目前不支持這個擴展，那麼就能夠考慮本身構建，須要構建Memcahe的客戶端，要先了解Memcache協議的交互，這樣才能開發本身的客戶端，我這裏就簡單的分析如下Memcache的協議。
（更詳細的協議內容請在Memcache服務器端的源碼的 doc/protocol.txt 文件中，本文基原本源於此）

Memcache既支持TCP協議，也支持UDP協議，不過咱們這裏是以TCP協議的協議做爲主要考慮對象，想了解UDP協議的過程，請參考 doc/protocol.txt 文件。

[ 錯誤指令]
Memcache的協議的錯誤部分主要是三個錯誤提示之提示指令：
普通錯誤信息，好比指令錯誤之類的
ERROR/r/n

客戶端錯誤
CLIENT_ERROR <錯誤信息>/r/n

服務器端錯誤
SERVER_ERROR <錯誤信息>/r/n

[ 數據保存指令]
數據保存是基本的功能，就是客戶端經過命令把數據返回過來，服務器端接收後進行處理。
指令格式：
<命令> <鍵> <標記> <有效期> <數據長度>/r/n

<命令> - command name
主要是三個儲存數據的三個命令， set, add, replace
set 命令是保存一個叫作key的數據到服務器上
add 命令是添加一個數據到服務器，可是服務器必須這個key是不存在的，可以保證數據不會被覆蓋
replace 命令是替換一個已經存在的數據，若是數據不存在，就是相似set功能

<鍵> - key
就是保存在服務器上惟一的一個表示符，必須是跟其餘的key不衝突，不然會覆蓋掉原來的數據，這個key是爲了可以準確的存取一個數據項目

<標記> - flag
標記是一個16位的無符號整形數據，用來設置服務器端跟客戶端一些交互的操做

<有效期> - expiration time
是數據在服務器上的有效期限，若是是0，則數據永遠有效，單位是秒，Memcache服務器端會把一個數據的有效期設置爲當前Unix時間+設置的有效時間

<數據長度> - bytes
數據的長度，block data 塊數據的長度，通常在這個個長度結束之後下一行跟着block data數據內容，發送完數據之後，客戶端通常等待服務器端的返回，服務器端的返回：

數據保存成功
STORED/r/n

數據保存失敗，通常是由於服務器端這個數據key已經存在了
NOT_STORED/r/n

[ 數據提取命令]
從服務器端提取數據主要是使用get指令，格式是：
get <鍵>*/r/n

<鍵>* - key
key是是一個不爲空的字符串組合，發送這個指令之後，等待服務器的返回。若是服務器端沒有任何數據，則是返回：
END/r/n

證實沒有不存在這個key，沒有任何數據，若是存在數據，則返回指定格式：
VALUE <鍵> <標記> <數據長度>/r/n
<數據塊>/r/n

返回的數據是以VALUE開始的，後面跟着key和flags，以及數據長度，第二行跟着數據塊。

<鍵> -key
是發送過來指令的key內容

<標記> - flags
是調用set指令保存數據時候的flags標記

<數據長度> - bytes
是保存數據時候定位的長度

<數據塊> - data block
數據長度下一行就是提取的數據塊內容

[ 數據刪除指令]
數據刪除指令也是比較簡單的，使用get指令，格式是：
delete <鍵> <超時時間>/r/n

<鍵> - key
key是你但願在服務器上刪除數據的key鍵

<超時時間> - timeout
按照秒爲單位，這個是個可選項，若是你沒有指定這個值，那麼服務器上key數據將立刻被刪除，若是設置了這個值，那麼數據將在超時時間後把數據清除，該項缺省值是0，就是立刻被刪除

刪除數據後，服務器端會返回：
DELETED/r/n
刪除數據成功
NOT_FOUND/r/n
這個key沒有在服務器上找到

若是要刪除全部服務器上的數據，可使用flash_all指令，格式：
flush_all/r/n

這個指令執行後，服務器上全部緩存的數據都被刪除，而且返回：
OK/r/n

這個指令通常不要輕易使，除非你倒是想把全部數據都幹掉，刪除完之後能夠沒法恢復的。

[其餘指令]
若是想了解當前Memcache服務器的狀態和版本等信息，可使用狀態查詢指令和版本查詢指令。

若是想了解當前全部Memcache服務器運行的狀態信息，可使用stats指令，格式
stats/r/n
服務器將返回每行按照 STAT 開始的狀態信息，包括20行，20項左右的信息，包括守護進程的pid、版本、保存的項目數量、內存佔用、最大內存限制等等信息。

若是隻是想獲取部分項目的信息，能夠指定參數，格式：
stats <參數>/r/n
這個指令將只返回指定參數的項目狀態信息。

若是隻是想單獨瞭解當前版本信息，可使用version指令，格式：
version/r/n
將返回以 VERSION 開頭的版本信息

若是想結束當前鏈接，使用quit指令，格式：
quit/r/n

將斷開當前鏈接

另外還有其餘指令，包括incr, decr 等，我也不太瞭解做用，就不作介紹了，若是感興趣，能夠本身去研究。

【Memcache在中型網站的使用】

使用Memcache的網站通常流量都是比較大的，爲了緩解數據庫的壓力，讓Memcache做爲一個緩存區域，把部分信息保存在內存中，在前端能夠迅速的進行存取。那麼通常的焦點就是集中在如何分擔數據庫壓力和進行分佈式，畢竟單臺Memcache的內存容量的有限的。我這裏簡單提出個人我的看法，未經實踐，權當參考。

[ 分佈式應用]
Memcache原本支持分佈式，咱們客戶端稍加改造，更好的支持。咱們的key能夠適當進行有規律的封裝，好比以user爲主的網站來講，每一個用戶都有User ID，那麼能夠按照固定的ID來進行提取和存取，好比1開頭的用戶保存在第一臺Memcache服務器上，以2開頭的用戶的數據保存在第二胎 Mecache服務器上，存取數據都先按照User ID來進行相應的轉換和存取。

可是這個有缺點，就是須要對User ID進行判斷，若是業務不一致，或者其餘類型的應用，可能不是那麼合適，那麼能夠根據本身的實際業務來進行考慮，或者去想更合適的方法。

[ 減小數據庫壓力]
這個算是比較重要的，全部的數據基本上都是保存在數據庫當中的，每次頻繁的存取數據庫，致使數據庫性能極具降低，沒法同時服務更多的用戶，好比MySQL，特別頻繁的鎖表，那麼讓 Memcache來分擔數據庫的壓力吧。咱們須要一種改動比較小，而且可以不會大規模改變前端的方式來進行改變目前的架構。

我考慮的一種簡單方法：
後端的數據庫操做模塊，把全部的Select操做提取出來（update/delete/insert無論），而後把對應的SQL進行相應的hash算法計算得出一個hash數據key（好比MD5或者SHA），而後把這個key去Memcache中查找數據，若是這個數據不存在，說明還沒寫入到緩存中，那麼從數據庫把數據提取出來，一個是數組類格式，而後把數據在set到Memcache中，key就是這個SQL的 hash值，而後相應的設置一個失效時間，好比一個小時，那麼一個小時中的數據都是從緩存中提取的，有效減小數據庫的壓力。

缺點是數據不實時，當數據作了修改之後，沒法實時到前端顯示，而且還有可能對內存佔用比較大，畢竟每次select出來的數據數量可能比較巨大，這個是須要考慮的因素。

上面只是我兩點沒有通過深思熟慮的簡單想法，也許有用，那就最好了。

【Memcache的安全】

咱們上面的Memcache服務器端都是直接經過客戶端鏈接後直接操做，沒有任何的驗證過程，這樣若是服務器是直接暴露在互聯網上的話是比較危險，輕則數據泄露被其餘無關人員查看，重則服務器被入侵，由於Mecache是以root權限運行的，何況裏面可能存在一些咱們未知的bug或者是緩衝區溢出的狀況，這些都是咱們未知的，因此危險性是能夠預見的。

爲了安全起見，我作兩點建議，可以稍微的防止黑客的入侵或者數據的泄露。

[ 內網訪問]
最好把兩臺服務器之間的訪問是內網形態的，通常是Web服務器跟Memcache服務器之間。廣泛的服務器都是有兩塊網卡，一塊指向互聯網，一塊指向內網，那麼就讓Web服務器經過內網的網卡來訪問Memcache服務器，咱們Memcache的服務器上啓動的時候就監聽內網的IP地址和端口，內網間的訪問可以有效阻止其餘非法的訪問。

# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid

Memcache服務器端設置監聽經過內網的192.168.0.200的ip的11211端口，佔用1024MB內存，而且容許最大1024個併發鏈接

[ 設置防火牆]
防火牆是簡單有效的方式，若是倒是兩臺服務器都是掛在網的，而且須要經過外網IP來訪問Memcache的話，那麼能夠考慮使用防火牆或者代理程序來過濾非法訪問。
通常咱們在Linux下可使用iptables或者FreeBSD下的ipfw來指定一些規則防止一些非法的訪問，好比咱們能夠設置只容許咱們的Web服務器來訪問咱們Memcache服務器，同時阻止其餘的訪問。

# iptables -F
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s 192.168.0.2 --dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2 --dport 11211 -j ACCEPT

上面的iptables規則就是隻容許192.168.0.2這臺Web服務器對Memcache服務器的訪問，可以有效的阻止一些非法訪問，相應的也能夠增長一些其餘的規則來增強安全性，這個能夠根據本身的須要來作。

【Memcache的擴展性】

Memcache算是比較簡潔高效的程序，Memcache 1.2.0 的源代碼大小才139K，在Windows平臺上是不可想象的，可是在開源世界來講，這是比較正常合理的。
Memcache目前都只是比較簡單的功能，簡單的數據存取功能，我我的但願若是有識之士，可以在下面兩方面進行擴展。

1. 日誌功能
目前Memcache沒有日誌功能，只有一些命令在服務器端進行回顯，這樣是很不利於對一個服務器的穩定性和負載等等進行監控的，最好可以相應的加上日誌的等功能，便於監控。

2. 存儲結構
目前的數據形式就是: key => data 的形式，特別單一，只可以存儲單一的一維數據，若是可以擴展的話，變成相似數據庫的格式，可以存儲二維數據，那樣會讓能夠用性更強，使用面更廣，固然相應的可能代碼效率和存取效率更差一些。

3. 同步功能
數據同步是個比較重要的技術，由於誰都不能保證一臺服務器是持久正常的運行的，若是可以具備相似MySQL的 Master/Slave 的功能，那麼將使得Memcache的數據更加穩定，那麼相應的就能夠考慮存儲持久一點的數據，而且不用懼怕Memcache的down掉，由於有同步的備份服務器，這個問題就不是問題了。

以上三點只是我的拙見，有識之士和技術高手能夠考慮。

【結束語】

我上面的內容都只是本身安裝和使用的一些想法，不能保證絕對正確，只是給須要的人一個參考，一個推廣Memcache的文章，但願更多的人可以認識和了解這個技術，而且爲本身所用。

我花費了整整一個晚上的時間洋洋灑灑的寫了這麼長，無非是對於這項開源技術的熱愛，我想開源世界可以繁榮起來，就是源於你們的熱愛而且願意作出貢獻，開源世界才這麼精彩。

但願本文可以給須要的人一些幫助，但願不會誤導他們，呵呵。

附加：（我操做Memcache相應對應上面文章內容的圖片）

[ 啓動Memcache]