memcachedb-持久化存儲的緩存系統

Memcached 是一個高性能的分佈式內存對象緩存系統，用於動態Web應用以減輕數據庫負載。它經過在內存中緩存數據和對象來減小讀取數據庫的次數，從而提供動態、數據庫驅動網站的速度。Memcached基於一個存儲鍵/值對的hashmap。其守護進程（daemon ）是用C寫的，可是客戶端能夠用任何語言來編寫，並經過memcached協議與守護進程通訊。

memcached是一套分佈式的快取系統，當初是Danga Interactive爲了LiveJournal所發展的，但目前被許多軟件（如MediaWiki）所使用。這是一套開放源代碼軟件，以BSD license受權釋出。[1] 　　memcached缺少認證以及安全管制，這表明應該將memcached服務器放置在防火牆後。[1] 　　memcached的API使用三十二位元的循環冗餘校驗（CRC-32）計算鍵值後，將資料分散在不一樣的機器上。當表格滿了之後，接下來新增的資料會以LRU機制替換掉。因爲memcached一般只是看成快取系統使用，因此使用memcached的應用程式在寫回較慢的系統時（像是後端的數據庫）須要額外的程式碼更新memcached內的資料[1] 　　memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 爲首開發的一款軟件。如今已成爲mixi、hatena、Facebook、Vox、LiveJournal等衆多服務中提升Web應用擴展性的重要因素。許多Web應用都將數據保存到RDBMS中，應用服務器從中讀取數據並在瀏覽器中顯示。但隨着數據量的增大、訪問的集中，就會出現RDBMS的負擔加劇、數據庫響應惡化、網站顯示延遲等重大影響。 　　這時就該memcached大顯身手了。memcached是高性能的分佈式內存緩存服務器。通常的使用目的是，經過緩存數據庫查詢結果，減小數據庫訪問次數，以提升動態Web應用的速度、提升可擴展性。 　　Memcached 是一個高性能的分佈式內存對象緩存系統，用於動態Web應用以減輕數據庫負載。它經過在內存中緩存數據和對象來減小讀取數據庫的次數，從而提供動態、數據庫驅動網站更快的運行速度。Memcached基於一個存儲鍵/值對的hashmap。其守護進程（daemon ）是用C寫的，可是客戶端能夠用任何語言來編寫，並經過memcached協議與守護進程通訊。可是它並不提供冗餘（例如，複製其hashmap條目）；當某個服務器S中止運行或崩潰了，全部存放在S上的鍵/值對都將丟失。 　　Memcached由Danga Interactive開發，其最新版本發佈於2010年，做者爲Anatoly Vorobey和Brad Fitzpatrick。用於提高LiveJournal . com訪問速度的。LJ每秒動態頁面訪問量幾千次，用戶700萬。Memcached將數據庫負載大幅度下降，更好的分配資源，更快速訪問。

特徵　　memcached做爲高速運行的分佈式緩存服務器，具備如下的特色。 　　· 協議簡單 　　· 基於libevent的事件處理 　　· 內置內存存儲方式 　　· memcached不互相通訊的分佈式
協議
　　memcached的服務器客戶端通訊並不使用複雜的XML等格式，而使用簡單的基於文本行的協議。 　　所以，經過telnet也能在memcached上保存數據、取得數據。下面是例子。 　　$ telnet localhost 11211 　　Trying 127.0.0.1... 　　Connected to localhost.localdomain (127.0.0.1). 　　Escape character is '^]'. 　　set foo 0 0 3 （保存命令） 　　bar （數據） 　　STORED （結果） 　　get foo （取得命令） 　　VALUE foo 0 3 （數據） 　　bar （數據）
事件處理
　　libevent是個程序庫，它將Linux的epoll、BSD類操做系統的kqueue等事件處理功能封裝成統一的接口。即便對服務器的鏈接數增長，也能發揮O(1)的性能。memcached使用這個libevent庫，所以能在Linux、BSD、Solaris等操做系統上發揮其高性能。關於事件處理這裏就再也不詳細介紹，能夠參考Dan Kegel的The C10K Problem。
存儲方式
　　爲了提升性能，memcached中保存的數據都存儲在memcached內置的內存存儲空間中。因爲數據僅存在於內存中，所以重啓memcached、重啓操做系統會致使所有數據消失。另外，內容容量達到指定值以後，就基於LRU(Least Recently Used)算法自動刪除不使用的緩存。memcached自己是爲緩存而設計的服務器，所以並無過多考慮數據的永久性問題。
通訊分佈式
　　memcached儘管是「分佈式」緩存服務器，但服務器端並無分佈式功能。各個memcached不會互相通訊以共享信息。那麼，怎樣進行分佈式呢？這徹底取決於客戶端的實現。本文也將介紹memcached的分佈式。功能　　一個用PHP編寫的可視化的MemCached管理系統 　　MemAdmin是一款可視化的Memcached管理與監控工具，使用PHP開發，體積小，操做簡單。 　　主要功能： 　　服務器參數監控：STATS、SETTINGS、ITEMS、SLABS、SIZES實時刷新 　　服務器性能監控：GET、DELETE、INCR、DECR、CAS等經常使用操做命中率實時監控 　　支持數據遍歷，方便對存儲內容進行監視 　　支持條件查詢，篩選出知足條件的KEY或VALUE 　　數組、JSON等序列化字符反序列顯示 　　兼容memcache協議的其餘服務，如Tokyo Tyrant (遍歷功能除外) 　　支持服務器鏈接池，多服務器管理切換方便簡潔使用技巧　　許多語言都實現了鏈接memcached的客戶端，其中以Perl、PHP爲主。僅僅memcached網站上列出 　　的語言就有 　　· Perl 　　· PHP 　　· Python 　　· Ruby 　　· C# 　　· C/C++ 　　· Lua 　　等等。 　　如何使用memcached-Server端 　　在服務端運行： 　　# ./memcached -d -m 2048 -l 10.0.0.40 -p 11211 　　這將會啓動一個佔用2G內存的進程，並打開11211端口用於接收請求。因爲32位系統只能處理4G內存的尋址，因此在大於4G內存使用PAE的32位服務器上能夠運行2-3個進程，並在不一樣端口進行監聽。 　　如何使用memcached-Client端 　　在應用端包含一個用於描述Client的Class後，就能夠直接使用，很是簡單。 　　PHP Example: 　　$options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212"); 　　$options["debug"] = false; 　　$memc = new MemCachedClient($options); 　　$myarr = array("one","two", 3); 　　$memc->set("key_one", $myarr); 　　$val = $memc->get("key_one"); 　　print $val[0]."\n"; // prints 'one‘ 　　print $val[1]."\n"; // prints 'two‘ 　　print $val[2]."\n"; // prints 3版本發佈　　2012年02月03日，Memcached 1.4.13 發佈。[2] 　　2012年08月02日，Memcached 1.4.14 發佈。[3] 　　2012年09月05日，Memcached 1.4.15 發佈。[4]

memcachedb-持久化存儲的緩存系統
memcachedb故名思義就是 memcached + bdb，是基於memcached Socket層和berkeley-db存儲層結構的實現， 是新浪互動社區技術團隊2007年的一項重大的技術成果，如今應用於新浪互動社區多個產品線中，其中包括新浪博客等重頭產品。可以實現任意memcache api的調用、數據實時落地以及主輔實時備份。

選擇memcachedb：沒 有什麼特殊的緣由，咱們有最好的理由就是，在作到最大不犧牲數據讀、寫性能的前提下，咱們可以讓您原來存儲在memcache裏的數據再也不遭受系統宕機或 者系統掉電而丟失，即便服務器電源爆炸了，只要硬盤還可以正常工做，換到另一臺服務器上，您的數據依然安然無恙地在硬盤上。

性能：咱們作太小數據測試，小數據（幾十個字節）數據的讀寫，每秒鐘併發可以維持在5000+(單塊146Scis硬盤，CPU和內存配置幾乎能夠忽略由於這不是性能瓶頸)。基本上知足全部互聯網高效存儲的應用。

應用場合：需 要頻繁讀寫的小數據。例如數字類服務就像點擊數，須要頻繁寫入小數據的例如評論系統，須要記錄用戶狀態的例如在線人數以及在線用戶等等。固然，若是您想用 來存儲單筆超過10K以上的數據，例如新聞或者文章或者論壇帖子也能夠，可是咱們沒有嘗試過，若是您真的用來這樣子玩了，能夠反饋給我。

數據備份&&讀寫分離：memcachedb支持主輔實時無差別同步，配置主服務和輔服務僅僅須要很短的一條啓動命令。固然，您也能夠利用這一便利特性來實現讀寫分離，那樣子會讓您的系統更加的高效。

穩定性：memcachedb目前被應用於新浪互動社區多個產品線中，具備鋼鐵般的品質。

缺點：memcached不支持內存對象的遍歷操做，固然更加不能支持複雜的查詢操做，只能支持根據已知的key去查詢對應的value。但後續我會介紹另一個東東memcache_engine，它爲mysql提供了一個memcached引擎。

1、安裝
直接在memcached-1.2.2.tar.gz找到INSTALL文件，按照步驟安裝就好了。很簡單。

2、啓動
#第一種，讀寫合併模式，即不作輔拷貝，即讀又寫，不作冗餘備份
memcachedb -p21211 -d -r -u root -H /data/mdb_11211 -N

#第二種，讀寫分離/備份模式
#主服務器 192.168.0.1 讀寫監聽 11211 ，同步經過31211的端口完成，不佔用繁忙的主服務端口
memcachedb -p21211 -d -r -u root -H /data/mdb_11211_m -N -R 127.0.0.1:31211 -M

# 輔服務器 192.168.0.2 只讀監聽 21212，從192.168.0.1 的 31211端口同步數據，同時再開一個31212端口對外提供數據同步服務memcachedb -p21212 -d -r -u root -H /data/mdb_11211_from_16801_s -O 192.168.0.1:31211 -R 192.168.0.2:31212 -S