NoSQL——Memcached

什麼是NoSQL

 非關係型數據庫就是NoSQL，關係型數據庫表明MySQL  

對於關係型數據庫來講，是須要把數據存儲到庫、表、行、字段裏，查詢的時候根據條件一行一行地去匹配，當量很是大的時候就很耗費時間和資源，尤爲是數據是須要從磁盤裏去檢索  

NoSQL數據庫存儲原理很是簡單（典型的數據類型爲k-v），不存在繁雜的關係鏈，好比mysql查詢的時候，須要找到對應的庫、表（一般是多個表）以及字段。  

NoSQL數據能夠存儲在內存裏，查詢速度很是快  

NoSQL在性能表現上雖然能優於關係型數據庫，可是它並不能徹底替代關係型數據庫  

NoSQL由於沒有複雜的數據結構，擴展很是容易，支持分佈式

常見NoSQL數據庫

k-v形式的：memcached、redis 適合儲存用戶信息，好比會話、配置文件、參數、購物車等等。這些信息通常都和ID（鍵）掛鉤，這種情景下鍵值數據庫是個很好的選擇。  

文檔數據庫：mongodb   將數據以文檔的形式儲存。每一個文檔都是一系列數據項的集合。每一個數據項都有一個名稱與對應的值，值既能夠是簡單的數據類型，如字符串、數字和日期等；也能夠是複雜的類型，若有序列表和關聯對象。數據存儲的最小單位是文檔，同一個表中存儲的文檔屬性能夠是不一樣的，數據可使用XML、JSON或者JSONB等多種形式存儲。  

列存儲 Hbase  

圖  Neo4J、Infinite Graph、OrientDB

——————————————————————————————————————

Memcached介紹

Memcached是國外社區網站LiveJournal團隊開發，目的是爲了經過緩存數據庫查詢結果，減小數據庫訪問次數，從而提升動態web站點性能。  

官方站點 http://www.memcached.org/  數據結構簡單(k-v)，數據存放在內存裏  

多線程  

基於c/s架構，協議簡單  

基於libevent的事件處理  

自主內存存儲處理（slab allowcation)  

數據過時方式：Lazy Expiration 和 LRU

Memcached的數據流向

Slab allocation    

Slab Allocation的原理  

將分配的內存分割成各類尺寸的塊（chunk）， 並把尺寸相同的塊分紅組（chunk的集合），每一個chunk集合被稱爲slab。  Memcached的內存分配以Page爲單位，Page默認值爲1M，能夠在啓動時經過-I參數來指定。  

Slab是由多個Page組成的，Page按照指定大小切割成多個chunk。

Slab allocation    

Growth factor    

Memcached在啓動時經過-f選項能夠指定 Growth Factor因子。該值控制chunk大小的差別。默認值爲1.25。  

經過memcached-tool命令查看指定Memcached實例的不一樣slab狀態，能夠看到各Item所佔大小（chunk大小）差距爲1.25  

命令：# memcached-tool 127.0.0.1:11211 display

Memcached的數據過時方式

Lazy Expiration  

Memcached 內部不會監視記錄是否過時，而是在get時查看記錄的時間戳，檢查記錄是否過時。這種技術被稱爲lazy（惰性）expiration。所以，Memcached不會在過時監視上耗費CPU時間。  

LRU  

Memcached會優先使用已超時的記錄的空間，但即便如此，也會發生追加新記錄時空間不足的狀況，此時就要使用名爲Least Recently Used（LRU）機制來分配空間。顧名思義，這是刪除「最近最少使用」的記錄的機制。所以，當內存空間不足時（沒法從slab class獲取到新的空間時），就從最近未被使用的記錄中搜索，並將其空間分配給新的記錄。從緩存的實用角度來看，該模型十分理想。

Memcached安裝

yum install -y memcached libmemcached libevent  

systemctl start memcached

ps aux |grep memcache

netstat -lntp

vim /etc/sysconfig/memcached 能夠配置參數

 

好比加上監聽的ip，能夠把OPTIONS="" 改成OPTIONS="127.0.0.1"  其中-m指定memcached分配內存  

-c指定最大併發數  

-u指定運行memcached服務的用戶

查看Memcached運行狀態

memcached-tool 127.0.0.1:11211 stats  

或者echo stats |nc 127.0.0.1 11211

須要安裝nc工具 yum install -y nc  

若安裝libmemcached後，可使用命令  

memstat --servers=127.0.0.1:11211 查看memcached服務狀態

[root@cc01 ~]# memcached-tool 127.0.0.1:11211 stats
#127.0.0.1:11211   Field       Value
         accepting_conns           1
               auth_cmds           0
             auth_errors           0
                   bytes           0
              bytes_read           7
           bytes_written           0
              cas_badval           0
                cas_hits           0
              cas_misses           0
               cmd_flush           0
                 cmd_get           0
                 cmd_set           0
               cmd_touch           0
             conn_yields           0
   connection_structures          11
        curr_connections          10
              curr_items           0
               decr_hits           0
             decr_misses           0
             delete_hits           0
           delete_misses           0
       evicted_unfetched           0
               evictions           0
       expired_unfetched           0
                get_hits           0
              get_misses           0
              hash_bytes      524288
       hash_is_expanding           0
        hash_power_level          16
               incr_hits           0
             incr_misses           0
                libevent 2.0.21-stable
          limit_maxbytes    67108864
     listen_disabled_num           0
                     pid        1641
            pointer_size          64
               reclaimed           0
            reserved_fds          20
           rusage_system    0.004952
             rusage_user    0.014857
                 threads           4
                    time  1541729369
       total_connections          11
             total_items           0
              touch_hits           0
            touch_misses           0
                  uptime        1101
                 version      1.4.15

Memcached命令行

yum install -y telnet

telnet 127.0.0.1 11211

[root@cc01 ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set key2 0 30 2
12
STORED
set key1 0 30 3
12
123
CLIENT_ERROR bad data chunk
ERROR
set key1 0 20 3
abc
STORED
get key1
VALUE key1 0 3
abc
END

Memcached語法規則

<command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n
 注：\r\n在windows下是Enter鍵 
 <command name> 能夠是set, add, replace
 set表示按照相應的<key>存儲該數據，沒有的時候增長，有的時候覆蓋
 add表示按照相應的<key>添加該數據,可是若是該<key>已經存在則會操做失敗
 replace表示按照相應的<key>替換數據,可是若是該<key>不存在則操做失敗。
 <key> 客戶端須要保存數據的key
 <flags> 是一個16位的無符號的整數(以十進制的方式表示)。該標誌將和須要存儲的數據一塊兒存儲,並在客戶端get數據時返回。客戶端能夠將此標誌用作特殊用途，此標誌對服務器來講是不透明的。
 <exptime> 爲過時的時間。若爲0表示存儲的數據永遠不過時(但可被服務器算法：LRU 等替換)。若是非0(unix時間或者距離此時的秒數),當過時後,服務器能夠保證用戶得不到該數據(以服務器時間爲標準)。
 <bytes> 須要存儲的字節數，當用戶但願存儲空數據時<bytes>能夠爲0
 <data block>須要存儲的內容，輸入完成後，最後客戶端須要加上\r\n（直接點擊Enter）做爲結束標誌。

Memcached數據示例

set key3 1 100 4  #設置
abcd
STORED
get key3
VALUE key3 1 4
abcd
END
replace key3 1 200 5   #替換
abcdx
STORED
get key3
VALUE key3 1 5
abcdx
END
delete key3  #刪除
DELETED
get key3
END

Memcached數據導出和導入

導出：
 memcached-tool 127.0.0.1:11211 dump > data.txt
 cat data.txt
 導入：
 nc 127.0.0.1 11211 < data.txt
 若nc命令不存在，yum install nc
 注意：導出的數據是帶有一個時間戳的，這個時間戳就是該條數據過時的時間點，若是當前時間已經超過該時間戳，那麼是導入不進去的

PHP鏈接Memcached

先安裝php的memcache擴展
cd /usr/local/src/
wget  http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz 
tar zxf memcache-2.2.3.tgz 
cd memcache-2.2.3
/usr/local/php-fpm/bin/phpize
./configure --with-php-config=/usr/local/php-fpm/bin/php-config
make && make install
安裝完後會有相似這樣的提示：Installing shared extensions: /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
而後修改php.ini添加一行extension=memcache.so
檢查/usr/local/php/bin/php-fpm -m
下載測試腳本 
curl www.apelearn.com/study_v2/.memcache.txt > 1.php 2>/dev/null
1.php內容也能夠參考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/1.php
執行腳本
/usr/local/php-fpm/bin/php 1.php
或者將1.php放到某個虛擬主機根目錄下面，在瀏覽器訪問，便可看到效果
最終能夠看到數據以下：
 [0] => aaa
 [1] => bbb
 [2] => ccc
 [3] => ddd

Memcached中存儲session

本實例是在lamp/lnmp環境下實現
編輯php.ini添加兩行
session.save_handler = memcache session.save_path = "tcp://192.168.0.9:11211"  
或者httpd.conf中對應的虛擬主機中添加
php_value session.save_handler "memcache" php_value session.save_path "tcp://192.168.0.9:11211"  
或者php-fpm.conf對應的pool中添加
php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://192.168.0.9:11211 "

測試：

wget http://study.lishiming.net/.mem_se.txt
mv .mem_se.txt  /usr/local/apache2/htdocs/session.php
其中session.php內容能夠參考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/session.php
curl localhost/session.php 
相似於1443702394<br><br>1443702394<br><br>i44nunao0g3o7vf2su0hnc5440
telnet 127.0.0.1 11211
get i44nunao0g3o7vf2su0hnc5440