75.Memcached

1、什麼是NoSQL

• 非關係型數據庫就是NoSQL，關係型數據庫表明MySQL
• 對於關係型數據庫來講，是須要把數據存儲到庫、表、行、字段裏，查詢的時候根據條件一行一行地去匹配，當量很是大的時候就很耗費時間和資源，尤爲是數據是須要從磁盤裏去檢索
• NoSQL數據庫存儲原理很是簡單（典型的數據類型爲k-v），不存在繁雜的關係鏈，好比mysql查詢的時候，須要找到對應的庫、表（一般是多個表）以及字段。
• NoSQL數據能夠存儲在內存裏，查詢速度很是快
• NoSQL在性能表現上雖然能優於關係型數據庫，可是它並不能徹底替代關係型數據庫
• NoSQL由於沒有複雜的數據結構，擴展很是容易，支持分佈式

  2、常見NoSQL數據庫

• k-v形式的：memcached、redis 適合儲存用戶信息，好比會話、配置文件、參數、購物車等等。這些信息通常都和ID（鍵）掛鉤，這種情景下鍵值數據庫是個很好的選擇。
• 文檔數據庫：mongodb 將數據以文檔的形式儲存。每一個文檔都是一系列數據項的集合。每一個數據項都有一個名稱與對應的值，值既能夠是簡單的數據類型，如字符串、數字和日期等；也能夠是複雜的類型，若有序列表和關聯對象。數據存儲的最小單位是文檔，同一個表中存儲的文檔屬性能夠是不一樣的，數據可使用XML、JSON或者JSONB等多種形式存儲。
• 列存儲 Hbase
• 圖 Neo4J、Infinite Graph、OrientDB

3、Memcached介紹

• Memcached是國外社區網站LiveJournal團隊開發，目的是爲了經過緩存數據庫查詢結果，減小數據庫訪問次數，從而提升動態web站點性能。
• 官方站點 http://www.memcached.org/ 
• 數據結構簡單(k-v)，數據存放在內存裏
• 多線程
• 基於c/s架構，協議簡單
• 基於libevent的事件處理
• 自主內存存儲處理（slab allowcation)
  • 將分配的內存分割成各類尺寸的塊（chunk）， 並把尺寸相同的塊分紅組（chunk的集合），每一個chunk集合被稱爲slab。
  • Memcached的內存分配以Page爲單位，Page默認值爲1M，能夠在啓動時經過-I參數來指定。
  • Slab是由多個Page組成的，Page按照指定大小切割成多個chunk。
  • Memcached在啓動時經過-f選項能夠指定 Growth Factor因子。該值控制chunk大小的差別。默認值爲1.25。
  • 經過memcached-tool命令查看指定Memcached實例的不一樣slab狀態，能夠看到各Item所佔大小（chunk大小）差距爲1.25
  • 命令：# memcached-tool 127.0.0.1:11211 display
    
• 數據過時方式：Lazy Expiration 和 LRU
• Memcached的數據過時方式
  • Lazy Expiration 
    Memcached 內部不會監視記錄是否過時，而是在get時查看記錄的時間戳，檢查記錄是否過時。這種技術被稱爲lazy（惰性）expiration。所以，Memcached不會在過時監視上耗費CPU時間。
  • LRU
    Memcached會優先使用已超時的記錄的空間，但即便如此，也會發生追加新記錄時空間不足的狀況，此時就要使用名爲Least Recently Used（LRU）機制來分配空間。顧名思義，這是刪除「最近最少使用」的記錄的機制。所以，當內存空間不足時（沒法從slab class獲取到新的空間時），就從最近未被使用的記錄中搜索，並將其空間分配給新的記錄。從緩存的實用角度來看，該模型十分理想。

4、Memcached的數據流向，安裝

• 安裝

  yum install -y memcached libmemcached libevent
  systemctl start memcached

  • vim /etc/sysconfig/memcached 能夠配置參數
    好比加上監聽的ip，能夠把OPTIONS="" 改成OPTIONS="127.0.0.1"
    其中-m指定memcached分配內存（默認是M）
    -c指定最大併發數
    -u指定運行memcached服務的用戶
  • 若是須要修改配置，就用命令行啓動

    /usr/bin/memcached -u memcached -p 11211 -m 64-c 1024  
    或者是
    vi /etc/sysconfig/memcached

• 查看Memcached運行狀態

  memcached-tool 127.0.0.1:11211  stats

或者

echo stats |nc 127.0.0.1 11211

須要安裝nc工具

yum install -y nc
rpm -qf `which nc`

若安裝libmemcached後，可使用命令

memstat --servers=127.0.0.1:11211

查看memcached服務狀態
在memcached中，運行state命令能夠查看memcached服務的狀態信息，其中cmd_get表示總的get次數，get_hits表示get的總命中次數，命中率 = get_hits/cmd_ge
總結，查看狀態三種方法

memcached-tool 127.0.0.1:11211 stats
echo stats |nc 127.0.0.1 11211
memstat --servers=127.0.0.1:11211

• Memcached語法規則
  <command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n
  注：\r\n在windows下是Enter鍵

  • <command name> 能夠是set, add, replace
  • set表示按照相應的<key>存儲該數據，沒有的時候增長，有的時候覆蓋
  • add表示按照相應的<key>添加該數據,可是若是該<key>已經存在則會操做失敗
  • replace表示按照相應的<key>替換數據,可是若是該<key>不存在則操做失敗。
  • <key> 客戶端須要保存數據的key
  • <flags> 是一個16位的無符號的整數(以十進制的方式表示)。該標誌將和須要存儲的數據一塊兒存儲,並在客戶端get數據時返回。客戶端能夠將此標誌用作特殊用途，此標誌對服務器來講是不透明的。
  • <exptime> 爲過時的時間。若爲0表示存儲的數據永遠不過時(但可被服務器算法：LRU 等替換)。若是非0(unix時間或者距離此時的秒數),當過時後,服務器能夠保證用戶得不到該數據(以服務器時間爲標準)。
  • <bytes> 須要存儲的字節數，當用戶但願存儲空數據時<bytes>能夠爲0
  • <data block>須要存儲的內容，輸入完成後，最後客戶端須要加上\r\n（直接點擊Enter）做爲結束標誌。
• Memcached命令行

  telnet 127.0.0.1 11211  #進入memcached

  set key2 0 30 2 #30（過時時間30s，若是是0就表示永不過時，2兩個字節）
  ab
  STORED
  get key2
  VALUE key2 0 2
  ab
  END

• Memcached數據示例
  set key3 1 100 4
  abcd
  STORED
  get key3
  VALUE key3 1 4
  abcd
  END
  replace key3 1 200 5
  abcdx
  STORED
  get key3
  VALUE key3 1 5
  abcdx
  END
  delete key3
  DELETED
  get key3
  END
  

ctrl + } 退出
quit 退出 telnet

• Memcached數據導出和導入
  導出：

  memcached-tool 127.0.0.1:11211 dump > data.txt

  cat data.txt
  導入：

  nc 127.0.0.1 11211 < data.txt

  若nc命令不存在，yum install nc
  注意：導出的數據是帶有一個時間戳的，這個時間戳就是該條數據過時的時間點，若是當前時間已經超過該時間戳，那麼是導入不進去的

• PHP鏈接Memcached
  先安裝php的memcache擴展

  cd /usr/local/src/
  wget  http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz
  tar zxf memcache-2.2.3.tgz
  cd memcache-2.2.3
  /usr/local/php-fpm/bin/phpize

  遇到問題
  Cannot find autoconf. Please check your autoconf installation and the
  $PHP_AUTOCONF environment variable. Then, rerun this script.
  解決方法：

  yum install -y m4  autoconf

./configure --with-php-config=/usr/local/php-fpm/bin/php-config
make && make install

安裝完後會有相似這樣的提示：Installing shared extensions: /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
而後修改php.ini添加一行

vi /usr/local/php-fpm/etc/php.ini
extension=memcache.so

檢查

/usr/local/php-fpm/bin/php -m
/etc/init.d/php-fpm restart

• PHP鏈接Memcached
  下載測試腳本

  curl www.apelearn.com/study_v2/.memcache.txt > 1.php 2>/dev/null

  1.php內容也能夠參考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/1.php
  執行腳本

  /usr/local/php-fpm/bin/php 1.php

  或者將1.php放到某個虛擬主機根目錄下面，在瀏覽器訪問，便可看到效果
  

• Memcached中存儲session 
  本實例是在lamp/lnmp環境下實現

  vim /usr/local/php-fpm/etc/php.ini

  搜索session
  如圖，路徑爲file，即保存在本地,默認的session存放在/tmp
  

cd /usr/local/src
wget http://study.lishiming.net/.mem_se.txt
mv .mem_se.txt  /data/wwwroot/default/session.php
其中session.php內容能夠參考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/session.php
curl localhost/session.php

php-fpm.conf對應的pool中添加

vim /usr/local/php-fpm/etc/php-fpm.conf
php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://192.168.127.133:11211 "

/etc/init.d/php-fpm  restart
rm -rf  /tmp/sess*
curl localhost/session.php

memcached-tool 127.0.0.1:11211 dump > data.txt
 cat data.txt