NoSQL , Memcached介紹

什麼是NoSQL

非關係型數據庫就是NoSQL，關係型數據庫表明MySQL

• 對於關係型數據庫來講，是須要把數據存儲到庫、表、行、字段裏，查詢的時候根據條件一行一行地去匹配，當量很是大的時候就很耗費時間和資源，尤爲是數據是須要從磁盤裏去檢索。

• NoSQL數據庫存儲原理很是簡單（典型的數據類型爲k-v），不存在繁雜的關係鏈，好比mysql查詢的時候，須要找到對應的庫、表（一般是多個表）以及字段。

NoSQL數據能夠存儲在內存裏，查詢速度很是快

NoSQL在性能表現上雖然能優於關係型數據庫，可是它並不能徹底替代關係型數據庫

NoSQL由於沒有複雜的數據結構，擴展很是容易，支持分佈式

---

常見NoSQL數據庫

• k-v形式的：memcached、redis 適合儲存用戶信息，好比會話、配置文件、參數、購物車等等。這些信息通常都和ID（鍵）掛鉤，這種情景下鍵值數據庫是個很好的選擇。

• 文檔數據庫：mongodb 將數據以文檔的形式儲存。每一個文檔都是一系列數據項的集合。每一個數據項都有一個名稱與對應的值，值既能夠是簡單的數據類型，如字符串、數字和日期等；也能夠是複雜的類型，若有序列表和關聯對象。數據存儲的最小單位是文檔，同一個表中存儲的文檔屬性能夠是不一樣的，數據可使用XML、JSON或者JSONB等多種形式存儲。

• 列存儲 Hbase

• 圖 Neo4J、Infinite Graph、OrientDB

---

Memcached介紹

• Memcached是國外社區網站LiveJournal團隊開發，目的是爲了經過緩存數據庫查詢結果，減小數據庫訪問次數，從而提升動態web站點性能。

• 官方站點 http://www.memcached.org/

• 數據結構簡單(k-v)，數據存放在內存裏

• 多線程

• 基於c/s架構，協議簡單

• 基於libevent的事件處理

• 自主內存存儲處理（slab allowcation)

• 數據過時方式：Lazy Expiration 和 LRU

Memcached的數據流向

Slab allocation

• Slab Allocation的原理

• 將分配的內存分割成各類尺寸的塊（chunk）， 並把尺寸相同的塊分紅組（chunk的集合），每一個chunk集合被稱爲slab。

• Memcached的內存分配以Page爲單位，Page默認值爲1M，能夠在啓動時經過-I參數來指定。

• Slab是由多個Page組成的，Page按照指定大小切割成多個chunk。

Growth factor

• Memcached在啓動時經過-f選項能夠指定 Growth Factor因子。該值控制chunk大小的差別。默認值爲1.25。

• 經過memcached-tool命令查看指定Memcached實例的不一樣slab狀態，能夠看到各Item所佔大小（chunk大小）差距爲1.25

• 命令：# memcached-tool 127.0.0.1:11211 display

Memcached的數據過時方式

Lazy Expiration

• Memcached 內部不會監視記錄是否過時，而是在get時查看記錄的時間戳，檢查記錄是否過時。這種技術被稱爲lazy（惰性）expiration。所以，Memcached不會在過時監視上耗費CPU時間。

LRU

• Memcached會優先使用已超時的記錄的空間，但即便如此，也會發生追加新記錄時空間不足的狀況，此時就要使用名爲Least Recently Used（LRU）機制來分配空間。顧名思義，這是刪除「最近最少使用」的記錄的機制。所以，當內存空間不足時（沒法從slab class獲取到新的空間時），就從最近未被使用的記錄中搜索，並將其空間分配給新的記錄。從緩存的實用角度來看，該模型十分理想。

---

Memcached安裝

能夠不用下載最新版本，直接yum安裝

先看一下都有哪些包 yum list |grep memcache

安裝 yum install -y memcached libmemcached libevent

• 安裝須要安裝 libevent，能夠先 rpm -qa libevent查看一下系統有沒有安裝。

啓動 systemctl start memcached

[root@localhost ~]# ps aux |grep memcache
memcach+   2105  0.0  0.2 325556  1184 ?        Ssl  22:22   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root       2112  0.0  0.2 112664   968 pts/0    S+   22:23   0:00 grep --color=auto memcache
[root@localhost ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:11211           0.0.0.0:*               LISTEN      2105/memcached      
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1179/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1789/master         
tcp6       0      0 :::11211                :::*                    LISTEN      2105/memcached      
tcp6       0      0 :::22                   :::*                    LISTEN      1179/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      1789/master

更改配置參數 vim /etc/sysconfig/memcached

PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS=""

• 好比加上監聽的ip，能夠把OPTIONS="" 改成OPTIONS="127.0.0.1"

• 其中-m指定memcached分配內存

• -c指定最大併發數

• -u指定運行memcached服務的用戶

---

查看Memcached運行狀態

命令：memcached-tool 127.0.0.1:11211 stats

• 查看後的輸出內容主要關注如下行

curr_items   目前存在多少個項目
get_hits     命中了多少

get_hits除以curr_items等於命中率。表明着緩存被訪問的命中率。緩存被訪問了，說明memcached起了效果。

或者echo stats |nc 127.0.0.1 11211  須要安裝nc工具  yum install -y nc

• nc就是ncat簡稱

[root@localhost ~]# rpm -qf `which nc`
nmap-ncat-6.40-13.el7.x86_64

• echo stats |nc 127.0.0.1 11211查看狀態

若安裝libmemcached後，可使用命令 memstat --servers=127.0.0.1:11211 查看memcached服務狀態

---

memcached命令行

進入數據庫命令 ：telnet 127.0.0.1 11211

[root@localhost ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.

• 進入以後不要亂按，按錯了比較麻煩。

存數據命令：set

set key2 0 30 2
12
STORED
set key1 0 30 3
123
STORED

• key2 就是key的名字，自定義 <key>

• 0 <flags>

• 30 是過時時間，30秒後過時 <exptime>

• <bytes>最後一位定義的是數據的位數，好比寫2，數據就只能輸入兩位，輸入多或者少了都會報錯。

查看數據命令：get

get key1
VALUE key1 0 3
123
END

Memcached語法規則

• <command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n 注：\r\n在windows下是Enter鍵

• <command name> 能夠是set, add, replace

• set表示按照相應的<key>存儲該數據，沒有的時候增長，有的時候覆蓋

• add表示按照相應的<key>添加該數據,可是若是該<key>已經存在則會操做失敗

• replace表示按照相應的<key>替換數據,可是若是該<key>不存在則操做失敗。

• <key> 客戶端須要保存數據的key

• <flags> 是一個16位的無符號的整數(以十進制的方式表示)。該標誌將和須要存儲的數據一塊兒存儲,並在客戶端get數據時返回。客戶端能夠將此標誌用作特殊用途，此標誌對服務器來講是不透明的。

• <exptime> 爲過時的時間。若爲0表示存儲的數據永遠不過時(但可被服務器算法：LRU 等替換)。若是非0(unix時間或者距離此時的秒數),當過時後,服務器能夠保證用戶得不到該數據(以服務器時間爲標準)。

• <bytes> 須要存儲的字節數，當用戶但願存儲空數據時<bytes>能夠爲0

• <data block>須要存儲的內容，輸入完成後，最後客戶端須要加上\r\n（直接點擊Enter）做爲結束標誌。

Memcached數據示例

set key3 1 100 4
abcd
STORED
get key3
VALUE key3 1 4
abcd
END
replace key3 1 200 5
abcdx
STORED
get key3
VALUE key3 1 5
abcdx
END
delete key3
DELETED
get key3
END

---

memcached數據導出和導入

導出：memcached-tool 127.0.0.1:11211 dump > data.txt

能夠先建立幾個過時時間爲0的數據，而後按鍵盤 Ctrl + ] 推出telnet

• cat data.txt

[root@localhost ~]# memcached-tool 127.0.0.1:11211 dump > data.txt
Dumping memcache contents
  Number of buckets: 1
  Number of items  : 2
Dumping bucket 1 - 2 total items
[root@localhost ~]# cat data.txt 
add name 1 1534861345 5
aming
add key11 1 1534861345 2
12
[root@localhost ~]#

導入：nc 127.0.0.1 11211 < data.txt

• 因爲數據以前是已經存在的，須要重啓服務，讓緩存消失，而後導入

[root@localhost ~]# systemctl restart memcached
[root@localhost ~]# nc 127.0.0.1 11211 < data.txt
STORED
STORED

注意：導出的數據是帶有一個時間戳的，這個時間戳就是該條數據過時的時間點，若是當前時間已經超過該時間戳，那麼是導入不進去的.

---

PHP鏈接Memcached

先安裝php的memcache擴展

cd /usr/local/src/
wget  http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz 
tar zxf memcache-2.2.3.tgz 
cd memcache-2.2.3
/usr/local/php-fpm/bin/phpize
./configure --with-php-config=/usr/local/php-fpm/bin/php-config
make && make install

• 安裝完後會有相似這樣的提示：Installing shared extensions: /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/

• 而後修改php.ini添加一行extension="memcache.so「

• 檢查/usr/local/php/bin/php-fpm -m

下載測試腳本

curl www.apelearn.com/study_v2/.memcache.txt > 1.php 2>/dev/null

• 1.php內容也能夠參考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/1.php

執行腳本

/usr/local/php-fpm/bin/php 1.php

• 或者將1.php放到某個虛擬主機根目錄下面，在瀏覽器訪問，便可看到效果

最終能夠看到數據以下：

[0] => aaa
 [1] => bbb
 [2] => ccc
 [3] => ddd

---

Memcached中存儲session

• 本實例是在lamp/lnmp環境下實現

• 編輯php.ini添加兩行

session.save_handler = memcache 
session.save_path = "tcp://192.168.0.9:11211" 

• 或者httpd.conf中對應的虛擬主機中添加

php_value session.save_handler "memcache"  
php_value session.save_path "tcp://192.168.0.9:11211" 

• 或者php-fpm.conf對應的pool中添加

php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://192.168.0.9:11211 "

wget http://study.lishiming.net/.mem_se.txt
mv .mem_se.txt  /usr/local/apache2/htdocs/session.php

其中session.php內容能夠參考

https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/session.php

• curl localhost/session.php

相似於1443702394<br><br>1443702394<br><br>i44nunao0g3o7vf2su0hnc5440
telnet 127.0.0.1 11211
get i44nunao0g3o7vf2su0hnc5440