75.nosql memcached與安裝及查看狀態

21.1 nosql介紹

21.2 memrcached介紹

21.3 安裝memcached

21.4 查看memcachedq狀態

 

 

 

 

21.1 nosql介紹

 

什麼是NoSQL：

1.非關係型數據庫就是NoSQL，關係型數據庫表明MySQL

也是一種數據庫，來存儲數據的。典型的關係型數據庫就是mysql等等，關係型數據庫都有一個特色就是可使用sql語句。 對於非關係型數據庫沒有這樣的用法

2.對於關係型數據庫來講，是須要把數據存儲到庫、表、行、字段裏，查詢的時候根據條件一行一行地去匹配，當量很是大的時候就很耗費時間和資源，尤爲是數據是須要從磁盤裏去檢索

關係型數據庫最小的單元是字段。好比咱們建立了一個表，這個表包括了用戶的名字、ID、年齡、職業等等，每一個字段了都有他對應的數據，咱們查詢的時候紀要根據條件一行一行的去匹配，就會很慢。由於咱們是吧數據存放在磁盤裏，他須要整個的遍歷，一點一點的去查。因此這種關係型數據庫，當量很是大的時候，是比較耗費資源的

3.NoSQL數據庫存儲原理很是簡單（典型的數據類型爲k-v），不存在繁雜的關係鏈，好比mysql查詢的時候，須要找到對應的庫、表（一般是多個表）以及字段。

k-v表示一個鍵一個值。 好比存數據，就只存用戶，對應的他的名字，再存一個值好比年齡，是20歲。就相似這麼簡單的數據。那麼查詢的時候也很容易，直接查用戶就能直接出來，不須要一行一行的去匹配。

他不須要多個表的關聯，好比商品的售賣（京東、淘寶），他要查一個訂單，就要多個表結合起來一塊兒查。由於不一樣的表存的東西不同，好比一個表放顧客信息，一個表放商品信息等等。因此叫關係型數據庫，他們有相互的關聯。而非關係型的設計理念就是不須要這些錯綜複雜的理念在裏頭，就很是簡單的一個k一個v

4.NoSQL數據能夠存儲在內存裏，查詢速度很是快

他的優點。內存比磁盤的讀取要快不少

5.NoSQL在性能表現上雖然能優於關係型數據庫，可是它並不能徹底替代關係型數據庫

當咱們有複雜的需求的時候，是不能知足的

好比咱們訪問discuz的時候，當訪問量很大的時候，數據庫頂不住了。那咱們能夠加一層緩存，那這層緩存就可使用nosql。那緩存必然是在內存裏。咱們好比要查一個帖子，查完以後現放到內存裏（nosql），那帖子有一個帖子ID，對應着帖子的內容。那就能夠理解帖子ID叫作K，帖子內容是V。而咱們一條一條的把論壇的帖子內容，緩存在nosql裏，當用戶訪問的時候，咱們不去查數據庫裏的，直接查緩存。從而減輕數據庫的查詢壓力。這是最典型的用法

6.NoSQL由於沒有複雜的數據結構，擴展很是容易，支持分佈式

相對於mysql來講，咱們要把多個表聯合起來，查一個信息。那當A機器數據量滿了，咱們加一臺B服務器，咱們在查詢的時候就會比較麻煩。目前的技術手段是不能實現的，不能把他們結合在一塊兒。但nosql就能夠，由於他沒有關係，不存在A表B表之間的關聯，咱們就能夠橫向擴展。我加一臺服務器過來，那就繼續存唄，因此他支持分佈式。那也就是說當他訪問量很大的時候，咱們能夠以增長服務器的形式老實現橫向擴展

那mysql怎麼處理這種瓶頸問題呢？只能作主從，一主多從，針對這些從作負載均衡。那還有一種方案就是分庫分表，放在不一樣的服務器上，固然了，關聯的要放在一塊兒，不關聯的才能分開。這是他的侷限性

 

常見NoSQL數據庫：

1. k-v形式的：memcached、redis 適合儲存用戶信息，好比會話、配置文件、參數、購物車等等。這些信息通常都和ID（鍵）掛鉤，這種情景下鍵值數據庫是個很好的選擇。

2.文檔數據庫：mongodb 將數據以文檔的形式儲存。每一個文檔都是一系列數據項的集合。每一個數據項都有一個名稱與對應的值，值既能夠是簡單的數據類型，如字符串、數字和日期等；也能夠是複雜的類型，若有序列表和關聯對象。數據存儲的最小單位是文檔，同一個表中存儲的文檔屬性能夠是不一樣的，數據可使用XML、JSON或者JSONB等多種形式存儲。

特殊的用法，好比能夠存儲二進制的東西

3.列存儲 Hbase

4.圖 Neo4J、Infinite Graph、OrientDB #做爲了解

 

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

 

21.2 memcached介紹

 

 

 

Memcached在LNMP、LAMP架構裏承擔的角色是緩存。他能夠存儲好比說，論壇的貼子，也能夠存儲數字，用戶訪問量、在線人數等等，這樣見得數字很容易緩存在memcached裏面的

1.Memcached是國外社區網站LiveJournal團隊開發，目的是爲了經過緩存數據庫查詢結果，減小數據庫訪問次數，從而提升動態web站點性能。

2.官方站點 http://www.memcached.org/ 

3.數據結構簡單(k-v)，數據存放在內存裏

memchcaed的數據不支持落地，不支持持久化。也就意味着一旦重啓服務器，或者已重啓memcached服務，原來存儲的數據就會丟失。因此存儲的數據很重要的話，仍是要注意一下。爲保證數據的安全，能夠不按期的把數據作一個落地，把它存到硬盤裏去。好比咱們每次重啓服務，先把數據存到磁盤裏，啓動以後再把磁盤的數據導入到mencached裏面去

4.多線程

memcached是個多線程的服務。當你的cpu不少的時候，用memcached是很快的

5.基於c/s架構，協議簡單

使用memcached就要啓動一個服務，客戶端去鏈接這個服務端，去通訊

6.基於libevent的事件處理

以前的nginx也是基於libevent

7.自主內存存儲處理（slab allowcation) #下面詳解

8.數據過時方式：Lazy Expiration 和 LRU

 

Memcached的數據流向：

 

正常狀況下，用戶發起請求給nginx（好比LNMP架構），nginx給php-fpm，php-fpm解析完以後，若是發現查詢的是一個帖子，就去mysql裏查，最終由nginx反饋給用戶，這是一個正常的數據流向。

而這裏memcached，是先到mysql裏查數據，查到以後，經過php-fpm把結果存儲到memcached裏面去，再次查詢就不須要去mysql裏查了，直接從memcached緩存層裏返回給用戶就能夠了

 

Slab allocation：

1.Slab Allocation的原理

2.將分配的內存分割成各類尺寸的塊（chunk）， 並把尺寸相同的塊分紅組（chunk的集合），每一個 chunk集合被稱爲slab。

4.Memcached的內存分配以Page爲單位，Page默認值爲1M，能夠在啓動時經過-I參數來指定。

5.Slab是由多個Page組成的，Page按照指定大小切割成多個chunk。

chunk的大小由下面的Growth factor （增加因子），來決定

Growth factor （增加因子）： #做爲了解

1.Memcached在啓動時經過-f選項能夠指定 Growth Factor因子。該值控制chunk大小的差別。默認值爲1.25。

好比第一個chunk，最小的chunk是多少，而後第二大的，第三大的。這樣依次是多大，就由Growth factor （增加因子），來決定

2.經過memcached-tool命令查看指定Memcached實例的不一樣slab狀態，能夠看到各Item所佔大小（chunk大小）差距爲1.25

3.命令：# memcached-tool 127.0.0.1:11211 display

 

 

 

以上文字與圖，chunk屬於最小的一個單元，其次是page。那page裏面包含了多個chunk。而slabs又包含了多個page

 

Memcached的數據過時方式：

 

1.Lazy Expiration 

第一種就是懶惰的方式。意思爲咱們在建立一個k-v的時候，就須要給k指定一個過時的時間，好比咱們指定他一個小時過時，過時後不存在內存裏了。這種就是咱們用戶來決定的

Memcached 內部不會監視記錄是否過時，而是在get時查看記錄的時間戳，檢查記錄是否過時。這種技術被稱爲lazy（惰性）expiration。所以，Memcached不會在過時監視上耗費CPU時間。

2.LRU

第二種就是會標記不被訪問的數據，當內存空間不足時，就會被覆蓋、騰空間給新的數據

Memcached會優先使用已超時的記錄的空間，但即便如此，也會發生追加新記錄時空間不足的狀況，此時就要使用名爲Least Recently Used（LRU）機制來分配空間。顧名思義，這是刪除「最近最少使用」的記錄的機制。所以，當內存空間不足時（沒法從slab class獲取到新的空間時），就從最近未被使用的記錄中搜索，並將其空間分配給新的記錄。從緩存的實用角度來看，該模型十分理想！

其實包括linux操做系統，內存的使用管理，也是有這個LRU的

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

 

21.3 安裝memcached

 

 

1.yum install -y memcached libmemcached libevent

在這裏咱們yum安裝。也能夠去官方下載源碼包編譯安裝

直接yummemcached，會連帶安裝後面兩個

2.systemctl start memcached #啓動

3.vim /etc/sysconfig/memcached 能夠配置參數

好比加上監聽的ip，能夠把OPTIONS="" 改成OPTIONS="127.0.0.1"

其中-m指定memcached分配內存

-c指定最大併發數

-u指定運行memcached服務的用戶

 

 

實例：

[root@axinlinux-01 ~]# yum list |grep memcached

Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast

memcached.x86_64 1.4.15-10.el7_3.1 base #能夠先看一下這個包爲1.4版本

[root@axinlinux-01 ~]# yum install -y memcached #直接yum安裝

[root@axinlinux-01 ~]# rpm -qa |grep libevent #以前講過memcached是基於libevent的，域名安裝的時候會連帶安裝libevent

libverto-libevent-0.2.5-4.el7.x86_64

libevent-2.0.21-4.el7.x86_64

[root@axinlinux-01 ~]# systemctl start memcached #啓動

[root@axinlinux-01 ~]# ps aux |grep memcached

memcach+ 1776 0.0 0.0 344080 1664 ? Ssl 23:28 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

#以上這裏-u指定了那個用戶在執行，-p指定了他的監聽端口11211，-m給他分配了內存有多大（64m），-c最大併發數。固然這些均可以去更改（如下）

root 1785 0.0 0.0 112720 980 pts/0 S+ 23:29 0:00 grep --color=auto memcached

[root@axinlinux-01 ~]# vim /etc/sysconfig/memcached #他沒有配置文件，在這個文件裏更改

PORT="11211" #監聽的端口

USER="memcached" #用戶

MAXCONN="1024" #最大鏈接數

CACHESIZE="64" #內存（爲m）。平時咱們改一下-m也就差很少了，不須要改太多的地方

OPTIONS="" #其餘，好比能夠增長-l（監聽的主機）。能夠memcached -h看一下其餘的選項

[root@axinlinux-01 ~]# memcached -h #以上其餘的選項

 

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

21.4 查看memcachedq狀態

 

 

咱們平時是須要查看他的運行狀態的，好比鏈接了多少、命中率有多少（好比咱們緩存了帖子，那這個帖子有沒有經過memcached去訪問呢）

1.memcached-tool 127.0.0.1:11211  stats

命中率=get_hits/cmd_get（這個是咱們平時要去關注的）

2.或者echo stats |nc 127.0.0.1 11211  須要安裝nc工具  yum install -y nc

3.若安裝libmemcached後，可使用命令

memstat --servers=127.0.0.1:11211 查看memcached服務狀態

 

 

實例：

1.

[root@axinlinux-01 ~]# memcached-tool 192.168.208.128:11211 stats

#192.168.208.128:11211 Field Value

accepting_conns 1

auth_cmds 0

auth_errors 0

bytes 0

bytes_read 7

bytes_written 0

cas_badval 0

cas_hits 0

cas_misses 0

cmd_flush 0

cmd_get 0 #總的get次數（需關注）

cmd_set 0

cmd_touch 0

conn_yields 0

connection_structures 11

curr_connections 10

curr_items 0

decr_hits 0

decr_misses 0

delete_hits 0

delete_misses 0

evicted_unfetched 0

evictions 0

expired_unfetched 0

get_hits 0 #get的總命中次數（需關注）

get_misses 0

hash_bytes 524288

hash_is_expanding 0

hash_power_level 16

incr_hits 0

incr_misses 0

libevent 2.0.21-stable

limit_maxbytes 67108864

listen_disabled_num 0

pid 1776

pointer_size 64

reclaimed 0

reserved_fds 20

rusage_system 0.035322

rusage_user 0.052984

threads 4

time 1541605626

total_connections 11

total_items 0

touch_hits 0

touch_misses 0

uptime 1114

version 1.4.15

2.

[root@axinlinux-01 ~]# echo stats |nc 192.168.208.128 11211

STAT pid 1776

STAT uptime 1805

STAT time 1541606317

STAT version 1.4.15

STAT libevent 2.0.21-stable

STAT pointer_size 64

STAT rusage_user 0.084054

STAT rusage_system 0.044499

STAT curr_connections 10

STAT total_connections 12

STAT connection_structures 11

STAT reserved_fds 20

STAT cmd_get 0

STAT cmd_set 0

STAT cmd_flush 0

STAT cmd_touch 0

STAT get_hits 0

STAT get_misses 0

STAT delete_misses 0

STAT delete_hits 0

STAT incr_misses 0

STAT incr_hits 0

STAT decr_misses 0

STAT decr_hits 0

STAT cas_misses 0

STAT cas_hits 0

STAT cas_badval 0

STAT touch_hits 0

STAT touch_misses 0

STAT auth_cmds 0

STAT auth_errors 0

STAT bytes_read 13

STAT bytes_written 1025

STAT limit_maxbytes 67108864

STAT accepting_conns 1

STAT listen_disabled_num 0

STAT threads 4

STAT conn_yields 0

STAT hash_power_level 16

STAT hash_bytes 524288

STAT hash_is_expanding 0

STAT bytes 0

STAT curr_items 0

STAT total_items 0

STAT expired_unfetched 0

STAT evicted_unfetched 0

STAT evictions 0

STAT reclaimed 0

END

[root@axinlinux-01 ~]# rpm -qf `which nc` #rpm -qf `xxx`查看命令是哪一個包安裝來的

nmap-ncat-6.40-13.el7.x86_64

3.

[root@axinlinux-01 ~]# rpm -qa memstat #查看memstat這個命令有沒有安裝

[root@axinlinux-01 ~]# yum install -y libmemcached #yum安裝一下

[root@axinlinux-01 ~]# memstat --servers 127.0.0.1:11211

Server: 127.0.0.1 (11211)

pid: 1776

uptime: 2222

time: 1541606734

version: 1.4.15

libevent: 2.0.21-stable

pointer_size: 64

rusage_user: 0.097368

rusage_system: 0.058421

curr_connections: 10

total_connections: 14

connection_structures: 11

reserved_fds: 20

cmd_get: 0

cmd_set: 0

cmd_flush: 0

cmd_touch: 0

get_hits: 0

get_misses: 0

delete_misses: 0

delete_hits: 0

incr_misses: 0

incr_hits: 0

decr_misses: 0

decr_hits: 0

cas_misses: 0

cas_hits: 0

cas_badval: 0

touch_hits: 0

touch_misses: 0

auth_cmds: 0

auth_errors: 0

bytes_read: 37

bytes_written: 3099

limit_maxbytes: 67108864

accepting_conns: 1

listen_disabled_num: 0

threads: 4

conn_yields: 0

hash_power_level: 16

hash_bytes: 524288

hash_is_expanding: 0

bytes: 0

curr_items: 0

total_items: 0

expired_unfetched: 0

evicted_unfetched: 0

evictions: 0

reclaimed: 0