centos下部署redis服務環境及其配置說明

 

Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫，並提供多種語言的API。從2010年3月15日起，Redis的開發工做由VMware主持。
redis是一個key-value存儲系統。和Memcached相似，它支持存儲的value類型相對更多，包括string(字符串)、 list(鏈表)、set(集合)、zset(sorted set –有序集合)和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操做，並且這些操做都是原 子性的。在此基礎上，redis支持各類不一樣方式的排序。與memcached同樣，爲了保證效率，數據都是緩存在內存中。區別的是redis會週期性的 把更新的數據寫入磁盤或者把修改操做寫入追加的記錄文件，而且在此基礎上實現了master-slave(主從)同步。

先簡單說說redi和mysql的一些區別：

redis和mysql要根據具體業務場景去選型
   
mysql：數據放在磁盤   redis：數據放在內存
redis適合放一些頻繁使用，比較熱的數據，由於是放在內存中，讀寫速度都很是快

首先要知道mysql存儲在磁盤裏，redis存儲在內存裏，redis既能夠用來作持久存儲，也能夠作緩存，而目前大多數公司的存儲都是mysql + redis，其中：
mysql做爲主存儲，redis做爲輔助存儲被用做緩存，加快訪問讀取的速度，提升性能。

那麼爲何不直接所有用redis存儲呢？
由於redis存儲在內存中，若是存儲在內存中，存儲容量確定要比磁盤少不少，那麼要存儲大量數據，只能花更多的錢去購買內存，形成在一些不須要高性能的地方是相對比較浪費的，因此目前基本都是mysql(主) + redis(輔)，在須要性能的地方使用redis，在不須要高性能的地方使用mysql，好鋼用在刀刃上
1）mysql支持sql查詢，能夠實現一些關聯的查詢以及統計；
2）redis對內存要求比較高，在有限的條件下不能把全部數據都放在redis；
3）mysql偏向於存數據，redis偏向於快速取數據，但redis查詢複雜的表關係時不如mysql，因此能夠把熱門的數據放redis，mysql存基本數據

下面記錄下redis服務安裝過程：
安裝依賴軟件
[root@dev src]# yum install gcc-c++ tcl

下載並安裝redis（百度雲盤下載地址：https://pan.baidu.com/s/1bAxZzC    提取密碼:ngsc）（redis官網下載最新版：https://redis.io/）
[root@dev src]# wget http://download.redis.io/redis-stable.tar.gz
[root@dev src]# tar xvzf redis-stable.tar.gz
[root@dev src]# cd redis-stable
[root@dev redis-stable]# make
--------------------------------------------------------------------------
若是編譯安裝過程當中，出現報錯：
zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory

緣由：一些編譯依賴或原來編譯遺留出現的問題
解決方案：make distclean。清理一下，而後再make。
-------------------------------------------------------------------------

在make成功之後，會在src目錄下多出一些可執行文件：redis-server，redis-cli等等。
[root@dev redis-stable]# cd ./src
[root@dev src]# cp redis-server redis-cli redis-check-aof redis-check-rdb redis-sentinel redis-trib.rb /usr/local/bin/

而後新建目錄，存放配置文件
[root@dev src]# mkdir /etc/redis
[root@dev src]# mkdir /var/redis
[root@dev src]# mkdir /var/redis/log
[root@dev src]# mkdir /var/redis/run
[root@dev src]# mkdir /var/redis/redis

在redis解壓根目錄中找到配置文件模板，複製到以下位置。
[root@dev src]# cd ../
[root@dev redis-stable]# cp redis.conf /etc/redis/redis.conf

修改redis.conf配置文件
[root@dev redis-stable]# vim /etc/redis/redis.conf
.......
port 6379
.......
daemonize yes
.......
pidfile /var/redis/run/redis_6379.pid
.......
logfile /var/redis/log/redis_6379.log
.......
dir /var/redis/redis                  //工做目錄，dump文件所在目錄

---------------------------------------------------------------------------------------------------------------------------------
redis默認的持久化方式是RDB，數據寫入到dump文件中。若是要啓用AOF持久化，就在redis.conf文件中配置以下：
appendonly yes         #啓用AOF持久化方式
appendfilename "appendonly.aof"       #AOF文件的名稱，默認爲appendonly.aof
# appendfsync always        #每次收到寫命令就當即強制寫入磁盤，是最有保證的徹底的持久化，但速度也是最慢的，通常不推薦使用。
appendfsync everysec        #每秒鐘強制寫入磁盤一次，在性能和持久化方面作了很好的折中，是受推薦的方式。
# appendfsync no         #徹底依賴OS的寫入，通常爲30秒左右一次，性能最好可是持久化最沒有保證，不被推薦。
---------------------------------------------------------------------------------------------------------------------------------

啓動redis服務
[root@dev redis-stable]# redis-server /etc/redis/redis.conf
[root@dev redis-stable]# ps -ef|grep redis
root 3795 1 0 15:33 ? 00:00:00 redis-server 127.0.0.1:6379
root 3799 31415 0 15:33 pts/1 00:00:00 grep --color redis
[root@dev redis-stable]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 3795 root 4u IPv4 58627495 0t0 TCP localhost:6379 (LISTEN)

設置開機啓動
[root@dev ~]# echo "/usr/local/bin/redis-server /etc/redis/redis.conf" >> /etc/rc.local

關閉redis服務
[root@dev ~]# redis-cli shutdown //默認是6379端口
若是端口變化能夠指定端口
[root@dev ~]# redis-cli -p 6379 shutdown

------------------------------------------------------------------------------------------------------------
還能夠經過以下方法，設置redis服務啓動腳本及開機自啓動
將redis解壓包下utils下redis啓動腳本redis_init_script拷貝至/etc/init.d/，並修改腳本名稱(也可不修改)爲redis
[root@dev ~]# cp /usr/local/src/redis-stable/utils/redis_init_script /etc/init.d/redis
[root@dev ~]# chmod +x /etc/init.d/redis

修改腳本pid及conf路徑爲實際路徑
[root@dev ~]# vim /etc/init.d/redis
......
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
......

這樣，就能夠直接用下面的命令關閉和啓動redis服務了
[root@dev ~]# /etc/init.d/redis stop
Stopping ...
Redis stopped
[root@dev ~]# lsof -i:6379
[root@dev ~]# /etc/init.d/redis start
Starting Redis server...
[root@dev ~]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 9372 root 4u IPv4 58648940 0t0 TCP localhost:6379 (LISTEN)

設置自啓動
[root@dev ~]# chkconfig redis on
redis 服務不支持 chkconfig

這是由於沒有在啓動腳本/etc/init.d/redis里加入redis啓動優先級信息，可添加以下紅色字體的兩行:
[root@dev ~]# vim /etc/init.d/redis
#!/bin/sh
#
# chkconfig: 2345 90 10                                                     //注意:後面的英文空格
# description: Redis is a persistent key-value database          //注意:後面的英文空格

# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
.......

[root@dev ~]# chkconfig redis on
[root@dev ~]# chkconfig --list|grep redis
redis 0:關閉 1:關閉 2:啓用 3:啓用 4:啓用 5:啓用 6:關閉
------------------------------------------------------------------------------------------------------------

初始化Redis的密碼
有如下2個步驟：
1）在配置文件中有個參數： requirepass 這個就是配置redis訪問密碼的參數。
好比 requirepass test123
2）配置文件中參數生效須要重啓重啓redis 。
重啓redis服務後，發現使用redis-cli -p 6379的無密碼方式仍能登陸redis，只是登陸進去後不能作任何操做。
須要用密碼登陸redis-cli -p 6379 -a test123後，才能正常操做

那麼不重啓redis的狀況下如何配置密碼？
1）在配置文件中配置requirepass的密碼（當redis重啓時密碼依然有效）。
# requirepass foobared
好比修改爲:
requirepass test123
2）進入redis重定義參數
查看當前的密碼：
[root@slaver251 redis-2.4.16]# redis-cli -p 6379
redis 127.0.0.1:6379>
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379>
顯示密碼是空的，
而後設置密碼：
redis 127.0.0.1:6379> config set requirepass test123
OK
再次查詢密碼：
redis 127.0.0.1:6379> config get requirepass
(error) ERR operation not permitted
此時報錯了！
如今只須要密碼認證就能夠了。
redis 127.0.0.1:6379> auth test123
OK
再次查詢密碼：
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "test123"
密碼已經獲得修改。
當到了能夠重啓redis的時候，因爲配置參數已經修改，因此密碼會自動生效。
要是配置參數沒添加密碼，那麼redis重啓，密碼將至關於沒有設置。
==================================================================================

masterauth是當master節點設置了密碼保護時，slave節點鏈接master節點的密碼，這個是在slave節點配置的。
1）若是master節點不設置密碼（即不設置requirepass密碼），那麼slave節點在配置同步的時候，只需配置：
#slaveof master的ip 端口
slaveof 192.168.1.150 6379　
2）若是master節點配置了requirepass密碼，那麼slave就須要配置masterauth密碼來鏈接master。特別注意: 若是要設置密碼的話，masterauth和requirepass都要設置，不然主從切換時，會有受權問題! (而且二者密碼要設置同樣)
好比：
master 節點配置: 

     port 6379
     requirepass redis                                       # master節點只須要設置這一個密碼

slave1 節點配置:
    port 6479
    slaveof 192.168.1.150 6379
    masterauth redis        # 注意，這個是鏈接master節點，同步數據用的密碼.  slave節點須要設置這兩個密碼
    requirepass redis       # 這個是slave節點上登陸本身的redis用的密碼

=================================================================================
除了在配置文件裏設置redis密碼，也能夠直接在命令行裏設置密碼：

1）設置有密碼
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set masterauth "redis123"
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set requirepass "redis123"
OK
[root@redis-node01 ~]# 

2）登陸
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 p 7000 -a "redis123"
192.168.10.207:7000> 

或者
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
192.168.10.207:7000> auth redis123
OK
192.168.10.207:7000> 

3）再次設置無密碼
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
192.168.10.207:7000> auth redis123
OK 
192.168.10.207:7000> config set masterauth ""
OK
192.168.10.207:7000> config set requirepass ""
OK
192.168.10.207:7000> 

slave端的相關配置
slave-read-only yes     #從2.6版本開始支持只讀的slave，默認是yes的
masterauth <master-password> #若是master配置了requirepass設置密碼，slave須要配置鏈接master的密碼
slave-serve-stale-data yes    #當slave與master斷開或者複製正在進行的時候是否繼續提供服務，默認是yes繼續服務，能夠配置爲no返回錯誤提示「SYNC with master in progress」(除了INFO和SLAVEOF命令)
repl-ping-slave-period 10 #slave發送心跳的間隔時間，默認是10秒

master端的相關配置
repl-diskless-sync no     #是否使用無盤複製 Diskless replication，默認是no
repl-diskless-sync-delay 5   #無盤複製延時開始秒數，默認是5秒，意思是當PSYNC觸發的時候，master延時多少秒開始向master傳送數據流，以便等待更多的slave鏈接能夠同時傳送數據流，由於一旦PSYNC開始後，若是有新的slave鏈接master，只能等待下次PSYNC。能夠配置爲0取消等待，當即開始
repl-backlog-size 1mb   #複製流的內存緩衝區大小，用於增量同步，當master-slave斷開的時候，master保存在複製流內存緩衝區的數據大小限制，默認是1mb。若是至少有1個slave鏈接的話，就會釋放
repl-backlog-ttl 3600   #複製流的內存緩衝區過期時間，默認3600秒，就是說不管保存在複製流內存緩衝區的數據大小是否超過限制，當master-slave斷開超過上述時間就會釋放
min-slaves-to-write 3    #從2.8版本開始，能夠配置與master鏈接的slave的最少數量，默認是0沒有限制，若是配置>0，須要結合下面的選項一塊兒使用，只有同時知足這2個選項，master才能接收寫操做
min-slaves-max-lag 10 #容許master-slave的心跳最大間隔，默認是10秒，須要結合min-slaves-to-write選項一塊兒使用

複製+持久化的數據完整性考慮
若是master配置了slave，那麼強烈建議master啓用持久化。由於當master重啓的時候，若是沒有啓用持久化，數據會所有丟失，並且當slave從新鏈接master的時候，slave原有的數據也會被清空。若是真的要配置不啓用持久化，最好不要設置自動啓動master，除非數據所有丟失對你來講不重要。

======================================================================
當redis服務日誌出現下面報錯：

34145] 01 Jan 17:42:02 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue 
add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' 

緣由分析：
redis在dump數據的時候，會fork出一個子進程，理論上child進程所佔用的內存和parent是同樣的，好比parent佔用的內存爲8G，這個時候也要一樣分配8G的內存給
hild,若是內存沒法負擔，每每會形成redis服務器的down機或者IO負載太高，效率降低。因此這裏比較優化的內存分配策略應該設置爲 1（表示內核容許分配全部的物理內存，
而無論當前的內存狀態如何）。

overcommit_memory參數說明： 
設置內存分配策略（可選,根據服務器的實際狀況進行設置） /proc/sys/vm/overcommit_memory 可選值：0、一、2。 
0：表示內核將檢查是否有足夠的可用內存供應用進程使用；若是有足夠的可用內存，內存申請容許；不然，內存申請失敗，並把錯誤返回給應用進程。 
1：表示內核容許分配全部的物理內存，而無論當前的內存狀態如何。 
2：表示內核容許分配超過全部物理內存和交換空間總和的內存。

解決辦法：
# echo 1 > /proc/sys/vm/overcommit_memory

或者
# vim /etc/sysctl.conf 
vm.overcommit_memory=1
# sysctl -p

下面是對redis.conf文件配置解釋：

1. Redis默認不是以守護進程的方式運行，能夠經過該配置項修改，使用yes啓用守護進程
    daemonize no
2. 當Redis以守護進程方式運行時，Redis默認會把pid寫入/var/run/redis.pid文件，能夠經過pidfile指定
    pidfile /var/run/redis.pid
3. 指定Redis監聽端口，默認端口爲6379，做者在本身的一篇博文中解釋了爲何選用6379做爲默認端口，由於6379在手機按鍵上MERZ對應的號碼，而MERZ取自意大利歌女Alessia Merz的名字
    port 6379
4. 綁定的主機地址。說明只能redis-cli鏈接本機redis的時候只能經過這個ip鏈接。
    bind 127.0.0.1
5.當 客戶端閒置多長時間後關閉鏈接，若是指定爲0，表示關閉該功能
    timeout 300
6. 指定日誌記錄級別，Redis總共支持四個級別：debug、verbose、notice、warning，默認爲verbose
    loglevel verbose
7. 日誌記錄方式，默認爲標準輸出，若是配置Redis爲守護進程方式運行，而這裏又配置爲日誌記錄方式爲標準輸出，則日誌將會發送給/dev/null
    logfile stdout
8. 設置數據庫的數量，默認數據庫爲0，可使用SELECT <dbid>命令在鏈接上指定數據庫id
    databases 16
9. 指定在多長時間內，有多少次更新操做，就將數據同步到數據文件，能夠多個條件配合
    save <seconds> <changes>
    Redis默認配置文件中提供了三個條件（打開這三行的上面一行的註釋，即 save "" 這個註釋去掉就表示關閉snapshot快照功能；）：
    save 900 1
    save 300 10
    save 60 10000
    分別表示900秒（15分鐘）內有1個更改，300秒（5分鐘）內有10個更改以及60秒內有10000個更改。
10. 指定存儲至本地數據庫時是否壓縮數據，默認爲yes，Redis採用LZF壓縮，若是爲了節省CPU時間，能夠關閉該選項，但會致使數據庫文件變的巨大
    rdbcompression yes
11. 指定本地數據庫文件名，默認值爲dump.rdb
    dbfilename dump.rdb
12. 指定本地數據庫存放目錄
    dir ./
13. 設置當本機爲slav服務時，設置master服務的IP地址及端口，在Redis啓動時，它會自動從master進行數據同步
    slaveof <masterip> <masterport>
14. 當master服務設置了密碼保護時，slav服務鏈接master的密碼. 若是要設置密碼的話，masterauth和requirepass都要設置，不然主從切換時，會有受權問題! (而且二者密碼要設置同樣)
    masterauth <master-password>
15. 設置Redis鏈接密碼，若是配置了鏈接密碼，客戶端在鏈接Redis時須要經過AUTH <password>命令提供密碼，默認關閉
    requirepass foobared  
16. 設置同一時間最大客戶端鏈接數，默認無限制，Redis能夠同時打開的客戶端鏈接數爲Redis進程能夠打開的最大文件描述符數，若是設置 maxclients 0，表示不做限制。當客戶端鏈接數到達限制時，Redis會關閉新的鏈接並向客戶端返回max number of clients reached錯誤信息
    maxclients 128
17. 指定Redis最大內存限制，Redis在啓動時會把數據加載到內存中，達到最大內存後，Redis會先嚐試清除已到期或即將到期的Key，當此方法處理 後，仍然到達最大內存設置，將沒法再進行寫入操做，但仍然能夠進行讀取操做。Redis新的vm機制，會把Key存放內存，Value會存放在swap區
    maxmemory <bytes>
18. 指定是否在每次更新操做後進行日誌記錄，Redis在默認狀況下是異步的把數據寫入磁盤，若是不開啓，可能會在斷電時致使一段時間內的數據丟失。由於 redis自己同步數據文件是按上面save條件來同步的，因此有的數據會在一段時間內只存在於內存中。默認爲no
    appendonly no
19. 指定更新日誌文件名，默認爲appendonly.aof
appendfilename appendonly.aof
20. 指定更新日誌條件，共有3個可選值： 
    appendfsync no：表示等操做系統進行數據緩存同步到磁盤。徹底依賴OS的寫入，通常爲30秒左右一次，性能最好可是持久化最沒有保證，不被推薦。（快） 
    appendfsync always：#每次收到寫命令就當即強制寫入磁盤，是最有保證的徹底的持久化，但速度也是最慢的，通常不推薦使用。（慢，安全） 
    appendfsync everysec：表示每秒同步一次（折中，默認值），每秒鐘強制寫入磁盤一次，在性能和持久化方面作了很好的折中，這種fsync策略能夠兼顧速度和安全性，是受推薦的方式。
    appendfsync everysec
21. 指定是否啓用虛擬內存機制，默認值爲no，簡單的介紹一下，VM機制將數據分頁存放，由Redis將訪問量較少的頁即冷數據swap到磁盤上，訪問多的頁面由磁盤自動換出到內存中（在後面的文章我會仔細分析Redis的VM機制）
vm-enabled no
22. 虛擬內存文件路徑，默認值爲/tmp/redis.swap，不可多個Redis實例共享
vm-swap-file /tmp/redis.swap
23. 將全部大於vm-max-memory的數據存入虛擬內存,不管vm-max-memory設置多小,全部索引數據都是內存存儲的(Redis的索引數據 就是keys),也就是說,當vm-max-memory設置爲0的時候,實際上是全部value都存在於磁盤。默認值爲0
vm-max-memory 0
24. Redis swap文件分紅了不少的page，一個對象能夠保存在多個page上面，但一個page上不能被多個對象共享，vm-page-size是要根據存儲的 數據大小來設定的，做者建議若是存儲不少小對象，page大小最好設置爲32或者64bytes；若是存儲很大大對象，則可使用更大的page，若是不 肯定，就使用默認值
vm-page-size 32
25. 設置swap文件中的page數量，因爲頁表（一種表示頁面空閒或使用的bitmap）是在放在內存中的，，在磁盤上每8個pages將消耗1byte的內存。
vm-pages 134217728
26. 設置訪問swap文件的線程數,最好不要超過機器的核數,若是設置爲0,那麼全部對swap文件的操做都是串行的，可能會形成比較長時間的延遲。默認值爲4
vm-max-threads 4
27. 設置在向客戶端應答時，是否把較小的包合併爲一個包發送，默認爲開啓
    glueoutputbuf yes
28. 指定在超過必定的數量或者最大的元素超過某一臨界值時，採用一種特殊的哈希算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
29. 指定是否激活重置哈希，默認爲開啓（後面在介紹Redis的哈希算法時具體介紹）
    activerehashing yes
30. 指定包含其它的配置文件，能夠在同一主機上多個Redis實例之間使用同一份配置文件，而同時各個實例又擁有本身的特定配置文件
    include /path/to/local.conf