Linux下，redis 3.2.1多節點集羣安裝部署

1、概述

Redis3.0版本以後支持Cluster.

1.一、redis cluster的現狀

　　目前redis支持的cluster特性：

　　1):節點自動發現

　　2):slave->master 選舉,集羣容錯

　　3):Hot resharding:在線分片

　　4):進羣管理:cluster xxx

　　5):基於配置(nodes-port.conf)的集羣管理

　　6):ASK 轉向/MOVED 轉向機制.

1.二、redis cluster 架構

　　1)redis-cluster架構圖

        架構細節:

　　    (1)全部的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.

　　    (2)節點的fail是經過集羣中超過半數的節點檢測失效時才生效.

　　    (3)客戶端與redis節點直連,不須要中間proxy層.客戶端不須要鏈接集羣全部節點,鏈接集羣中任何一個可用節點便可

　　    (4)redis-cluster把全部的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value

　　2) redis-cluster選舉:容錯

        (1)領着選舉過程是集羣中全部master參與,若是半數以上master節點與master節點通訊超過(cluster-node-timeout),認爲當前master節點掛掉.

　　  (2)何時整個集羣不可用(cluster_state:fail),當集羣不可用時,全部對集羣的操做作都不可用，收到((error) CLUSTERDOWN The cluster is down)錯誤

　　    a:若是集羣任意master掛掉,且當前master沒有slave.集羣進入fail狀態,也能夠理解成進羣的slot映射[0-16383]不完成時進入fail狀態.

　　    b:若是進羣超過半數以上master掛掉，不管是否有slave集羣進入fail狀態.

2、redis cluster安裝

一、下載和解包

cd /usr/local/
wget -P /usr/local/ http://download.redis.io/releases/redis-3.2.1.tar.gz
tar -zxvf /redis-3.2.1.tar.gz

二、 編譯安裝

cd redis-3.2.1
make && make install

三、建立redis節點

測試咱們選擇2臺服務器，分別爲：192.168.1.237，192.168.1.238.每分服務器有3個節點。

我先在192.168.1.237建立3個節點：

cd /usr/local/
mkdir redis_cluster  ###建立集羣目錄
mkdir 7000 7001 7002  ###分別表明三個節點，其對應端口 7000 7001 7002
###建立7000節點爲例，拷貝到7000目錄
cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7000/   
###拷貝到7001目錄
cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7001/   
###拷貝到7002目錄
cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7002/

分別對7001，700二、7003文件夾中的3個文件修改對應的配置

daemonize yes                             ###redis後臺運行
pidfile /var/run/redis_7000.pid           ###pidfile文件對應7000,7002,7003
port 7000                                 ###端口7000,7002,7003
cluster-enabled yes                       ###開啓集羣  把註釋#去掉
cluster-config-file nodes_7000.conf       ###集羣的配置  配置文件首次啓動自動生成 7000,7001,7002
cluster-node-timeout 5000                 ###請求超時  設置5秒夠了
appendonly yes                            ###aof日誌開啓  有須要就開啓，它會每次寫操做都記錄一條日誌

在192.168.1.238建立3個節點：對應的端口改成7003,7004,7005.配置對應的改一下就能夠了。

四、兩臺機啓動各節點(兩臺服務器方式同樣)

cd /usr/local
redis-server  redis_cluster/7000/redis.conf
redis-server  redis_cluster/7001/redis.conf
redis-server  redis_cluster/7002/redis.conf
redis-server  redis_cluster/7003/redis.conf
redis-server  redis_cluster/7004/redis.conf
redis-server  redis_cluster/7005/redis.conf

五、查看服務

ps -ef | grep redis         #查看是否啓動成功

netstat -tnlp | grep redis  #能夠看到redis監聽端口

3、建立集羣

前面已經準備好了搭建集羣的redis節點，接下來咱們要把這些節點都串連起來搭建集羣。官方提供了一個工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看後綴就知道這鳥東西不能直接執行，它是用ruby寫的一個程序，因此咱們還得安裝ruby.

yum -y install ruby ruby-devel rubygems rpm-build

再用 gem 這個命令來安裝 redis接口 gem是ruby的一個工具包.

gem install redis    ###等一下子就行了，固然，方便操做，兩臺Server都要安裝。

上面的步驟完事了，接下來運行一下redis-trib.rb

/usr/local/redis-3.2.1/src/redis-trib.rb 

   Usage: redis-trib <command> <options> <arguments ...>
 
   reshard        host:port
                  --to <arg>
                  --yes
                  --slots <arg>
                  --from <arg>
  check          host:port
  call            host:port command arg arg .. arg
  set-timeout    host:port milliseconds
  add-node        new_host:new_port existing_host:existing_port
                  --master-id <arg>
                  --slave
  del-node        host:port node_id
  fix            host:port
  import          host:port
                  --from <arg>
  help            (show this help)
  create          host1:port1 ... hostN:portN
                  --replicas <arg>
 
For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

看到這，應該明白了吧， 就是靠上面這些操做 完成redis集羣搭建的.

確認全部的節點都啓動，接下來使用參數create 建立 (在192.168.1.237中來建立)

/usr/local/redis-3.2.1/src/redis-trib.rb  create  --replicas  1  192.168.1.237:7000 192.168.1.237:7001  192.168.1.237:7003 192.168.1.238:7003  192.168.1.238:7004  192.168.1.238:7005

解釋下， --replicas 1 表示 自動爲每個master節點分配一個slave節點 上面有6個節點，程序會按照必定規則生成 3個master（主）3個slave(從)

前面已經提醒過的 防火牆必定要開放監聽的端口，不然會建立失敗。

運行中，提示

Can I set the above configuration? (type 'yes' to accept): yes      ###輸入yes

接下來，提示

Waiting for the cluster to join..........

安裝的時候在這裏就一直等等等，沒反應，看這句提示上面，有行說明

Sending Cluster Meet Message to join the Cluster.

這下明白了，我剛開始在一臺Server上去配，也是不須要等的，這裏還須要跑到Server2上作一些這樣的操做。

在192.168.1.238, redis-cli -c -p 700* 分別進入redis各節點的客戶端命令窗口， 依次輸入 cluster meet 192.168.1.238 7000……

回到Server1，已經建立完畢了。

查看一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000

到這裏集羣已經初步搭建好了。

4、測試

1）get 和 set數據

redis-cli -c -p 7000

進入命令窗口，直接 set hello howareyou

直接根據hash匹配切換到相應的slot的節點上。

仍是要說明一下，redis集羣有16383個slot組成，經過分片分佈到多個節點上，讀寫都發生在master節點。

2）假設測試

果斷先把192.168.1.238服務Down掉，（192.168.1.238有1個Master, 2個Slave） , 跑回192.168.1.238, 查看一下 發生了什麼事，192.168.1.237的3個節點所有都是Master，其餘幾個Server2的不見了

測試一下，依然沒有問題，集羣依然能繼續工做。

緣由： redis集羣 經過選舉方式進行容錯，保證一臺Server掛了還能跑，這個選舉是所有集羣超過半數以上的Master發現其餘Master掛了後，會將其餘對應的Slave節點升級成Master.

疑問： 要是掛的是192.168.1.237怎麼辦？ 哥試了，cluster is down!! 沒辦法，超過半數掛了那救不了了，整個集羣就沒法工做了。 要是有三臺Server，每臺兩Master，切記對應的主從節點

不要放在一臺Server,別問我爲何本身用腦子想一想看，互相交叉配置主從，掛哪臺也沒事，你要說同時兩臺crash了，呵呵噠......

3）關於一致性

我尚未這麼大膽拿redis來作數據庫持久化哥網站數據，只是拿來作cache，官網說的很清楚，Redis Cluster is not able to guarantee strong consistency.

5、安裝遇到的問題

一、

　　CC adlist.o
　　/bin/sh: cc: command not found
　　make[1]: *** [adlist.o] Error 127
　　make[1]: Leaving directory `/usr/local/redis-3.2.1/src
　　make: *** [all] Error 2

解決辦法：GCC沒有安裝或版本不對，安裝一下

yum  install  gcc

二、

　　zmalloc.h:50:31:
　　error: jemalloc/jemalloc.h: No such file or directory
　　zmalloc.h:55:2: error:

　　#error "Newer version of jemalloc required"
　　make[1]: *** [adlist.o] Error
　　1
　　make[1]: Leaving directory `/data0/src/redis-2.6.2/src
　　make: *** [all]
　　Error 2

解決辦法：緣由是沒有安裝jemalloc內存分配器，能夠安裝jemalloc 或 直接輸入

make MALLOC=libc && make install