Redis 3.2.1集羣搭建

1、概述

    Redis3.0版本以後支持Cluster.

1.一、redis cluster的現狀

 　　目前redis支持的cluster特性：

　　1):節點自動發現

　　2):slave->master 選舉,集羣容錯

　　3):Hot resharding:在線分片

　　4):進羣管理:cluster xxx

　　5):基於配置(nodes-port.conf)的集羣管理

　　6):ASK 轉向/MOVED 轉向機制.

1.二、redis cluster 架構

　　1)redis-cluster架構圖

　　架構細節:

　　(1)全部的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.

　　(2)節點的fail是經過集羣中超過半數的節點檢測失效時才生效.

　　(3)客戶端與redis節點直連,不須要中間proxy層.客戶端不須要鏈接集羣全部節點,鏈接集羣中任何一個可用節點便可

　　(4)redis-cluster把全部的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value

 

   2) redis-cluster選舉:容錯

　　(1)領着選舉過程是集羣中全部master參與,若是半數以上master節點與master節點通訊超過(cluster-node-timeout),認爲當前master節點掛掉.

　　(2):何時整個集羣不可用(cluster_state:fail),當集羣不可用時,全部對集羣的操做作都不可用，收到((error) CLUSTERDOWN The cluster is down)錯誤

    　　a:若是集羣任意master掛掉,且當前master沒有slave.集羣進入fail狀態,也能夠理解成進羣的slot映射[0-16383]不完成時進入fail狀態.

    　　b:若是進羣超過半數以上master掛掉，不管是否有slave集羣進入fail狀態.

 

2、redis cluster安裝

    一、下載和解包

1 2 3

cd /usr/local/ wget http://download.redis.io/releases/redis-3.2.1.tar.gz tar -zxvf /redis-3.2.1.tar.gz

　二、 編譯安裝

cd redis-3.2.1
 make && make install

  三、建立redis節點

     測試咱們選擇2臺服務器，分別爲：192.168.1.237，192.168.1.238.每分服務器有3個節點。

  我先在192.168.1.237建立3個節點：

cd /usr/local/
  mkdir redis_cluster  //建立集羣目錄
  mkdir 7000 7001 7002  //分別表明三個節點    其對應端口 7000 7001 7002
 //建立7000節點爲例，拷貝到7000目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7000/   
 //拷貝到7001目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7001/   
 //拷貝到7002目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7002/

   分別對7001，700二、7003文件夾中的3個文件修改對應的配置

daemonize    yes                          //redis後臺運行
pidfile  /var/run/redis_7000.pid          //pidfile文件對應7000,7002,7003
port  7000                                //端口7000,7002,7003
cluster-enabled  yes                      //開啓集羣  把註釋#去掉
cluster-config-file  nodes_7000.conf      //集羣的配置  配置文件首次啓動自動生成 7000,7001,7002
cluster-node-timeout  5000                //請求超時  設置5秒夠了
appendonly  yes                           //aof日誌開啓  有須要就開啓，它會每次寫操做都記錄一條日誌

   在192.168.1.238建立3個節點：對應的端口改成7003,7004,7005.配置對應的改一下就能夠了。

   四、兩臺機啓動各節點(兩臺服務器方式同樣)

cd /usr/local
redis-server  redis_cluster/7000/redis.conf
redis-server  redis_cluster/7001/redis.conf
redis-server  redis_cluster/7002/redis.conf
redis-server  redis_cluster/7003/redis.conf
redis-server  redis_cluster/7004/redis.conf
redis-server  redis_cluster/7005/redis.conf

   五、查看服務

      ps -ef | grep redis   #查看是否啓動成功

     netstat -tnlp | grep redis #能夠看到redis監聽端口

3、建立集羣

  前面已經準備好了搭建集羣的redis節點，接下來咱們要把這些節點都串連起來搭建集羣。官方提供了一個工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看後綴就知道這鳥東西不能直接執行，它是用ruby寫的一個程序，因此咱們還得安裝ruby.

yum -y install ruby ruby-devel rubygems rpm-build

  再用 gem 這個命令來安裝 redis接口    gem是ruby的一個工具包.

gem install redis    //等一下子就行了
固然，方便操做，兩臺Server都要安裝。

  上面的步驟完事了，接下來運行一下redis-trib.rb

/usr/local/redis-3.2.1/src/redis-trib.rb

   Usage: redis-trib <command> <options> <arguments ...>

   reshard        host:port
                  --to <arg>
                  --yes
                  --slots <arg>
                  --from <arg>
  check          host:port
  call            host:port command arg arg .. arg
  set-timeout    host:port milliseconds
  add-node        new_host:new_port existing_host:existing_port
                  --master-id <arg>
                  --slave
  del-node        host:port node_id
  fix            host:port
  import          host:port
                  --from <arg>
  help            (show this help)
  create          host1:port1 ... hostN:portN
                  --replicas <arg>

For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

     看到這，應該明白了吧， 就是靠上面這些操做 完成redis集羣搭建的.

 確認全部的節點都啓動，接下來使用參數create 建立 (在192.168.1.237中來建立)

/usr/local/redis-3.2.1/src/redis-trib.rb  create  --replicas  1  192.168.1.237:7000 192.168.1.237:7001  192.168.1.237:7003 192.168.1.238:7003  192.168.1.238:7004  192.168.1.238:7005

    解釋下， --replicas  1  表示 自動爲每個master節點分配一個slave節點    上面有6個節點，程序會按照必定規則生成 3個master（主）3個slave(從)

    前面已經提醒過的 防火牆必定要開放監聽的端口，不然會建立失敗。

 運行中，提示Can I set the above configuration? (type 'yes' to accept): yes    //輸入yes

 接下來 提示  Waiting for the cluster to join..........  安裝的時候在這裏就一直等等等，沒反應，傻傻等半天，看這句提示上面一句，Sending Cluster Meet Message to join the Cluster.

    這下明白了，我剛開始在一臺Server上去配，也是不須要等的，這裏還須要跑到Server2上作一些這樣的操做。

    在192.168.1.238, redis-cli -c -p 700*  分別進入redis各節點的客戶端命令窗口， 依次輸入 cluster meet 192.168.1.238 7000……

    回到Server1，已經建立完畢了。

    查看一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000

    到這裏集羣已經初步搭建好了。

 

4、測試

1）get 和 set數據

    redis-cli -c -p 7000

    進入命令窗口，直接 set  hello  howareyou

    直接根據hash匹配切換到相應的slot的節點上。

    仍是要說明一下，redis集羣有16383個slot組成，經過分片分佈到多個節點上，讀寫都發生在master節點。

  2）假設測試

    果斷先把192.168.1.238服務Down掉，（192.168.1.238有1個Master, 2個Slave） ,  跑回192.168.1.238, 查看一下 發生了什麼事，192.168.1.237的3個節點所有都是Master，其餘幾個Server2的不見了

    測試一下，依然沒有問題，集羣依然能繼續工做。

    緣由：  redis集羣  經過選舉方式進行容錯，保證一臺Server掛了還能跑，這個選舉是所有集羣超過半數以上的Master發現其餘Master掛了後，會將其餘對應的Slave節點升級成Master.

    疑問： 要是掛的是192.168.1.237怎麼辦？    哥試了，cluster is down!!    沒辦法，超過半數掛了那救不了了，整個集羣就沒法工做了。 要是有三臺Server，每臺兩Master，切記對應的主從節點

            不要放在一臺Server,別問我爲何本身用腦子想一想看，互相交叉配置主從，掛哪臺也沒事，你要說同時兩臺crash了，呵呵噠......

  3）關於一致性

    我尚未這麼大膽拿redis來作數據庫持久化哥網站數據，只是拿來作cache，官網說的很清楚，Redis Cluster is not able to guarantee strong consistency. 

 

測試集羣

[root@master hadoop]# /usr/local/bin/redis-cli -h 192.168.56.101 -p 6380

192.168.56.101:6380> keys *

(empty list or set)

192.168.56.101:6380> set k1 123

(error) MOVED 12706 192.168.56.101:6382

由於k1的hash槽信息是在6382上，如今使用redis-cli鏈接的6380，沒法完成set操做，須要客戶端跟蹤重定向，使用-c參數

[root@master hadoop]# /usr/local/bin/redis-cli -h 192.168.56.101 -p 6380 -c

192.168.56.101:6380> set k1 123

-> Redirected to slot [12706] located at 192.168.56.101:6382

OK

 

獲取數據

k1的hash槽信息在6382上，在6382上能夠直接獲取，在其餘節點仍是要重定向去獲取

[root@master hadoop]# /usr/local/bin/redis-cli -h 192.168.56.101 -p 6380 -c

192.168.56.101:6380> get k1

-> Redirected to slot [12706] located at 192.168.56.101:6382

"123"

[root@master hadoop]# /usr/local/bin/redis-cli -h 192.168.56.101 -p 6382 -c

192.168.56.101:6382> get k1

"123"

 

 5、安裝遇到的問題

     一、

　　CC adlist.o
　　/bin/sh: cc: command not found
　　make[1]: *** [adlist.o] Error 127
　　make[1]: Leaving directory `/usr/local/redis-3.2.1/src
　　make: *** [all] Error 2

     解決辦法：GCC沒有安裝或版本不對，安裝一下

yum  install  gcc

   二、

　　zmalloc.h:50:31:
　　error: jemalloc/jemalloc.h: No such file or directory
　　zmalloc.h:55:2: error:

　　#error "Newer version of jemalloc required"
　　make[1]: *** [adlist.o] Error
　　1
　　make[1]: Leaving directory `/data0/src/redis-2.6.2/src
　　make: *** [all]
　　Error 2

    解決辦法：緣由是沒有安裝jemalloc內存分配器，能夠安裝jemalloc 或 直接

     輸入make MALLOC=libc  && make install

記住該記住的,忘記該忘記的,改變能改變的,接受不能改變的!