Redis 高可用集羣

時間 2019-11-10

標籤 redis 可用集羣欄目 Redis 简体版

原文原文鏈接

Redis 高可用集羣

Redis 的集羣主從模型是一種高可用的集羣架構。本章主要內容有：高可用集羣的搭建，Jedis鏈接集羣，新增集羣節點，刪除集羣節點，其餘配置補充說明。java

高可用集羣搭建

集羣（cluster）技術是一種較新的技術，經過集羣技術，能夠在付出較低成本的狀況下得到在性能、可靠性、靈活性方面的相對較高的收益，其任務調度則是集羣系統中的核心技術。node

Redis 3.0 以後便支持集羣。Redis 集羣中內置了 16384 個哈希槽。Redis 會根據節點數量大體均等的將哈希槽映射到不一樣的節點。
全部節點之間彼此互聯(PING-PONG機制)，當超過半數的主機認爲某臺主機掛了，則該主機就是真的掛掉了，整個集羣就不可用了。
若給集羣中的每臺主機分配多臺從機。主機掛了，從機上位，依然能正常工做。可是若集羣中超過半數的主機掛了，不管是否有從機，該集羣也是不可用的。linux

搭建前的準備工做

搭建ruby環境

redis集羣管理工具 redis-trib.rb 是依賴 ruby 環境。git

[root@itdragon ~]# yum install ruby
[root@itdragon ~]# yum install rubygems
[root@itdragon ~]# gem install redis
[root@itdragon ~]# cd redis-4.0.2/src/
[root@itdragon src]# cp redis-trib.rb /usr/local/redis-4/bin/

第一步：安裝 ruby 環境
第二步：安裝 gem 軟件包（gem是用來擴展或修改Ruby應用程序的）。參考地址：https://rubygems.org/gems/redis/versions/
第三步：在redis解壓目錄中找到 redis-trib.rb 文件，將其拷貝到啓動redis服務的目錄下，方便管理。github

可能存在的問題
1 redis requires Ruby version >= 2.2.2，解決方法以下
2 沒有/usr/local/rvm/scripts/rvm 這個目錄.多是上一步執行失敗redis

[root@itdragon ~]# ruby --version
ruby 1.8.7 (2013-06-27 patchlevel 374) [x86_64-linux]
[root@itdragon ~]# yum install curl
[root@itdragon ~]# curl -L get.rvm.io | bash -s stable
[root@itdragon ~]# source /usr/local/rvm/scripts/rvm 
[root@itdragon ~]# rvm list known
[root@itdragon ~]# rvm install 2.3.3
[root@itdragon ~]# rvm use 2.3.3
[root@itdragon ~]# gem install redis

準備六臺redis服務器

和上一章節主從複製邏輯同樣，將redis.conf文件拷貝6次，端口從6000~6005數據庫

[root@itdragon bin]# cp redis.conf redis6000.conf
[root@itdragon bin]# vim redis6000.conf  
port xxxx                           #修改端口
cluster-enabled yes                 #打開註釋，開啓集羣模式
cluster-config-file nodes-xxxx.conf #集羣的配置文件
pidfile /var/run/redis_xxxx.pid     #pidfile文件
logfile "xxxx.log"                  #日誌文件
dbfilename dump_xxxx.rdb            #rdb持久化文件
cluster-node-timeout 5000           #請求超時，單位毫秒
appendonly yes                      #開啓aof持久化方式
[root@itdragon bin]# vim start-all.sh
./redis-server redis6000.conf
./redis-server redis6001.conf
./redis-server redis6002.conf
./redis-server redis6003.conf
./redis-server redis6004.conf
./redis-server redis6005.conf
[root@itdragon bin]# chmod u+x start-all.sh
[root@itdragon bin]# ./start-all.sh 
[root@itdragon bin]# ps aux | grep redis
root     28001  0.0  0.9 145964  9696 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6000 [cluster]
root     28003  0.0  0.9 145964  9696 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6001 [cluster]
root     28008  0.0  0.9 145964  9656 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6002 [cluster]
root     28013  0.0  0.9 145964  9656 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6003 [cluster]
root     28018  0.1  0.9 145964  9652 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6004 [cluster]
root     28023  0.0  0.9 145964  9656 ?        Ssl  17:45   0:00 ./redis-server 112.74.83.71:6005 [cluster]

第一步：複製六個redis.conf 並修改相關配置，若是以爲麻煩能夠用我配置的文件：https://github.com/ITDragonBlog/daydayup/tree/master/Redis/reids.conf
第二步：新增批量開啓redis服務程序，並增長執行權限
第三步：查看六臺redis服務是否啓動成功vim

主從集羣搭建

集羣建立命令： ./redis-trib.rb create 建立集羣，--replicas 1 給每一個主機分配一個從機，後面其餘參數都是redis服務的ip:port。最後輸入yes來接受建議的配置ruby

[root@itdragon bin]# ./redis-trib.rb create --replicas 1 112.74.83.71:6000 112.74.83.71:6001 112.74.83.71:6002 112.74.83.71:6003 112.74.83.71:6004 112.74.83.71:6005
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
112.74.83.71:6000
112.74.83.71:6001
112.74.83.71:6002
Adding replica 112.74.83.71:6003 to 112.74.83.71:6000
Adding replica 112.74.83.71:6004 to 112.74.83.71:6001
Adding replica 112.74.83.71:6005 to 112.74.83.71:6002
...... #省略
Can I set the above configuration? (type 'yes' to accept): yes
...... #省略
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered. #有16384個可用的插槽提供服務說明搭建成功

[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6002 -c
112.74.83.71:6002> set testKey value
-> Redirected to slot [5203] located at 112.74.83.71:6000
OK

112.74.83.71:6000> cluster info
cluster_state:ok
......

112.74.83.71:6000> cluster nodes
0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 112.74.83.71:6002@16002 master - 0 1512035804722 3 connected 10923-16383
13ddd4c1b8c00926f61aa6daaa7fd8d87ee97830 112.74.83.71:6005@16005 slave 0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 0 1512035803720 6 connected
a3bb22e04deec2fca653c606edf5b02b819f924f 112.74.83.71:6003@16003 slave 1d4779469053930f30162e89b6711d27a112b601 0 1512035802000 4 connected
1d4779469053930f30162e89b6711d27a112b601 112.74.83.71:6000@16000 myself,master - 0 1512035802000 1 connected 0-5460
a3b99cb5d22f5cbd293179e262f5eda931733c88 112.74.83.71:6001@16001 master - 0 1512035802719 2 connected 5461-10922
915a47afc4f9b94389676b4e14f78cba66be9e5d 112.74.83.71:6004@16004 slave a3b99cb5d22f5cbd293179e262f5eda931733c88 0 1512035801717 5 connected

第一步：搭建集羣 ./redis-trib.rb create ，選擇yes接受建議的配置
第二步：進入集羣客戶端 ./redis-cli -h 任意主機host -p 任意主機port -c，-c表示以集羣方式鏈接redis
第三步：保存數據
第四步：cluster info 查詢集羣狀態信息
第五步：cluster nodes 查詢集羣結點信息，這裏有一個坑，後面會介紹bash

可能存在的問題

Sorry, the cluster configuration file nodes.conf is already used by a different Redis Cluster node. Please make sure that different nodes use different cluster configuration files.

說的很明確，修改cluster-config-file nodes.conf 文件避免重名，或者刪除該文件從新建立集羣。

cluster nodes 查詢集羣節點信息
這是很重要的命令，咱們須要關心的信息有：
第一個參數：節點ID
第二個參數：IP:PORT@TCP 這裏一個坑，jedis-2.9.0以前的版本解析@出錯
第三個參數：標誌（Master，Slave，Myself，Fail...）
第四個參數：若是是從機則是主機的節點ID
最後兩個參數：鏈接的狀態和槽的位置。

Jedis 鏈接集羣

首先要配置防火牆

[root@itdragon ~]# vim /etc/sysconfig/iptables
-A INPUT -p tcp -m tcp --dport 6000 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6001 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6002 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6003 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6004 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 6005 -j ACCEPT
[root@itdragon ~]# service iptables restart

最後是整合Spring

<!-- jedis集羣版配置 -->
<bean id="redisClient" class="redis.clients.jedis.JedisCluster">
    <constructor-arg name="nodes">
        <set>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6000" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6001" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6002" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6003" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6004" />
            </bean>
            <bean class="redis.clients.jedis.HostAndPort">
                <constructor-arg name="host" value="${redis.host}"></constructor-arg>
                <constructor-arg name="port" value="6005" />
            </bean>
        </set>
    </constructor-arg>
    <constructor-arg name="poolConfig" ref="jedisPoolConfig" />
</bean>
<bean id="jedisClientCluster" class="com.itdragon.service.impl.JedisClientCluster"></bean>

單元測試

/**
 * 集羣版測試
 * 若提示如下相似的錯誤：
 * java.lang.NumberFormatException: For input string: "6002@16002"
 * 若安裝的redis 版本大於4，則多是jedis 的版本低了。選擇 2.9.0
 * 由於 cluster nodes 打印的信息中，4版本以前的是沒有 @16002 tcp端口信息
 * 0968ef8f5ca96681da4abaaf4ca556c2e6dd0242 112.74.83.71:6002@16002 master - 0 1512035804722 3 connected 10923-16383
 */
@Test
public void testJedisCluster() throws IOException {
    HashSet<HostAndPort> nodes = new HashSet<>();
    nodes.add(new HostAndPort(HOST, 6000));
    nodes.add(new HostAndPort(HOST, 6001));
    nodes.add(new HostAndPort(HOST, 6002));
    nodes.add(new HostAndPort(HOST, 6003));
    nodes.add(new HostAndPort(HOST, 6004));
    nodes.add(new HostAndPort(HOST, 6005));
    JedisCluster cluster = new JedisCluster(nodes);
    cluster.set("cluster-key", "cluster-value");
    System.out.println("集羣測試 ： " + cluster.get("cluster-key"));
    cluster.close();
}

可能存在的問題

java.lang.NumberFormatException: For input string: "6002@16002"

若redis 的版本在4.0.0之上，建議使用jedis-2.9.0以上。

源碼：
https://github.com/ITDragonBlog/daydayup/tree/master/Redis/ssm-redis

集羣節點操做

添加主節點

[root@itdragon bin]# cp redis6005.conf redis6006.conf
[root@itdragon bin]# ./redis-server redis6006.conf
[root@itdragon bin]# ./redis-trib.rb add-node 112.74.83.71:6006 112.74.83.71:6000
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6006@16006 master - 0 1512115612162 0 connected   # 沒有分配槽
[root@itdragon bin]# ./redis-trib.rb reshard 112.74.83.71:6000
How many slots do you want to move (from 1 to 16384)? 500
What is the receiving node ID? 916d26e9638dc51e168f32969da11e19c875f48f
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1:all
Do you want to proceed with the proposed reshard plan (yes/no)? yes
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6006@16006 master - 0 1512116047897 7 connected 0-165 5461-5627 10923-11088

第一步：建立 redis6006.conf 的新主機，並啓動Redis服務
第二步：新增主機節點，若打印"[OK] New node added correctly." 表示添加成功
第三步：查詢集羣節點信息，發現6006端口的主機雖然已經添加，但鏈接狀態後面沒有內容，即沒分配槽
第四步：給6006端口主機分配槽，

第一個參數：須要移動槽的個數，
第二個參數：接受槽的節點ID，
第三個參數：輸入"all"表示從全部原節點中獲取槽，
第四個參數：輸入"yes"開始移動槽到目標結點id

第五步：查詢集羣節點信息，發現6006端口的主機已經分配了槽

核心命令：
./redis-trib.rb add-node 新增主機ip:port 集羣任意節點ip:port
./redis-trib.rb reshard 集羣任意節點ip:port

可能存在的問題
[ERR] Sorry, can't connect to node 112.74.83.71:6006
說明：新增的主機必需要是啓動狀態。

添加從節點

[root@itdragon bin]# cp redis6006.conf redis6007.conf
[root@itdragon bin]# vim redis6007.conf 
[root@itdragon bin]# ./redis-server redis6007.conf
[root@itdragon bin]# ./redis-trib.rb add-node --slave --master-id 916d26e9638dc51e168f32969da11e19c875f48f 112.74.83.71:6007 112.74.83.71:6006
[root@itdragon bin]# ./redis-cli -h 112.74.83.71 -p 6000 cluster nodes
80315a4dee2d0fa46b8ac722962567fc903e797a 112.74.83.71:6007@16007 slave 916d26e9638dc51e168f32969da11e19c875f48f 0 1512117377000 7 connected

第一步：建立 redis6007.conf 的新主機，並啓動Redis服務
第二步：新增從機節點，在原來的命令上多了 --slave --master-id 主節點ID
第三步：查詢集羣節點信息

刪除結點

刪除節點前，要確保該節點沒有值，不然提示：is not empty! Reshard data away and try again. 若該節點有值，則須要把槽分配出去

./redis-trib.rb del-node 112.74.83.71:6006 916d26e9638dc51e168f32969da11e19c875f48f

配置文件補充

前幾章Redis教程中介紹瞭如下配置
1 開啓Redis 的守護進程：daemonize yes
2 指定pid文件寫入文件名：pidfile /var/run/redis.pid
3 指定Redis 端口：port 6379
4 綁定的主機地址：bind 127.0.0.1
5 Redis持久化默認開啓壓縮數據：rdbcompression yes
6 指定rdb文件名：dbfilename dump.rdb
7 指定rdb文件位置：dir ./
8 從機啓動時，它會自動從master進行數據同步：slaveof < masterip> < masterport>
9 開啓aof持久化方式：appendonly yes
10 指定aof文件名：appendfilename appendonly.aof
11 觸發aof快照機制：appendfsync everysec (no/always)

本章節是Redis教程中的最後一章，把剩下的配置也一塊兒說了吧
1 設置客戶端鏈接超時時間，0表示關閉：timeout 300
2 設置Redis日誌級別，debug、verbose(默認)、notice、warning：loglevel verbose
3 設置數據庫的數量：databases 16
4 設置Redis鏈接密碼：requirepass foobared
5 設置同一時間最大客戶端鏈接數，默認無限制：maxclients 128
6 指定Redis最大內存限制：maxmemory < bytes>
7 指定是否啓用虛擬內存機制：vm-enabled no
8 指定虛擬內存文件路徑：vm-swap-file /tmp/redis.swap
9 指定包含其它的配置文件：include /path/to/local.conf

到這裏Redis 的教程就結束了，還有其餘知識能夠訪問官網學習。有什麼不對的地方請指正。謝謝！

更多內容可學習官網：https://redis.io/topics/cluster-tutorial