Redis Cluster 集羣搭建

什麼是Redis-Cluster

爲什麼要搭建Redis集羣。Redis是在內存中保存數據的，而咱們的電腦通常內存都不大，這也就意味着Redis不適合存儲大數據，適合存儲大數據的是Hadoop生態系統的Hbase或者是MogoDB。Redis更適合處理高併發，一臺設備的存儲能力是頗有限的，可是多臺設備協同合做，就可讓內存增大不少倍，這就須要用到集羣。

Redis集羣搭建的方式有多種，例如使用客戶端分片、Twemproxy、Codis等，但從redis 3.0以後版本支持redis-cluster集羣，它是Redis官方提出的解決方案，Redis-Cluster採用無中心結構，每一個節點保存數據和整個集羣狀態,每一個節點都和其餘全部節點鏈接。其redis-cluster架構圖以下：

 

客戶端與 redis 節點直連,不須要中間 proxy 層.客戶端不須要鏈接集羣全部節點鏈接集羣中任何一個可用節點便可。

全部的 redis 節點彼此互聯(PING-PONG 機制),內部使用二進制協議優化傳輸速度和帶寬.

 

分佈存儲機制-槽

 

（1）redis-cluster 把全部的物理節點映射到[0-16383]slot 上,cluster 負責維護

 

node<->slot<->value

 

（2）Redis 集羣中內置了 16384 個哈希槽，當須要在 Redis 集羣中放置一個 key-value 時，redis 先對 key 使用 crc16 算法算出一個結果，而後把結果對 16384 求餘數，這樣每一個key 都會對應一個編號在 0-16383 之間的哈希槽，redis 會根據節點數量大體均等的將哈希槽映射到不一樣的節點。

 

Redis能夠無限擴展集羣嗎？固然不行，Redis最多集羣16383臺節點，只有這1萬多個節點，夠咱們用嗎？

 

號稱全球最大的Redis集羣維護商，新浪微博的工程師們曾經在多個公開場合都講到過，微博平臺當前在使用並維護着多是世界上最大的Redis集羣，其中最大的一個業務，單個業務使用了超過 10T 的內存，這裏說的就是微博關係服務。

 

全球最大的Redis集羣才用了10T數據，換算一下，按如今普通服務器都有50GB左右內存的機器，10T也就至關於: (10 * 1024)/50 =204.8，差很少205臺機器。

 

容錯機制-投票

 

（1）選舉過程是集羣中全部master參與,若是半數以上master節點與故障節點通訊超過(cluster-node-timeout),認爲該節點故障，自動觸發故障轉移操做.  故障節點對應的從節點自動升級爲主節點

 

（2）何時整個集羣不可用(cluster_state:fail)? 

 

若是集羣任意master掛掉,且當前master沒有slave.集羣進入fail狀態,也能夠理解成集羣的slot映射[0-16383]不完成時進入fail狀態. 

 

搭建要求

 

須要 6 臺 redis 服務器。搭建僞集羣。

 

須要 6 個 redis 實例。

 

配置集羣

 

（1）修改每一個redis節點的配置文件redis.conf

 

啓動後臺啓動

 

 

開啓集羣

將cluster-enabled yes 前的註釋去掉(632行)

 

啓動每一個redis實例

 

上傳redis-3.0.0.gem ，安裝 ruby用於搭建redis集羣的腳本。

 

（4）使用 ruby 腳本搭建集羣。

 

進入redis源碼目錄中的src目錄  執行下面的命令

 

./redis-trib.rb create --replicas 1 192.168.25.140:7001 192.168.25.140:7002 192.168.25.140:7003

 

192.168.25.140:7004 192.168.25.140:7005 192.168.25.140:7006

注:後面IP 端口號 寫本身節點的

 

SpringDataRedis鏈接Redis集羣

工程添加spring 配置文件

applicationContext-redis-cluster.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
  xmlns:context="http://www.springframework.org/schema/context"
  xsi:schemaLocation="http://www.springframework.org/schema/beans   
            http://www.springframework.org/schema/beans/spring-beans.xsd   
            http://www.springframework.org/schema/context   
            http://www.springframework.org/schema/context/spring-context.xsd">  
  
   <!-- 加載配置屬性文件 按需加載 -->  
   <bean id="redisClusterConfiguration" class="org.springframework.data.redis.connection.RedisClusterConfiguration">  
      <property name="maxRedirects" value="${redis.maxRedirects}"></property>  
      <property name="clusterNodes">  
         <set>  
            <bean class="org.springframework.data.redis.connection.RedisClusterNode">  
               <constructor-arg name="host" value="${redis.host1}"></constructor-arg>  
               <constructor-arg name="port" value="${redis.port1}"></constructor-arg>  
            </bean>  
            <bean class="org.springframework.data.redis.connection.RedisClusterNode">  
               <constructor-arg name="host" value="${redis.host2}"></constructor-arg>  
               <constructor-arg name="port" value="${redis.port2}"></constructor-arg>  
            </bean>  
               <bean class="org.springframework.data.redis.connection.RedisClusterNode">  
               <constructor-arg name="host" value="${redis.host3}"></constructor-arg>  
               <constructor-arg name="port" value="${redis.port3}"></constructor-arg>  
            </bean>  
            <bean class="org.springframework.data.redis.connection.RedisClusterNode">  
               <constructor-arg name="host" value="${redis.host4}"></constructor-arg>  
               <constructor-arg name="port" value="${redis.port4}"></constructor-arg>  
            </bean>  
            <bean class="org.springframework.data.redis.connection.RedisClusterNode">  
               <constructor-arg name="host" value="${redis.host5}"></constructor-arg>  
               <constructor-arg name="port" value="${redis.port5}"></constructor-arg>  
            </bean>  
            <bean class="org.springframework.data.redis.connection.RedisClusterNode">  
               <constructor-arg name="host" value="${redis.host6}"></constructor-arg>  
               <constructor-arg name="port" value="${redis.port6}"></constructor-arg>  
            </bean>  
         </set>  
      </property>  
   </bean>  
   <bean id="jedisPoolConfig"   class="redis.clients.jedis.JedisPoolConfig">  
           <property name="maxIdle" value="${redis.maxIdle}" />   
         <property name="maxTotal" value="${redis.maxTotal}" />   
   </bean>  
   <bean id="jeidsConnectionFactory_pro" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory"  >  
      <constructor-arg ref="redisClusterConfiguration" />  
      <constructor-arg ref="jedisPoolConfig" />  
   </bean>    
   <!--<bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">  
      <property name="connectionFactory" ref="jeidsConnectionFactory" />  
   </bean>  -->
</beans>添加屬性文件redis-cluster-config.properties

 

#cluster configuration redis.host1=192.168.25.128 redis.port1=7001 redis.host2=192.168.25.128 redis.port2=7002 redis.host3=192.168.25.128 redis.port3=7003 redis.host4=192.168.25.128 redis.port4=7004 redis.host5=192.168.25.128 redis.port5=7005 redis.host6=192.168.25.128 redis.port6=7006 redis.maxRedirects=3 redis.maxIdle=100 redis.maxTotal=600

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:mvc="http://www.springframework.org/schema/mvc"
xmlns:cache="http://www.springframework.org/schema/cache"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context.xsd
http://www.springframework.org/schema/mvc
http://www.springframework.org/schema/mvc/spring-mvc.xsd
http://www.springframework.org/schema/cache
http://www.springframework.org/schema/cache/spring-cache.xsd">

<context:property-placeholder location="classpath*:properties/*.properties" />

<!-- 單機版redis鏈接方式
&lt;!&ndash; redis 相關配置 &ndash;&gt;
<bean id="poolConfig" class="redis.clients.jedis.JedisPoolConfig">
<property name="maxIdle" value="${redis.maxIdle}" />
<property name="maxWaitMillis" value="${redis.maxWait}" />
<property name="testOnBorrow" value="${redis.testOnBorrow}" />
</bean>

<bean id="JedisConnectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory"
p:host-name="${redis.host}" p:port="${redis.port}" p:password="${redis.pass}" p:pool-config-ref="poolConfig"/> -->

<!--集羣版鏈接方式-->
<!-- 加載配置屬性文件 按需加載 -->
<bean id="redisClusterConfiguration" class="org.springframework.data.redis.connection.RedisClusterConfiguration">
<property name="maxRedirects" value="${redis.maxRedirects}"></property>
<property name="clusterNodes">
<set>
<bean class="org.springframework.data.redis.connection.RedisClusterNode">
<constructor-arg name="host" value="${redis.host1}"></constructor-arg>
<constructor-arg name="port" value="${redis.port1}"></constructor-arg>
</bean>
<bean class="org.springframework.data.redis.connection.RedisClusterNode">
<constructor-arg name="host" value="${redis.host2}"></constructor-arg>
<constructor-arg name="port" value="${redis.port2}"></constructor-arg>
</bean>
<bean class="org.springframework.data.redis.connection.RedisClusterNode">
<constructor-arg name="host" value="${redis.host3}"></constructor-arg>
<constructor-arg name="port" value="${redis.port3}"></constructor-arg>
</bean>
<bean class="org.springframework.data.redis.connection.RedisClusterNode">
<constructor-arg name="host" value="${redis.host4}"></constructor-arg>
<constructor-arg name="port" value="${redis.port4}"></constructor-arg>
</bean>
<bean class="org.springframework.data.redis.connection.RedisClusterNode">
<constructor-arg name="host" value="${redis.host5}"></constructor-arg>
<constructor-arg name="port" value="${redis.port5}"></constructor-arg>
</bean>
<bean class="org.springframework.data.redis.connection.RedisClusterNode">
<constructor-arg name="host" value="${redis.host6}"></constructor-arg>
<constructor-arg name="port" value="${redis.port6}"></constructor-arg>
</bean>
</set>
</property>
</bean>
<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
<property name="maxIdle" value="${redis.maxIdle}" />
<property name="maxTotal" value="${redis.maxTotal}" />
</bean>
<bean id="JedisConnectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory" >
<constructor-arg ref="redisClusterConfiguration" />
<constructor-arg ref="jedisPoolConfig" />
</bean>

<bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">
<property name="connectionFactory" ref="JedisConnectionFactory" />
</bean>

<!-- 可是RedisTemplate的key和value都將採用JDK序列化 這樣就會出現採用不一樣template保存的數據不能用同一個template刪除的問題 -->
<!--<bean id="stringRedisSerializer" class="org.springframework.data.redis.serializer.StringRedisSerializer" />
&lt;!&ndash;使用字符串方式反序列化 &ndash;&gt;
<bean id="stringHashRedisTemplate" class="org.springframework.data.redis.core.RedisTemplate">
<property name="connectionFactory" ref="JedisConnectionFactory" />
<property name="hashValueSerializer" ref="stringRedisSerializer" />
</bean>-->

<!--事務RedisTemplate對象-->
<bean id="transRedisTemplate" class="org.springframework.data.redis.core.RedisTemplate">
<property name="connectionFactory" ref="JedisConnectionFactory" />
<!--開啓事務-->
<property name="enableTransactionSupport" value="true" />
</bean>

</beans>