Redis集羣實現的分佈式ID是否適合作分佈式ID？

時間 2019-11-08

標籤 redis 集羣實現分佈式是否適合欄目 Redis 简体版

原文原文鏈接

首先是項目地址：html

https://github.com/maqiankun/distributed-id-redis-generatorjava

關於Redis集羣生成分佈式ID，這裏要先了解redis使用lua腳本的時候的EVAL，EVALSHA命令：node

https://www.runoob.com/redis/scripting-eval.htmlgit

https://www.runoob.com/redis/scripting-evalsha.htmlgithub

講解一下Redis實現分佈式ID的原理，這裏用java語言來說解：redis

這裏的分佈式id咱們分紅3部分組成：毫秒級時間，redis集羣的第多少個節點，每個redis節點在每一毫秒的自增序列值數據庫

而後由於window是64位的，而後整數的時候第一位必須是0，因此最大的數值就是63位的111111111111111111111111111111111111111111111111111111111111111，這裏呢，咱們分出來41位做爲毫秒，而後12位做爲redis節點的數量，而後10位作成redis節點在每一毫秒的自增序列值apache

41位的二進制11111111111111111111111111111111111111111轉換成10進制的毫秒就是2199023255551，而後咱們把 2199023255551轉換成時間就是2039-09-07，也就是說能夠用20年的安全

而後12位做爲redis節點，因此最多就是12位的111111111111，也就是最多能夠支持4095個redis節點，bash

而後10位的redis每個節點自增序列值，，這裏最多就是10位的1111111111，也就是說每個redis節點能夠每一毫秒能夠最多生成1023個不重複id值

而後咱們使用java代碼來說解這個原理，下面的1565165536640L是一個毫秒值，而後咱們的的redis節點設置成53，而後咱們設置了兩個不一樣的自增序列值，分別是1和1023，下面的結果展現的就是在1565165536640L這一毫秒裏面，53號redis節點生成了兩個不一樣的分佈式id值

package io.github.hengyunabc.redis;
import java.text.SimpleDateFormat;
import java.util.Date;
public class Test {
 public static void main(String[] args) {
 long buildId = buildId(1565165536640L, 53, 1);
 System.out.println("分佈式id是："+buildId);
 long buildIdLast = buildId(1565165536640L, 53, 1023);
 System.out.println("分佈式id是："+buildIdLast);
 }
 
 public static long buildId(long miliSecond, long shardId, long seq) {
 return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
 }
}
public class Test {
 public static void main(String[] args) {
 long buildId = buildId(1565165536640L, 53, 1);
 System.out.println("分佈式id是："+buildId);
 long buildIdLast = buildId(1565165536640L, 53, 1023);
 System.out.println("分佈式id是："+buildIdLast);
 }
 
 public static long buildId(long miliSecond, long shardId, long seq) {
 return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
 }
}
複製代碼

結果以下所示

分佈式id是：6564780070991352833
分佈式id是：6564780070991353855
複製代碼

那麼有人要說了，你這也不符合分佈式id的設置啊，徹底沒有可讀性啊，這裏咱們可使用下面的方式來獲取這個分佈式id的生成毫秒時間值，

package io.github.hengyunabc.redis;
import java.text.SimpleDateFormat;
import java.util.Date;
public class Test {
 public static void main(String[] args) {
 long buildId = buildId(1565165536640L, 53, 1);
 parseId(buildId);
 long buildIdLast = buildId(1565165536640L, 53, 1023);
 parseId(buildIdLast);
 }
 
 public static long buildId(long miliSecond, long shardId, long seq) {
 return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
 }
 public static void parseId(long id) {
 long miliSecond = id >>> 22;
 long shardId = (id & (0xFFF << 10)) >> 10;
 System.err.println("分佈式id-"+id+"生成的時間是："+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond)));
 System.err.println("分佈式id-"+id+"在第"+shardId+"號redis節點生成");
 }
}
複製代碼

這樣不就ok了，哈哈。

分佈式id-6564780070991352833生成的時間是：2019-08-07
分佈式id-6564780070991352833在第53號redis節點生成
分佈式id-6564780070991353855生成的時間是：2019-08-07
分佈式id-6564780070991353855在第53號redis節點生成
複製代碼

實現集羣版的redis的分佈式id建立

此時個人分佈式redis集羣的端口分別是6380，6381

首先是生成Evalsha命令安全sha1 校驗碼，生成過程以下，

首先是生成6380端口對應的安全sha1 校驗碼，首先進入到redis的bin目錄裏面，而後執行下面的命令下載lua腳本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua
複製代碼

而後執行下面的命令，生成6380端口對應的安全sha1 校驗碼，此時看到是be6d4e21e9113bf8af47ce72f3da18e00580d402

./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"
複製代碼

首先是生成6381端口對應的安全sha1 校驗碼，首先進入到redis的bin目錄裏面，而後執行下面的命令下載lua腳本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua
複製代碼

而後執行下面的命令，生成6381端口對應的安全sha1 校驗碼，此時看到是97f65601d0aaf1a0574da69b1ff3092969c4310e

./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"
複製代碼

而後咱們就使用上面的sha1 校驗碼和下面的代碼來生成分佈式id

項目圖片以下

IdGenerator類的代碼以下所示

package io.github.hengyunabc.redis;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.lang3.tuple.Pair;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.exceptions.JedisConnectionException;
public class IdGenerator {
 /**
 * JedisPool, luaSha
 */
 List<Pair<JedisPool, String>> jedisPoolList;
 int retryTimes;
 int index = 0;
 private IdGenerator(List<Pair<JedisPool, String>> jedisPoolList,
 int retryTimes) {
 this.jedisPoolList = jedisPoolList;
 this.retryTimes = retryTimes;
 }
 static public IdGeneratorBuilder builder() {
 return new IdGeneratorBuilder();
 }
 static class IdGeneratorBuilder {
 List<Pair<JedisPool, String>> jedisPoolList = new ArrayList();
 int retryTimes = 5;
 public IdGeneratorBuilder addHost(String host, int port, String luaSha) {
 jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha));
 return this;
 }
 public IdGenerator build() {
 return new IdGenerator(jedisPoolList, retryTimes);
 }
 }
 public long next(String tab) {
 for (int i = 0; i < retryTimes; ++i) {
 Long id = innerNext(tab);
 if (id != null) {
 return id;
 }
 }
 throw new RuntimeException("Can not generate id!");
 }
 Long innerNext(String tab) {
 index++;
 int i = index % jedisPoolList.size();
 Pair<JedisPool, String> pair = jedisPoolList.get(i);
 JedisPool jedisPool = pair.getLeft();
 String luaSha = pair.getRight();
 Jedis jedis = null;
 try {
 jedis = jedisPool.getResource();
 List<Long> result = (List<Long>) jedis.evalsha(luaSha, 2, tab, ""
 + i);
 long id = buildId(result.get(0), result.get(1), result.get(2),
 result.get(3));
 return id;
 } catch (JedisConnectionException e) {
 if (jedis != null) {
 jedisPool.returnBrokenResource(jedis);
 }
 } finally {
 if (jedis != null) {
 jedisPool.returnResource(jedis);
 }
 }
 return null;
 }
 public static long buildId(long second, long microSecond, long shardId,
 long seq) {
 long miliSecond = (second * 1000 + microSecond / 1000);
 return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
 }
 public static List<Long> parseId(long id) {
 long miliSecond = id >>> 22;
 long shardId = (id & (0xFFF << 10)) >> 10;
 List<Long> re = new ArrayList<Long>(4);
 re.add(miliSecond);
 re.add(shardId);
 return re;
 }
}
複製代碼

Example的代碼以下所示，下面的while循環的目的就是爲了打印多個分佈式id，下面的tab變量就是evalsha命令裏面的參數，能夠根據本身的需求來定義

package io.github.hengyunabc.redis;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;
public class Example {
 public static void main(String[] args) {
 String tab = "這個就是evalsha命令裏面的參數，隨便定義";
 IdGenerator idGenerator = IdGenerator.builder()
 .addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402")
 .addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e")
 .build();
 int hello = 0;
 while (hello<3){
 long id = idGenerator.next(tab);
 System.out.println("分佈式id值:" + id);
 List<Long> result = IdGenerator.parseId(id);
 System.out.println("分佈式id生成的時間是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) );
 System.out.println("redis節點:" + result.get(1));
 hello++;
 }
 }
}
複製代碼

此時打印結果以下所示

分佈式id值:6564819854640022531
分佈式id生成的時間是:2019-08-07
redis節點:1
分佈式id值:6564819855189475330
分佈式id生成的時間是:2019-08-07
redis節點:0
分佈式id值:6564819855361442819
分佈式id生成的時間是:2019-08-07
redis節點:1
複製代碼

到這裏redis集羣版的分佈式id就算搞定了，完美؏؏☝ᖗ乛◡乛ᖘ☝؏؏

Redis集羣實現的分佈式id是否適合作分佈式id呢？

我以爲Redis集羣實現分佈式ID是能夠供咱們開發中的基本使用的，可是我仍是以爲它有下面的兩個問題：

1：這裏咱們能夠給上一篇的數據庫自增ID機制進行對比，其實Redis集羣能夠說是解決了數據庫集羣建立分佈式ID的性能問題，可是Redis集羣系統水平擴展仍是比較困難，若是之後想對Redis集羣增長Redis節點的話，仍是會和數據庫集羣的節點擴展同樣麻煩。

2：還有就是若是你的項目裏面沒有使用Redis，那麼你就要引入新的組件，這也是一個比較麻煩的問題。