分佈式惟一ID系列（4）——Redis集羣實現的分佈式ID適合作分佈式ID嗎

時間 2020-05-24

標籤分佈式惟一系列 redis 集羣實現適合欄目系統架構简体版

原文原文鏈接

首先是項目地址：

https://github.com/maqiankun/distributed-id-redis-generatorhtml

關於Redis集羣生成分佈式ID，這裏要先了解redis使用lua腳本的時候的EVAL，EVALSHA命令：

https://www.runoob.com/redis/scripting-eval.html https://www.runoob.com/redis/scripting-evalsha.htmljava

講解一下Redis實現分佈式ID的原理，這裏用java語言來說解：

這裏的分佈式id咱們分紅3部分組成：毫秒級時間，redis集羣的第多少個節點，每個redis節點在每一毫秒的自增序列值node

而後由於window是64位的，而後整數的時候第一位必須是0，因此最大的數值就是63位的111111111111111111111111111111111111111111111111111111111111111，這裏呢，咱們分出來41位做爲毫秒，而後12位做爲redis節點的數量，而後10位作成redis節點在每一毫秒的自增序列值git

41位的二進制11111111111111111111111111111111111111111轉換成10進制的毫秒就是2199023255551，而後咱們把 2199023255551轉換成時間就是2039-09-07，也就是說能夠用20年的而後12位做爲redis節點，因此最多就是12位的111111111111，也就是最多能夠支持4095個redis節點，而後10位的redis每個節點自增序列值，，這裏最多就是10位的1111111111，也就是說每個redis節點能夠每一毫秒能夠最多生成1023個不重複id值github

而後咱們使用java代碼來說解這個原理，下面的1565165536640L是一個毫秒值，而後咱們的的redis節點設置成53，而後咱們設置了兩個不一樣的自增序列值，分別是1和1023，下面的結果展現的就是在1565165536640L這一毫秒裏面，53號redis節點生成了兩個不一樣的分佈式id值redis

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;


public class Test {

	public static void main(String[] args) {
		long buildId = buildId(1565165536640L, 53, 1);
		System.out.println("分佈式id是："+buildId);
		long buildIdLast = buildId(1565165536640L, 53, 1023);
		System.out.println("分佈式id是："+buildIdLast);
	}
	
	public static long buildId(long miliSecond, long shardId, long seq) {
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}


}
public class Test {

	public static void main(String[] args) {
		long buildId = buildId(1565165536640L, 53, 1);
		System.out.println("分佈式id是："+buildId);
		long buildIdLast = buildId(1565165536640L, 53, 1023);
		System.out.println("分佈式id是："+buildIdLast);
	}
	
	public static long buildId(long miliSecond, long shardId, long seq) {
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}


}

結果以下所示算法

分佈式id是：6564780070991352833
分佈式id是：6564780070991353855

那麼有人要說了，你這也不符合分佈式id的設置啊，徹底沒有可讀性啊，這裏咱們可使用下面的方式來獲取這個分佈式id的生成毫秒時間值，shell

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;

public class Test {

	public static void main(String[] args) {
		long buildId = buildId(1565165536640L, 53, 1);
		parseId(buildId);
		long buildIdLast = buildId(1565165536640L, 53, 1023);
		parseId(buildIdLast);
	}
	
	public static long buildId(long miliSecond, long shardId, long seq) {
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}

	public static void parseId(long id) {
		long miliSecond = id >>> 22;
		long shardId = (id & (0xFFF << 10)) >> 10;
		System.err.println("分佈式id-"+id+"生成的時間是："+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond)));
		System.err.println("分佈式id-"+id+"在第"+shardId+"號redis節點生成");
	}

}

這樣不就ok了，哈哈。數據庫

分佈式id-6564780070991352833生成的時間是：2019-08-07
分佈式id-6564780070991352833在第53號redis節點生成
分佈式id-6564780070991353855生成的時間是：2019-08-07
分佈式id-6564780070991353855在第53號redis節點生成

實現集羣版的redis的分佈式id建立

此時個人分佈式redis集羣的端口分別是6380，6381 首先是生成Evalsha命令安全sha1 校驗碼，生成過程以下，首先是生成6380端口對應的安全sha1 校驗碼，首先進入到redis的bin目錄裏面，而後執行下面的命令下載lua腳本apache

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua

而後執行下面的命令，生成6380端口對應的安全sha1 校驗碼，此時看到是be6d4e21e9113bf8af47ce72f3da18e00580d402

./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"

首先是生成6381端口對應的安全sha1 校驗碼，首先進入到redis的bin目錄裏面，而後執行下面的命令下載lua腳本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua

而後執行下面的命令，生成6381端口對應的安全sha1 校驗碼，此時看到是97f65601d0aaf1a0574da69b1ff3092969c4310e

./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"

而後咱們就使用上面的sha1 校驗碼和下面的代碼來生成分佈式id

項目圖片以下

IdGenerator類的代碼以下所示

package io.github.hengyunabc.redis;

import java.util.ArrayList;
import java.util.List;

import org.apache.commons.lang3.tuple.Pair;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.exceptions.JedisConnectionException;

public class IdGenerator {
	/**
	 * JedisPool, luaSha
	 */
	List<Pair<JedisPool, String>> jedisPoolList;
	int retryTimes;

	int index = 0;

	private IdGenerator(List<Pair<JedisPool, String>> jedisPoolList,
			int retryTimes) {
		this.jedisPoolList = jedisPoolList;
		this.retryTimes = retryTimes;
	}

	static public IdGeneratorBuilder builder() {
		return new IdGeneratorBuilder();
	}

	static class IdGeneratorBuilder {
		List<Pair<JedisPool, String>> jedisPoolList = new ArrayList();
		int retryTimes = 5;

		public IdGeneratorBuilder addHost(String host, int port, String luaSha) {
			jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha));
			return this;
		}

		public IdGenerator build() {
			return new IdGenerator(jedisPoolList, retryTimes);
		}
	}

	public long next(String tab) {
		for (int i = 0; i < retryTimes; ++i) {
			Long id = innerNext(tab);
			if (id != null) {
				return id;
			}
		}
		throw new RuntimeException("Can not generate id!");
	}

	Long innerNext(String tab) {
		index++;
		int i = index % jedisPoolList.size();
		Pair<JedisPool, String> pair = jedisPoolList.get(i);
		JedisPool jedisPool = pair.getLeft();

		String luaSha = pair.getRight();
		Jedis jedis = null;
		try {
			jedis = jedisPool.getResource();
			List<Long> result = (List<Long>) jedis.evalsha(luaSha, 2, tab, ""
					+ i);
			long id = buildId(result.get(0), result.get(1), result.get(2),
					result.get(3));
			return id;
		} catch (JedisConnectionException e) {
			if (jedis != null) {
				jedisPool.returnBrokenResource(jedis);
			}
		} finally {
			if (jedis != null) {
				jedisPool.returnResource(jedis);
			}
		}
		return null;
	}

	public static long buildId(long second, long microSecond, long shardId,
			long seq) {
		long miliSecond = (second * 1000 + microSecond / 1000);
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}

	public static List<Long> parseId(long id) {
		long miliSecond = id >>> 22;
		long shardId = (id & (0xFFF << 10)) >> 10;

		List<Long> re = new ArrayList<Long>(4);
		re.add(miliSecond);
		re.add(shardId);
		return re;
	}
}

Example的代碼以下所示，下面的while循環的目的就是爲了打印多個分佈式id，下面的tab變量就是evalsha命令裏面的參數，能夠根據本身的需求來定義

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;

public class Example {

	public static void main(String[] args) {
		String tab = "這個就是evalsha命令裏面的參數，隨便定義";

		IdGenerator idGenerator = IdGenerator.builder()
				.addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402")
				.addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e")
				.build();
		int hello = 0;
        while (hello<3){
            long id = idGenerator.next(tab);

            System.out.println("分佈式id值:" + id);
            List<Long> result = IdGenerator.parseId(id);

            System.out.println("分佈式id生成的時間是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) );
            System.out.println("redis節點:" + result.get(1));
            hello++;
        }

	}
}

此時打印結果以下所示

分佈式id值:6564819854640022531
分佈式id生成的時間是:2019-08-07
redis節點:1
分佈式id值:6564819855189475330
分佈式id生成的時間是:2019-08-07
redis節點:0
分佈式id值:6564819855361442819
分佈式id生成的時間是:2019-08-07
redis節點:1

到這裏redis集羣版的分佈式id就算搞定了，完美؏؏☝ᖗ乛◡乛ᖘ☝؏؏

Redis集羣實現的分佈式id是否適合作分佈式id呢？

我以爲Redis集羣實現分佈式ID是能夠供咱們開發中的基本使用的，可是我仍是以爲它有下面的兩個問題：

1：這裏咱們能夠給上一篇的數據庫自增ID機制進行對比，其實Redis集羣能夠說是解決了數據庫集羣建立分佈式ID的性能問題，可是Redis集羣系統水平擴展仍是比較困難，若是之後想對Redis集羣增長Redis節點的話，仍是會和數據庫集羣的節點擴展同樣麻煩。 2：還有就是若是你的項目裏面沒有使用Redis，那麼你就要引入新的組件，這也是一個比較麻煩的問題。

原文連接

其餘分佈式ID系列快捷鍵：分佈式ID系列（1）——爲何須要分佈式ID以及分佈式ID的業務需求分佈式ID系列（2）——UUID適合作分佈式ID嗎分佈式ID系列（3）——數據庫自增ID機制適合作分佈式ID嗎分佈式ID系列（4）——Redis集羣實現的分佈式ID適合作分佈式ID嗎分佈式ID系列（5）——Twitter的雪法算法Snowflake適合作分佈式ID嗎

原文出處：https://www.cnblogs.com/itqiankun/p/11319994.html