Twitter的分佈式雪花算法 SnowFlake 每秒自增生成26個萬個可排序的ID (Java版)

時間 2019-12-05

標籤分佈式雪花算法 snowflake 每秒增生萬個排序 java 欄目系統架構简体版

原文原文鏈接

概述

分佈式系統中，有一些須要使用全局惟一ID的場景，這種時候爲了防止ID衝突可使用36位的UUID，可是UUID有一些缺點，首先他相對比較長，另外UUID通常是無序的。java

有些時候咱們但願能使用一種簡單一些的ID，而且但願ID可以按照時間有序生成。git

而twitter的SnowFlake解決了這種需求，最初Twitter把存儲系統從MySQL遷移到Cassandra，由於Cassandra沒有順序ID生成機制，因此開發了這樣一套全局惟一ID生成服務。github

原理

Twitter的雪花算法SnowFlake，使用Java語言實現。算法

SnowFlake算法產生的ID是一個64位的整型，結構以下（每一部分用「-」符號分隔）：spring

0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000
複製代碼

1位標識部分，在java中因爲long的最高位是符號位，正數是0，負數是1，通常生成的ID爲正數，因此爲0；數據庫

41位時間戳部分，這個是毫秒級的時間，通常實現上不會存儲當前的時間戳，而是時間戳的差值（當前時間-固定的開始時間），這樣可使產生的ID從更小值開始；41位的時間戳可使用69年，(1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69年；bash

10位節點部分，Twitter實現中使用前5位做爲數據中心標識，後5位做爲機器標識，能夠部署1024個節點；less

12位序列號部分，支持同一毫秒內同一個節點能夠生成4096個ID；分佈式

SnowFlake算法生成的ID大體上是按照時間遞增的，用在分佈式系統中時，須要注意數據中心標識和機器標識必須惟一，這樣就能保證每一個節點生成的ID都是惟一的。或許咱們不必定都須要像上面那樣使用5位做爲數據中心標識，5位做爲機器標識，能夠根據咱們業務的須要，靈活分配節點部分，如：若不須要數據中心，徹底可使用所有10位做爲機器標識；若數據中心很少，也能夠只使用3位做爲數據中心，7位做爲機器標識。spring-boot

snowflake生成的ID總體上按照時間自增排序，而且整個分佈式系統內不會產生ID碰撞（由datacenter和workerId做區分），而且效率較高。聽說：snowflake每秒可以產生26萬個ID。

源碼

本機實測：100萬個ID 耗時5秒

/** * 描述: Twitter的分佈式自增ID雪花算法snowflake (Java版) * https://github.com/souyunku/SnowFlake * * @author yanpenglei * @create 2018-03-13 12:37 **/
public class SnowFlake {

    /** * 起始的時間戳 */
    private final static long START_STMP = 1480166465631L;

    /** * 每一部分佔用的位數 */
    private final static long SEQUENCE_BIT = 12; //序列號佔用的位數
    private final static long MACHINE_BIT = 5;   //機器標識佔用的位數
    private final static long DATACENTER_BIT = 5;//數據中心佔用的位數

    /** * 每一部分的最大值 */
    private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT);
    private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
    private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);

    /** * 每一部分向左的位移 */
    private final static long MACHINE_LEFT = SEQUENCE_BIT;
    private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    private final static long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT;

    private long datacenterId;  //數據中心
    private long machineId;     //機器標識
    private long sequence = 0L; //序列號
    private long lastStmp = -1L;//上一次時間戳

    public SnowFlake(long datacenterId, long machineId) {
        if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) {
            throw new IllegalArgumentException("datacenterId can't be greater than MAX_DATACENTER_NUM or less than 0");
        }
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            throw new IllegalArgumentException("machineId can't be greater than MAX_MACHINE_NUM or less than 0");
        }
        this.datacenterId = datacenterId;
        this.machineId = machineId;
    }

    /** * 產生下一個ID * * @return */
    public synchronized long nextId() {
        long currStmp = getNewstmp();
        if (currStmp < lastStmp) {
            throw new RuntimeException("Clock moved backwards. Refusing to generate id");
        }

        if (currStmp == lastStmp) {
            //相同毫秒內，序列號自增
            sequence = (sequence + 1) & MAX_SEQUENCE;
            //同一毫秒的序列數已經達到最大
            if (sequence == 0L) {
                currStmp = getNextMill();
            }
        } else {
            //不一樣毫秒內，序列號置爲0
            sequence = 0L;
        }

        lastStmp = currStmp;

        return (currStmp - START_STMP) << TIMESTMP_LEFT //時間戳部分
                | datacenterId << DATACENTER_LEFT       //數據中心部分
                | machineId << MACHINE_LEFT             //機器標識部分
                | sequence;                             //序列號部分
    }

    private long getNextMill() {
        long mill = getNewstmp();
        while (mill <= lastStmp) {
            mill = getNewstmp();
        }
        return mill;
    }

    private long getNewstmp() {
        return System.currentTimeMillis();
    }

    public static void main(String[] args) {
        SnowFlake snowFlake = new SnowFlake(2, 3);

        long start = System.currentTimeMillis();
        for (int i = 0; i < 1000000; i++) {
            System.out.println(snowFlake.nextId());
        }

        System.out.println(System.currentTimeMillis() - start);


    }
}
複製代碼

循環生成的ID，運行結果以下：

170916032679263329
170916032679263330
170916032679263331
170916032679263332
170916032679263333
170916032679263334
170916032679263335
170916032679263336
170916032679263337
170916032679263338
170916032679263339
170916032679263340
170916032679263341
170916032679263342
複製代碼