分佈式系統中的ID生成

問題

在分佈式系統中常遇到ID生成問題:

• 場景1，在分庫分表中須要保證某類ID惟一，這樣使用主鍵自增的策略就再也不合適

• 場景2，須要某類ID須要具備同一特性來標識

諸如此類。

方案

有不少解決方案，好比

1. 基於數據庫主鍵自增策略（及其變種，如分片生成以提升效率、分庫分表生成以解決單點問題等）

2. UUID(簡單但比較醜陋，生成的ID無規律，也有方案是基於UUID，但更簡短

3. 基於MongoDB的id策略

4. DIY的ID（以不一樣用途的字符組裝到一塊兒，而後作編碼轉換以知足須要）

這裏介紹一種方案4的實現，基本思想源於twitter的Snowflake方案，該實現可提供高性能、低延遲、高可用的ID生成。

每一個ID是一個long類型的整數，結構以下：

0           41     51          64
+-----------+------+------------+
|timestamp  |node  |increment   |
+-----------+------+------------+

前42位是timestamp，這樣可使ID生成變得有序。以中間10位標識節點，這樣能夠有1024個節點。最後12位爲了解決併發衝突問題，併發請求時以此12位做累加，這樣在同一個前42位內最多能夠生成2的12次方個ID。

經過以上方案，能夠快速生成時間有序的，帶節點標識的ID。基於這個思想，咱們能夠作各類變形以知足自身須要，好比能夠調整這三部分的順序和每一部分的位數以知足具體場景；能夠開啓多個進程，每一個進程負責某些node節點的ID生成以免單點；能夠精簡位數，並作編碼轉換以減小ID長度等等。

【問題】 該方案嚴重依賴於系統時間，若是系統時鐘發生錯誤，生成的ID就可能有問題。

代碼實現

按照以上描述的策略的基本代碼實現可參看：

/**
 * 42位的時間前綴+10位的節點標識+12位的sequence避免併發的數字（12位不夠用時強制獲得新的時間前綴）
 * <p>
 * <b>對系統時間的依賴性很是強，須要關閉ntp的時間同步功能，或者當檢測到ntp時間調整後，拒絕分配id。
 * 
 * @author sumory.wu
 * @date 2012-2-26 下午6:40:28
 */
public class IdWorker {
    private final static Logger logger = LoggerFactory.getLogger(IdWorker.class);

    private final long workerId;
    private final long snsEpoch = 1330328109047L;// 起始標記點，做爲基準
    private long sequence = 0L;// 0，併發控制
    private final long workerIdBits = 10L;// 只容許workid的範圍爲：0-1023
    private final long maxWorkerId = -1L ^ -1L << this.workerIdBits;// 1023,1111111111,10位
    private final long sequenceBits = 12L;// sequence值控制在0-4095

    private final long workerIdShift = this.sequenceBits;// 12
    private final long timestampLeftShift = this.sequenceBits + this.workerIdBits;// 22
    private final long sequenceMask = -1L ^ -1L << this.sequenceBits;// 4095,111111111111,12位

    private long lastTimestamp = -1L;

    public IdWorker(long workerId) {
        super();
        if (workerId > this.maxWorkerId || workerId < 0) {// workid < 1024[10位：2的10次方]
            throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", this.maxWorkerId));
        }
        this.workerId = workerId;
    }

    public synchronized long nextId() throws Exception {
        long timestamp = this.timeGen();
        if (this.lastTimestamp == timestamp) {// 若是上一個timestamp與新產生的相等，則sequence加一(0-4095循環)，下次再使用時sequence是新值
            //System.out.println("lastTimeStamp:" + lastTimestamp);
            this.sequence = this.sequence + 1 & this.sequenceMask;
            if (this.sequence == 0) {
                timestamp = this.tilNextMillis(this.lastTimestamp);// 從新生成timestamp
            }
        }
        else {
            this.sequence = 0;
        }
        if (timestamp < this.lastTimestamp) {
            logger.error(String.format("Clock moved backwards.Refusing to generate id for %d milliseconds", (this.lastTimestamp - timestamp)));
            throw new Exception(String.format("Clock moved backwards.Refusing to generate id for %d milliseconds", (this.lastTimestamp - timestamp)));
        }

        this.lastTimestamp = timestamp;
        // 生成的timestamp
        return timestamp - this.snsEpoch << this.timestampLeftShift | this.workerId << this.workerIdShift | this.sequence;
    }

    /**
     * 保證返回的毫秒數在參數以後
     * 
     * @param lastTimestamp
     * @return
     */
    private long tilNextMillis(long lastTimestamp) {
        long timestamp = this.timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = this.timeGen();
        }
        return timestamp;
    }

    /**
     * 得到系統當前毫秒數
     * 
     * @return
     */
    private long timeGen() {
        return System.currentTimeMillis();
    }

    public static void main(String[] args) throws Exception {
        IdWorker iw1 = new IdWorker(1);
       
        for (int i = 0; i < 10; i++) {
            System.out.println(iw1.nextId());
        }
    }
}

實際應用

一個用於處理分佈式系統中ID生成，惟一性字段值管理的通用模塊UC

能夠考慮用分佈式鎖來實現

http://roadrunners.iteye.com/blog/2225563