雪花算法【分佈式ID問題】【劉新宇】

分佈式ID

1 方案選擇

• UUID

  UUID是通用惟一識別碼（Universally Unique Identifier)的縮寫，開放軟件基金會(OSF)規範定義了包括網卡MAC地址、時間戳、名字空間（Namespace）、隨機或僞隨機數、時序等元素。利用這些元素來生成UUID。

  UUID是由128位二進制組成，通常轉換成十六進制，而後用String表示。

  550e8400-e29b-41d4-a716-446655440000

  UUID的優勢:

  • 經過本地生成，沒有通過網絡I/O，性能較快
  • 無序，沒法預測他的生成順序。(固然這個也是他的缺點之一)

  UUID的缺點:

  • 128位二進制通常轉換成36位的16進制，太長了只能用String存儲，空間佔用較多。
  • 不能生成遞增有序的數字

• 數據庫主鍵自增

  你們對於惟一標識最容易想到的就是主鍵自增，這個也是咱們最經常使用的方法。例如咱們有個訂單服務，那麼把訂單id設置爲主鍵自增便可。

  • 單獨數據庫 記錄主鍵值

  • 業務數據庫分別設置不一樣的自增起始值和固定步長，如

    第一臺 start 1  step 9  第二臺 start 2  step 9  第三臺 start 3  step 9

  優勢:

  • 簡單方便，有序遞增，方便排序和分頁

  缺點:

  • 分庫分表會帶來問題，須要進行改造。
  • 併發性能不高，受限於數據庫的性能。
  • 簡單遞增容易被其餘人猜想利用，好比你有一個用戶服務用的遞增，那麼其餘人能夠根據分析註冊的用戶ID來獲得當天你的服務有多少人註冊，從而就能猜想出你這個服務當前的一個大概情況。
  • 數據庫宕機服務不可用。

• Redis

  熟悉Redis的同窗，應該知道在Redis中有兩個命令Incr，IncrBy,由於Redis是單線程的因此能保證原子性。

  優勢：

  • 性能比數據庫好，能知足有序遞增。

  缺點：

  • 因爲redis是內存的KV數據庫，即便有AOF和RDB，可是依然會存在數據丟失，有可能會形成ID重複。
  • 依賴於redis，redis要是不穩定，會影響ID生成。

• 雪花算法-Snowflake

  Snowflake是Twitter提出來的一個算法，其目的是生成一個64bit的整數:

 

• 1bit:通常是符號位，不作處理
• 41bit:用來記錄時間戳，這裏能夠記錄69年，若是設置好起始時間好比今年是2018年，那麼能夠用到2089年，到時候怎麼辦？要是這個系統能用69年，我相信這個系統早都重構了好屢次了。
• 10bit:10bit用來記錄機器ID，總共能夠記錄1024臺機器，通常用前5位表明數據中心，後面5位是某個數據中心的機器ID
• 12bit:循環位，用來對同一個毫秒以內產生不一樣的ID，12位能夠最多記錄4095個，也就是在同一個機器同一毫秒最多記錄4095個，多餘的須要進行等待下毫秒。

上面只是一個將64bit劃分的標準，固然也不必定這麼作，能夠根據不一樣業務的具體場景來劃分，好比下面給出一個業務場景：

• 服務目前QPS10萬，預計幾年以內會發展到百萬。
• 當前機器三地部署，上海，北京，深圳都有。
• 當前機器10臺左右，預計將來會增長至百臺。

這個時候咱們根據上面的場景能夠再次合理的劃分62bit,QPS幾年以內會發展到百萬，那麼每毫秒就是千級的請求，目前10臺機器那麼每臺機器承擔百級的請求，爲了保證擴展，後面的循環位能夠限制到1024，也就是2^10，那麼循環位10位就足夠了。

機器三地部署咱們能夠用3bit總共8來表示機房位置，當前的機器10臺，爲了保證擴展到百臺那麼能夠用7bit 128來表示，時間位依然是41bit,那麼還剩下64-10-3-7-41-1 = 2bit,還剩下2bit能夠用來進行擴展。

 

 

時鐘回撥

由於機器的緣由會發生時間回撥，咱們的雪花算法是強依賴咱們的時間的，若是時間發生回撥，有可能會生成重複的ID，在咱們上面的nextId中咱們用當前時間和上一次的時間進行判斷，若是當前時間小於上一次的時間那麼確定是發生了回撥，算法會直接拋出異常.

 

使用雪花算法 

# Twitter's Snowflake algorithm implementation which is used to generate distributed IDs.
# https://github.com/twitter-archive/snowflake/blob/snowflake-2010/src/main/scala/com/twitter/service/snowflake/IdWorker.scala

import time
import logging

class InvalidSystemClock(Exception):
    """
    時鐘回撥異常
    """
    pass

# 64位ID的劃分
WORKER_ID_BITS = 5
DATACENTER_ID_BITS = 5
SEQUENCE_BITS = 12

# 最大取值計算
MAX_WORKER_ID = -1 ^ (-1 << WORKER_ID_BITS)  # 2**5-1 0b11111
MAX_DATACENTER_ID = -1 ^ (-1 << DATACENTER_ID_BITS)

# 移位偏移計算
WOKER_ID_SHIFT = SEQUENCE_BITS
DATACENTER_ID_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS
TIMESTAMP_LEFT_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS + DATACENTER_ID_BITS

# 序號循環掩碼
SEQUENCE_MASK = -1 ^ (-1 << SEQUENCE_BITS)

# Twitter元年時間戳
TWEPOCH = 1288834974657


logger = logging.getLogger('flask.app')


class IdWorker(object):
    """
    用於生成IDs
    """

    def __init__(self, datacenter_id, worker_id, sequence=0):
        """
        初始化
        :param datacenter_id: 數據中心（機器區域）ID
        :param worker_id: 機器ID
        :param sequence: 其實序號
        """
        # sanity check
        if worker_id > MAX_WORKER_ID or worker_id < 0:
            raise ValueError('worker_id值越界')

        if datacenter_id > MAX_DATACENTER_ID or datacenter_id < 0:
            raise ValueError('datacenter_id值越界')

        self.worker_id = worker_id
        self.datacenter_id = datacenter_id
        self.sequence = sequence

        self.last_timestamp = -1  # 上次計算的時間戳

    def _gen_timestamp(self):
        """
        生成整數時間戳
        :return:int timestamp
        """
        return int(time.time() * 1000)

    def get_id(self):
        """
        獲取新ID
        :return:
        """
        timestamp = self._gen_timestamp()

        # 時鐘回撥
        if timestamp < self.last_timestamp:
            logging.error('clock is moving backwards. Rejecting requests until {}'.format(self.last_timestamp))
            raise InvalidSystemClock

        if timestamp == self.last_timestamp:
            self.sequence = (self.sequence + 1) & SEQUENCE_MASK
            if self.sequence == 0:
                timestamp = self._til_next_millis(self.last_timestamp)
        else:
            self.sequence = 0

        self.last_timestamp = timestamp

        new_id = ((timestamp - TWEPOCH) << TIMESTAMP_LEFT_SHIFT) | (self.datacenter_id << DATACENTER_ID_SHIFT) | \
                 (self.worker_id << WOKER_ID_SHIFT) | self.sequence
        return new_id

    def _til_next_millis(self, last_timestamp):
        """
        等到下一毫秒
        """
        timestamp = self._gen_timestamp()
        while timestamp <= last_timestamp:
            timestamp = self._gen_timestamp()
        return timestamp


if __name__ == '__main__':
    worker = IdWorker(1, 2, 0)
    print(worker.get_id())