分佈式全局ID生成器設計
項目是分佈式的架構，須要設計一款分佈式全局ID，參照了多種方案，博主最後基於snowflake的算法設計了一款自用ID生成器。具備如下優點：java
- 保證分佈式場景下生成的ID是全局惟一的
- 生成的全局ID總體上是呈自增趨勢的，也就是說總體是粗略有序的
- 高性能，能快速產生ID，本機(I7-6400HQ)單線程能夠達到每秒生成近40萬個ID
- 只佔64bit位空間，能夠根據業務需求擴展在前綴或後綴拼接業務標誌位轉化爲字符串。
UUID方案
- UUID：UUID長度128bit，32個16進制字符，佔用存儲空間多，且生成的ID是無序的
- 對於InnoDB這種彙集主鍵類型的引擎來講，數據會按照主鍵進行排序，因爲UUID的無序性，InnoDB會產生巨大的IO壓力，此時不適合使用UUID作物理主鍵，能夠把它做爲邏輯主鍵，物理主鍵依然使用自增ID。
- 組成部分：當前日期和時間、時鐘序列、機器識別碼
數據庫生成全局ID方案
- 結合數據庫維護一個Sequence表，每當須要爲某個表的新紀錄生成ID時就從Sequence表中取出對應的nextid,將其+1後更新到數據庫中以備下次使用。
- 因爲全部的插入都要訪問該表，很容易形成性能瓶頸，且存在單點問題，若是該表所在的數據庫失效，所有應用沒法工做。
- 在高併發場景下，沒法保證高性能。
snowflake方案
是一個優秀的分佈式Id生成方案，是Scala實現的，這次項目就是基於snowflake算法基礎上設計的Java優化版算法
- 1位，不用。二進制中最高位爲1的都是負數，可是咱們生成的id通常都使用整數，因此這個最高位固定是0
- 41位，用來記錄時間戳（毫秒），41位能夠表示2^41^−1個數字，也就是說41位能夠表示2^41^−1個毫秒的值，轉化成單位年則是(2^41−1)/(1000∗60∗60∗24∗365)=69年
- 10位，用來記錄工做機器id。能夠部署在2^10^=1024個節點，包括5位datacenterId和5位workerId,5位（bit）能夠表示的最最大正整數是2^5−1=31，便可以用0、一、二、三、....31這32個數字，來表示不一樣的datecenterId或workerId
- 12位，序列號，用來記錄同毫秒內產生的不一樣id。12位（bit）能夠表示的最大正整數是2^12^−1=4095，便可以用0、一、二、三、....4095這4096個數字，來表示同一機器同一時間截（毫秒)內產生的4096個ID序號
改進方案
全局惟一ID生成結構以下(每部分用-分開):數據庫
- 0 - 00 - 0000000000 0000000000 0000000000 0000000000 0 - 0000000000 00 - 00000000
- 1位標識，因爲long基本類型在Java中是帶符號的，最高位是符號位，正數是0，負數是1，因此id通常是正數，最高位是0
- 2位生成發佈方式，0表明嵌入式發佈、1表明中心服務器發佈模式、2表明rest發佈方式、3表明測試方式
- 41位時間截(毫秒級)，注意，41位時間截不是存儲當前時間的時間截，而是存儲時間截的差值（當前時間截 - 開始時間截獲得的值），這裏的的開始時間截，通常是咱們的id生成器開始使用的時間，由咱們程序來指定的。41位的時間截，可使用69年，年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69
- 12位序列，毫秒內的計數，12位的計數順序號支持每一個節點每毫秒(同一機器，同一時間截)產生4096個ID序號
- 8位的數據機器位，能夠部署在256個節點，包括8位workerId
- 加起來恰好64位，爲一個Long型
- 優勢是，總體上按照時間自增排序，而且整個分佈式系統內不會產生ID碰撞(機器ID做區分)，而且效率較高，經本地測試每秒可以產生40萬ID左右。
方案優點
- 保證分佈式場景下生成的ID是全局惟一的
- 生成的全局ID總體上是呈自增趨勢的，也就是說總體是粗略有序的
- 高性能，能快速產生ID，本機單線程能夠達到每秒生成近40萬個ID
- 只佔64bit位空間，能夠根據業務需求在前綴或後綴拼接業務標誌位。
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
public final class IdGenerate {
// ==============================Fields===========================================
/** 開始時間截 (2018-01-01) */
private final long twepoch = 1514736000000L;
/** 機器id所佔的位數 */
private final long workerIdBits = 8L;
/** 序列在id中佔的位數 */
private final long sequenceBits = 12L;
/** 毫秒級別時間截佔的位數 */
private final long timestampBits = 41L;
/** 生成發佈方式所佔的位數 */
private final long getMethodBits = 2L;
/** 支持的最大機器id，結果是255 (這個移位算法能夠很快的計算出幾位二進制數所能表示的最大十進制數) */
private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
/** 生成序列向左移8位(8) */
private final long sequenceShift = workerIdBits;
/** 時間截向左移20位(12+8) */
private final long timestampShift = sequenceBits + workerIdBits;
/** 生成發佈方式向左移61位(41+12+8) */
private final long getMethodShift = timestampBits + sequenceBits + workerIdBits;
/** 工做機器ID(0~255) */
private long workerId = 0L;
/** 生成序列的掩碼，這裏爲4095 (0b111111111111=0xfff=4095) */
private final long sequenceMask = -1L ^ (-1L << sequenceBits);
/** 毫秒內序列(0~4095) */
private long sequence = 0L;
/** 上次生成ID的時間截 */
private long lastTimestamp = -1L;
/** 2位生成發佈方式，0表明嵌入式發佈、1表明中心服務器發佈模式、2表明rest發佈方式、3表明保留未用 */
private long getMethod = 0L;
/** 成發佈方式的掩碼，這裏爲3 (0b11=0x3=3) */
private long maxGetMethod = -1L ^ (-1L << getMethodBits);
/** 重入鎖*/
private Lock lock = new ReentrantLock();
//==============================Constructors=====================================
/**
* 構造函數
* @param 發佈方式 0表明嵌入式發佈、1表明中心服務器發佈模式、2表明rest發佈方式、3表明保留未用 (0~3)
* @param workerId 工做ID (0~255)
*/
public IdGenerate(long getMethod, long workerId) {
if (getMethod > maxGetMethod || getMethod < 0) {
throw new IllegalArgumentException(String.format("getMethod can't be greater than %d or less than 0", maxGetMethod));
}
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
this.getMethod = getMethod;
this.workerId = workerId;
}
public long[] nextId(int nums) {
long[] ids = new long[nums];
for (int i = 0; i < nums; i++) {
ids[i] = nextId();
}
return ids;
}
// ==============================Methods==========================================
/**
* 得到下一個ID (該方法是線程安全的)
* @return SnowflakeId
*/
public long nextId() {
long timestamp = timeGen();
//若是當前時間小於上一次ID生成的時間戳，說明系統時鐘回退過這個時候應當拋出異常
if (timestamp < lastTimestamp) {
throw new RuntimeException(
String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
//若是是同一時間生成的，則進行毫秒內序列
if (lastTimestamp == timestamp) {
lock.lock();
try {
sequence = (sequence + 1) & sequenceMask;
//毫秒內序列溢出
if (sequence == 0) {
//阻塞到下一個毫秒,得到新的時間戳
timestamp = tilNextMillis(lastTimestamp);
}
}finally {
lock.unlock();
}
}
//時間戳改變，毫秒內序列重置
else {
sequence = 0L;
}
//上次生成ID的時間截
lastTimestamp = timestamp;
//移位並經過或運算拼到一塊兒組成64位的ID
return (getMethod << getMethodShift) // 生成方式佔用2位，左移61位
| ((timestamp - twepoch) << timestampShift) // 時間差佔用41位，最多69年，左移20位
| (sequence << sequenceShift) // 毫秒內序列，取值範圍0-4095
| workerId; // 工做機器，取值範圍0-255
}
public String nextString() {
return Long.toString(nextId());
}
public String[] nextString(int nums) {
String[] ids = new String[nums];
for (int i = 0; i < nums; i++) {
ids[i] = nextString();
}
return ids;
}
public String nextCode(String prefix) {
StringBuilder sb = new StringBuilder(prefix);
long id = nextId();
sb.append(id);
return sb.toString();
}
/**
* 此方法能夠在前綴上增長業務標誌
* @param prefix
* @param nums
* @return
*/
public String[] nextCode(String prefix, int nums) {
String[] ids = new String[nums];
for (int i = 0; i < nums; i++) {
ids[i] = nextCode(prefix);
}
return ids;
}
public String nextHexString() {
return Long.toHexString(nextId());
}
/**
* 阻塞到下一個毫秒，直到得到新的時間戳
* @param lastTimestamp 上次生成ID的時間截
* @return 當前時間戳
*/
protected long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
/**
* 返回以毫秒爲單位的當前時間
* @return 當前時間(毫秒)
*/
protected long timeGen() {
return System.currentTimeMillis();
}
//==============================Test=============================================
/**
* 測試
*
*
*/
public static void main(String[] args) {
IdGenerate idGenerate = new IdGenerate(0, 0);
int count = 100000;//線程數=count*count
final long[][] times = new long[count][100];
Thread[] threads = new Thread[count];
for (int i = 0; i < threads.length; i++) {
final int ip = i;
threads[i] = new Thread() {
@Override
public void run() {
for (int j = 0; j <100; j++) {
long t1 = System.nanoTime();//該函數是返回納秒的。1毫秒=1納秒*1000000
idGenerate.nextId();//測試
long t = System.nanoTime() - t1;
times[ip][j] = t;//求平均
}
}
};
}
long lastMilis = System.currentTimeMillis();
//逐個啓動線程
for (int i = 0; i < threads.length; i++) {
threads[i].start();
}
for (int i = 0; i < threads.length; i++) {
try {
threads[i].join();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
/**
* 一、QPS：系統每秒處理的請求數（query per second）
二、RT：系統的響應時間，一個請求的響應時間，也能夠是一段時間的平均值
三、最佳線程數量：恰好消耗完服務器瓶頸資源的臨界線程數
對於單線程：QPS=1000/RT
對於多線程：QPS=1000*線程數量/RT
*/
long time = System.currentTimeMillis() - lastMilis;
System.out
.println("QPS: "
+ (1000*count /time));
long sum = 0;
long max = 0;
for (int i = 0; i < times.length; i++) {
for (int j = 0; j < times[i].length; j++) {
sum += times[i][j];
if (times[i][j] > max)
max = times[i][j];
}
}
System.out.println("Sum(ms)"+time);
System.out.println("AVG(ms): " + sum / 1000000 / (count*100));
System.out.println("MAX(ms): " + max / 1000000);
}
}
測試結果
環境：CPU 雙核I7—6400HQ 系統win10
單線程下每秒產生近40萬個全局ID安全
模擬單個服務器併發場景：
1000線程併發下每一個線程產生100個ID，共生產10萬個ID
- QPS: 2610
- Sum(ms)383
- AVG(ms): 0
- MAX(ms): 9
10000線程併發下每一個線程產生100個ID，共生產100萬個ID
- QPS: 2701
- Sum(ms)3701
- AVG(ms): 0
- MAX(ms): 9
50000線程併發下每一個線程產生100個ID，共生產500萬個ID
- QPS: 2720
- Sum(ms)18382
- AVG(ms): 0
- MAX(ms): 11
Ps：我的水平有限，若有錯誤，還請批評指正。服務器
相關文章
- 1. 分佈式全局ID生成器
- 2. 分佈式全局ID生成方案
- 3. 分佈式全局ID設計
- 4. 【分佈式】分佈式全局唯一ID生成策略
- 5. 分佈式ID生成器
- 6. 分佈式id生成器
- 7. 分佈式ID生成器設計與實現
- 8. 分佈式id生成器 設計實現
- 9. 如何設計一個分佈式ID生成器
- 10. 分佈式ID生成器-訂單號的生成(全局惟一id生成策略)
- 更多相關文章...
- • ASP.NET MVC - 樣式和佈局 - ASP.NET 教程
- • Eclipse 生成jar包 - Eclipse 教程
- • 再有人問你分佈式事務，把這篇扔給他
- • 常用的分佈式事務解決方案
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 分佈式全局ID生成器
- 2. 分佈式全局ID生成方案
- 3. 分佈式全局ID設計
- 4. 【分佈式】分佈式全局唯一ID生成策略
- 5. 分佈式ID生成器
- 6. 分佈式id生成器
- 7. 分佈式ID生成器設計與實現
- 8. 分佈式id生成器 設計實現
- 9. 如何設計一個分佈式ID生成器
- 10. 分佈式ID生成器-訂單號的生成(全局惟一id生成策略)