redis集羣

今天早上一上午，對滴，沒錯，從九點開始配，配到了12點多，才把集羣搭配起來。

唉，畢竟渣渣的第一次配置集羣，犯了好多錯誤。

從百度 -> 官方文檔 -> Google 無不盡其用。但我發覺百度的好多文章都是你抄個人，我抄你的，最終並不能解決問題，仍是要靠本身多踩坑，踩多了，你下次就會繞路了，不過花費時間感受有點長。

記錄下來，看成本身的學習，也爲後人百度或者查找資料作一點貢獻。

(1)redis集羣配置文件

 

1 daemonize yes
2 port 7000
3 cluster-enabled yes
4 cluster-config-file nodes-7000.conf
5 bind 127.0.0.1
6 cluster-node-timeout 5000
7 appendonly yes

 

這配置文件及其的重要，我就由於這個花了很長很長的時間找錯。

首先第一條 daemonize yes 後臺運行，我覺得是默認爲yes，而且我開啓後，ps -ef | grep redis 也能夠看到服務開啓，但就是鏈接不上。並且你百度的全部教程，包括我看的張益軍老師的《Redis開發與運維》也沒有這一條。

第二條端口；

第三條將集羣打開；

第四條爲集羣的配置文件，自動生成，能夠不用理會

第五條當時找錯的時候覺得這裏出錯了，但不清楚要不要配置，有待考究

第六條第七條 可配可不配

ps. 假如你在配置文件裏面配置了密碼，注意。請修改 這個文件的密碼，默認爲空。不然也會連不上集羣

/usr/local/share/gems/gems/redis-3.3.0/lib/redis/client.rb

(2)開啓集羣

1：首先創建六個配置文件(三主三從)，每一個配置文件除了端口，日誌不一樣，其餘幾乎相同

2：開啓redis服務，開啓六個。說實話挺麻煩的。

3：這裏用redis官方提供的 redis-trib.rb 來進行設置。這裏須要安裝ruby以及gem等一些，可能會遇到一些問題，好比國內訪問不了，如何換成國內的taobao源等，你們能夠百度，這個仍是能夠解決的。

4：運行下面這個命令，若是按照上述步驟來，我保證沒有問題。若是最後出現error，鏈接失敗，那麼就出現了問題。

1 redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

 

5：最終效果大概以下圖(6個節點，3主3從經典模式)。主節點也相互的有聯繫。

 (3)redis集羣原理

Redis Cluster 沒有並使用傳統的一致性哈希來分配數據，而是採用另一種叫作哈希槽 (hash slot)的方式來分配的。相似與Java集合HashMap的桶，這樣好理解了把。每個節點負責一部分槽，好比節點1負責0-3276號槽，節點2負責3277-6553個槽等等。redis一共有16384個槽，每一個槽必須都有分配，集羣才能創建。

ps. 爲什麼爲16384個槽呢？由於相似於HashMap的hash。

 

hash & (n - 1) 和 hash % n 效果相似，可是 & 在計算機中運算更加的迅速。

n必須爲2的倍數，因此合適大小又要是2的倍數，那麼16384是一個比較好的選擇吧

 

 

例子：咱們這裏來簡單的使用一下集羣，來作一個更好的理解。

看如下圖片

 

1：首先我在端口爲7000的節點 set了一個key值，命令爲：set k1 v1。而後redis根據hash計算出該槽爲12706，而12706的槽，端口7002節點所管理的，那麼就跳轉到7002節點。

2：而後能夠進行測試如下。你會發覺，k1這個值在節點7000，節點7001都不存在，只在節點7002存在。而且7002的子節點(slave), 節點爲7005也有這個k1的值

3：一樣能夠試試其餘值。首先計算key的hash，而後放到對應的slot中，被所管理slot的節點所維護。

ps。在主從複製中，子節點是不能set值的，那麼在集羣中，做爲子節點的7003，7004，7005能夠set值麼？

答案是ok的。本身能夠試試，我這裏就不貼圖片了

(4)key的hash槽計算

 我在7000這個主節點，我用一下命令：set k v 他如何計算出相應的槽節點呢？能保證hash足夠分散麼？

如下是用來把鍵映射到哈希槽的算法（下一段哈希標籤例外就是按照這個規則）：

HASH_SLOT = CRC16(key) mod 16384

其中，CRC16的定義以下：

• 名稱：XMODEM（也能夠稱爲 ZMODEM 或 CRC-16/ACORN）
• 輸出長度：16 bit
• 多項數（poly）：1021（便是 x16 + x12 + x5 + 1 ）
• 初始化：0000
• 反射輸入字節（Reflect Input byte）：False
• 反射輸入CRC（Reflect Output CRC）：False
• 用於輸出CRC的異或常量（Xor constant to output CRC）：0000
• 該算法對於輸入」123456789」的輸出：31C3

CRC16的16位輸出中的14位會被使用（這也是爲何上面的式子中有一個對 16384 取餘的操做）。 在咱們的測試中，CRC16能至關好地把不一樣的鍵均勻地分配到 16384 個槽中。

 

 1 static const uint16_t crc16tab[256]= {
 2     0x0000,0x1021,0x2042,0x3063,0x4084,0x50a5,0x60c6,0x70e7,
 3     0x8108,0x9129,0xa14a,0xb16b,0xc18c,0xd1ad,0xe1ce,0xf1ef,
 4     0x1231,0x0210,0x3273,0x2252,0x52b5,0x4294,0x72f7,0x62d6,
 5     0x9339,0x8318,0xb37b,0xa35a,0xd3bd,0xc39c,0xf3ff,0xe3de,
 6     0x2462,0x3443,0x0420,0x1401,0x64e6,0x74c7,0x44a4,0x5485,
 7     0xa56a,0xb54b,0x8528,0x9509,0xe5ee,0xf5cf,0xc5ac,0xd58d,
 8     0x3653,0x2672,0x1611,0x0630,0x76d7,0x66f6,0x5695,0x46b4,
 9     0xb75b,0xa77a,0x9719,0x8738,0xf7df,0xe7fe,0xd79d,0xc7bc,
10     0x48c4,0x58e5,0x6886,0x78a7,0x0840,0x1861,0x2802,0x3823,
11     0xc9cc,0xd9ed,0xe98e,0xf9af,0x8948,0x9969,0xa90a,0xb92b,
12     0x5af5,0x4ad4,0x7ab7,0x6a96,0x1a71,0x0a50,0x3a33,0x2a12,
13     0xdbfd,0xcbdc,0xfbbf,0xeb9e,0x9b79,0x8b58,0xbb3b,0xab1a,
14     0x6ca6,0x7c87,0x4ce4,0x5cc5,0x2c22,0x3c03,0x0c60,0x1c41,
15     0xedae,0xfd8f,0xcdec,0xddcd,0xad2a,0xbd0b,0x8d68,0x9d49,
16     0x7e97,0x6eb6,0x5ed5,0x4ef4,0x3e13,0x2e32,0x1e51,0x0e70,
17     0xff9f,0xefbe,0xdfdd,0xcffc,0xbf1b,0xaf3a,0x9f59,0x8f78,
18     0x9188,0x81a9,0xb1ca,0xa1eb,0xd10c,0xc12d,0xf14e,0xe16f,
19     0x1080,0x00a1,0x30c2,0x20e3,0x5004,0x4025,0x7046,0x6067,
20     0x83b9,0x9398,0xa3fb,0xb3da,0xc33d,0xd31c,0xe37f,0xf35e,
21     0x02b1,0x1290,0x22f3,0x32d2,0x4235,0x5214,0x6277,0x7256,
22     0xb5ea,0xa5cb,0x95a8,0x8589,0xf56e,0xe54f,0xd52c,0xc50d,
23     0x34e2,0x24c3,0x14a0,0x0481,0x7466,0x6447,0x5424,0x4405,
24     0xa7db,0xb7fa,0x8799,0x97b8,0xe75f,0xf77e,0xc71d,0xd73c,
25     0x26d3,0x36f2,0x0691,0x16b0,0x6657,0x7676,0x4615,0x5634,
26     0xd94c,0xc96d,0xf90e,0xe92f,0x99c8,0x89e9,0xb98a,0xa9ab,
27     0x5844,0x4865,0x7806,0x6827,0x18c0,0x08e1,0x3882,0x28a3,
28     0xcb7d,0xdb5c,0xeb3f,0xfb1e,0x8bf9,0x9bd8,0xabbb,0xbb9a,
29     0x4a75,0x5a54,0x6a37,0x7a16,0x0af1,0x1ad0,0x2ab3,0x3a92,
30     0xfd2e,0xed0f,0xdd6c,0xcd4d,0xbdaa,0xad8b,0x9de8,0x8dc9,
31     0x7c26,0x6c07,0x5c64,0x4c45,0x3ca2,0x2c83,0x1ce0,0x0cc1,
32     0xef1f,0xff3e,0xcf5d,0xdf7c,0xaf9b,0xbfba,0x8fd9,0x9ff8,
33     0x6e17,0x7e36,0x4e55,0x5e74,0x2e93,0x3eb2,0x0ed1,0x1ef0
34 };
35 
36 uint16_t crc16(const char *buf, int len) {
37     int counter;
38     uint16_t crc = 0;
39     for (counter = 0; counter < len; counter++)
40             crc = (crc<<8) ^ crc16tab[((crc>>8) ^ *buf++)&0x00FF];
41     return crc;
42 }

 

 

實驗結果：set k v ，k計算出來爲7629，利用上述代碼計算出來也是7629.可得知，上述代碼沒有問題。

 

  一般根據CRC校驗碼的位數（也等於生成多項式【G(x)】最高的冪次）的不一樣來區分不一樣的CRC算法，如CRC-一、CRC-八、CRC-16等。冪次相同的狀況下，不一樣的標準也有不一樣的CRC算法。好比G(x)最高次冪爲16的時候有：CRC-16-CCITT、CRC-16-IBM等。Redis使用的是CRC-16-CCITT標準，即G(x)爲：x¹⁶ + x¹² + x⁵ + 1 。

        G(x)的一般表徵方式是將多項式轉換成二進制： 1 0001 0000 0010 0001。用十六進制表示爲：0x11021。該數存儲空間是17位（2個字節+1個位，C語言實際存儲是3個字節），實際上，在模二除的時候，被除數的最高位 1 和除數最高位 1 老是對齊的，其異或結果，總爲0，故可省略，則G(x) = 0x1021（2個字節），節省了一個字節的空間。 

 引用自 https://blog.csdn.net/guodongxiaren/article/details/44706613 。這裏面講解CRC16是很是的到位，奈何我是個數學渣，看的並非很懂。並且我很奇怪字符怎麼異或呢？轉化成ASCll好像也不太對。

 

至此，集羣算是搭建完畢了，而且相關知識也大概有個瞭解了。下面就能夠慢慢深挖了。