redis 集羣搭建以及redislive監測部署

redis 集羣搭建以及監測環境

實現3主3從的集羣 虛擬機單機ip:192.168.40.128

集羣基本搭建

簡單下載

• 經過 wget http://download.redis.io/releases/redis-4.0.10.tar.gz
• 解壓縮 tar zxvf redis-4.0.10.tar.gz
• 指定安裝路徑，切換root用戶執行make && make PREFIX=/usr/local/redis install，可能出現權限不夠的問題，sudo一樣會報錯，直接使用root進行操做。

---

安裝編譯工具

• sudo apt-get update
• sudo apt-get install gcc
• sudo apt-get install make
• sudo apt-get install tcl

---

建立redis集羣文件夾

• 由於是/usr，因此始終都是在root權限下進行操做
• cd /usr/local/redis
• mkdir cluster
• cd cluster
• mkdir 7000 7001 7002 7003 7004 7005

---

修改配置文件

複製redis conf內的config文件複製到六個文件夾中，而且修改如下內容

# 端口號  
port 7000  
# 後臺啓動  
daemonize yes  
# 開啓集羣  
cluster-enabled yes  
#集羣節點配置文件  
cluster-config-file nodes-7000.conf  
# 集羣鏈接超時時間  
cluster-node-timeout 5000  
# 進程pid的文件位置  
pidfile /home/ubuntu/redis-4.0.10/pid/redis-7000.pid
#工做文件夾
dir "/home/ubuntu/redis-4.0.10/working"
# 開啓aof  
appendonly yes  
# aof文件路徑  
appendfilename "appendonly-7005.aof"  
# rdb文件路徑  
dbfilename dump-7000.rdb

redis 的配置文件中的bind指定的是redis服務器的網卡ip，也就是redis服務器的ip

---

啓動腳本

• cd /home/ubuntu/redis-4.0.10/
• touch start.link.sh爲了操做簡單,建立腳本
• 修改啓動腳本，爲

#!/bin/bash
export BASE_FLOD="/usr/local/redis"
{BASE_FLOD}/bin/redis-server /usr/local/redis/cluster/7000/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7001/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7002/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7003/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7004/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7005/redis.conf
#cd src
#./redis-trib.rb create --replicas 1 192.168.40.128:7000 192.168.40.128:7001 192.168.40.128:7002 192.168.40.128:7003 192.168.40.128:7004 192.168.40.128:7005

其中註釋的是爲了簡化初始啓動的，ip須要跟每一個節點配置的redis.conf 中bind 屬性綁定的一致,啓動後能夠經過ps -ef | grep redis命令查詢對應的線程是否啓動

---

集羣啓動

• 關聯程序使用的ruby寫的，因此要搭建rudy的運行環境，須要安裝rudbygem
• sudo apt-get install ruby rubygems -y
• gem install redis,運行到這裏會感受十分慢，須要耐心等待，在redis安裝目錄下，src文件夾redis-trib.rb
• 運行redis-trib.rb create --replicas 1 192.168.40.128:7000 192.168.40.128:7001 192.168.40.128:7002 192.168.40.128:7003 192.168.40.128:7004 192.168.40.128:7005,檢查配置的信息是否有錯誤，沒有直接yes就能夠. [OK] All 16384 slots covered.表明接羣啓動成功。

---

節點查看，重啓

查看集羣運行狀態：使用命令./redis-trib.rb check 192.168.40.128:7000，進行集羣的狀態檢查

---

性能測試

自帶測試工具redis-benchmark

• redis-benchmark -h 192.168.40.128 -p 6379 -c 100 -n 100000100個併發鏈接，100000個請求，檢測 host 爲 localhost 端口爲6379的 redis 服務器性能。
• redis-benchmark -h 192.168.40.128 -p 6379 -q -d 100測試存取大小爲100字節的數據包的性能。
• redis-benchmark -t set,lpush -n 100000 -q只測試某些操做的性能。
• redis-benchmark -n 100000 -q script load "redis.call(‘set’,’foo’,’bar’)"只測試某些數值存取的性能。

---

集羣密碼設置

集羣搭建初始不須要密碼，啓動完成後，先看每一個節點的配置文件是否有讀寫權限，若是沒有讀寫權限，須要chmod修改的讀寫權限，經過

./redis-cli -c -p port
config set masterauth password
config set requirepass password
config rewrite

分別鏈接每一個節點進行設置
若要重啓發現鏈接不上，修改啓動腳本 redis-trib.rb.sh 99行，配置啓動腳本密碼啓動
@r = Redis.new(:host => @info[:host], :port => @info[:port], :timeout => 60,:password => "password")

---

代碼測試

/*
 *集羣鏈接測試
 */

@Test
public void testJedisCluster() {
    Set<HostAndPort> nodes = new LinkedHashSet<>();
    //全部主機節點ip和端口
    nodes.add(new HostAndPort("192.168.40.128", 7000));
    nodes.add(new HostAndPort("192.168.40.128", 7001));
    nodes.add(new HostAndPort("192.168.40.128", 7002));
    nodes.add(new HostAndPort("192.168.40.128", 7003));
    nodes.add(new HostAndPort("192.168.40.128", 7004));
    nodes.add(new HostAndPort("192.168.40.128", 7005));
    //沒有密碼
    //JedisCluster cluster = new JedisCluster(nodes);
    //添加密碼調用
    JedisCluster cluster = new JedisCluster(nodes, 5000, 5000, 10, "password", new GenericObjectPoolConfig());
    //cluster.zadd("test_1", String.valueOf(""),"id_2");
    System.out.println(cluster.zscore("test_1", "id_1"));
    try {
        cluster.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

---

主從模式、哨兵、集羣的關係

1. 主從模式是指定複製和持久化關係，指定了主從備份的關係
2. 哨兵：當主數據庫遇到異常中斷服務後，開發者能夠經過手動的方式選擇一個從數據庫來升格爲主數據庫，以使得系統可以繼續提供服務。主要是爲了解決主從複製手動切換主從關係的檢測工具，能夠自動切換主從。
3. 使用哨兵，redis每一個實例也是全量存儲，每一個redis存儲的內容都是完整的數據，浪費內存且有木桶效應。爲了最大化利用內存，能夠採用集羣，就是分佈式存儲。即每臺redis存儲不一樣的內容，共有16384個slot。每一個redis分得一些slot，hash_slot = crc16(key) mod 16384 找到對應slot，鍵是可用鍵，若是有{}則取{}內的做爲可用鍵，不然整個鍵是可用鍵集羣至少須要3主3從，且每一個實例使用不一樣的配置文件，主從不用配置，集羣會本身選。

監控部署

RedisLive搭建部署

---

運行環境部署

1. git clone https://github.com/kumarnitin/RedisLive.git
   下載redislive,解壓縮unzip -o -d /home/ubuntu/ RedisLive-master.zip
2. 進入文件夾 `pip install -r requirements.txt -i
   http://pypi.douban.com/simple/ --trusted-host
   pypi.douban.com`指定豆瓣源，下載速度更快。

3. 進入src文件夾，複製example文件，編輯

   "RedisServers":
   [
       {
       "server": "192.168.40.128",
       "port" : 7000,
       "password" : "password"
       },
       //...多個監聽
   ],
   
   "DataStoreType" : "redis",
   
   "RedisStatsServer": //存儲的redis監聽接口
   {
       "server" : "127.0.0.1",
       "port" : 6379
   },
   
   "SqliteStatsStore" :
   {
       "path":  "/home/ubuntu/redis-4.0.10/working/redislive.db" //進行存儲的文件
   } }

4. ubuntu@ubuntu:~/redis-4.0.10$ mkdir pid
ubuntu@ubuntu:~/redis-4.0.10$ mkdir log
ubuntu@ubuntu:~/redis-4.0.10$ mkdir working
   //保存aof，rdb，node-config文件。
5. RedisLive分爲兩部分，其中一部分爲監控腳本，另外一部分爲web服務，因此須要分別啓動。`./redis-monitor.py
   --duration=120`./redis-live.py
6. 訪問http://192.168.40.128:8888/index.html

Q&A

1. redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster redis node的redis.conf 綁定ip設置爲指定的redis節點ip，啓動集羣時只用指定ip啓動，不使用192.168.40.128
2. connect refuse 關閉防火牆

3. No module named redis

   • 查看python位置 which python
   • 先備份 sudo cp /usr/bin/python /usr/bin/python_cp
   • 刪除 sudo rm /usr/bin/python
   • 默認設置成python3.5，建立連接 sudo ln -s /usr/bin/python3.5 /usr/bin/python