支撐微博億級社交平臺,小白也能玩轉Redis集羣(實戰篇)

上篇文章《支撐微博億級社交平臺,小白也能玩轉Redis集羣(原理篇)》介紹了Redis集羣相關原理,這篇文章將介紹Redis Cluster集羣的搭建、配置,運維、擴容等具體操做node

集羣搭建

2018年10月 Redis 發佈了穩定版本的 5.0 版本,推出了各類新特性,其中一點是集羣管理工具從基於Ruby的redis-trib.rb移植到基於C語言redis-cli中,方便集羣的構建和管理redis

Redis Cluster集羣運行至少須要包含3個主節點,實現高可用最少須要3主3從6個節點shell

如下步驟基於Redis 5.0.5版本,介紹如何在一臺 Linux 服務器上搭建有3主3從的6節點的 Redis集羣bash

  • 步驟1 建立安裝目錄
mkdir -p /data/project/redis-cluster
複製代碼
  • 步驟2 下載源碼並解壓編譯
cd /data/project/redis-cluster
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
tar xzf redis-5.0.5.tar.gz
cd redis-5.0.5
make
複製代碼

執行make後,若是報錯「jemalloc/jemalloc.h:沒有那個文件或目錄」,能夠改成用如下命令:服務器

make MALLOC=libc
複製代碼
  • 步驟3 建立6個Redis配置文件 6個配置文件不能在同一個目錄,下面Redis 6個節點分別安裝在7000~7005端口 首先建立配置文件目錄及文件,定義以下:
mkdir -p /data/project/redis-cluster/nodes/7000
mkdir -p /data/project/redis-cluster/nodes/7001
mkdir -p /data/project/redis-cluster/nodes/7002
mkdir -p /data/project/redis-cluster/nodes/7003
mkdir -p /data/project/redis-cluster/nodes/7004
mkdir -p /data/project/redis-cluster/nodes/7005

touch /data/project/redis-cluster/nodes/7000/redis.conf
touch /data/project/redis-cluster/nodes/7001/redis.conf
touch /data/project/redis-cluster/nodes/7002/redis.conf
touch /data/project/redis-cluster/nodes/7003/redis.conf
touch /data/project/redis-cluster/nodes/7004/redis.conf
touch /data/project/redis-cluster/nodes/7005/redis.conf
複製代碼

redis.conf配置文件的內容爲:markdown

############################## 網絡 ##############################
# 端口
port 7000
# 非保護模式,若是值爲yes,則必須是 bind配置指定的ip的機器鏈接或者使用密碼鏈接
protected-mode no 

############################## 通用 ##############################
# 後臺運行
daemonize yes 
# 記錄redis進程pid
pidfile  /var/run/redis_7000.pid

############################## 集羣 ##############################
# 啓用集羣模式
cluster-enabled yes 
cluster-config-file nodes_7000.conf
# 集羣節點若是在該超時時間(毫秒)內不可達,則認爲節點處於故障狀態
cluster-node-timeout 15000

############################## 持久化 ##############################
# AOF, RDB持久化文件目錄
dir /data/project/redis-cluster/nodes
# 開啓AOF持久化
appendonly yes
# AOF文件名
appendfilename "appendonly_7000.aof"
# 當目前aof文件大小超過上一次重寫的aof文件大小的百分之多少進行重寫
auto-aof-rewrite-percentage 100
# 設置容許重寫的最小aof文件大小,避免了達到約定百分比但尺寸仍然很小的狀況還要重寫
auto-aof-rewrite-min-size 64mb
# RDB文件名
dbfilename dump_7000.rdb
複製代碼

其中 port 、 pidfile、cluster-config-file、appendfilename、 dbfilename配置須要隨着節點的不一樣而調整網絡

配置項說明能夠參考redis-5.0.5/redis.conf,每一項都介紹得很詳細,推薦閱讀app

  • 步驟4 啓動節點
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7000/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7001/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7002/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7003/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7004/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7005/redis.conf
複製代碼

ps -ef|grep redis,能夠看到6個redis進程已啓動:運維

  • 步驟5 啓動集羣 使用以下命令啓動集羣,IP地址自行替換:
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster create 192.168.56.102:7000 192.168.56.102:7001 192.168.56.102:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005 --cluster-replicas 1
複製代碼

啓動成功信息以下:工具

到此,Redis Cluster 集羣搭建完成

集羣信息查看

Redis5的redis-cli新增系列集羣運維功能,查看命令詳情:

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster help
複製代碼

命令參數具體做用能夠參考官方文檔,下面會基於其中一些經常使用命令對集羣進行管理

  • 檢查節點狀態
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster check 192.168.56.102:7000
複製代碼

  • 查看集羣信息
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster info 192.168.56.102:7000
複製代碼

集羣擴容

集羣如今有3主3從,下面新增4個節點擴容變成5主5從

  • 步驟1 啓動新節點 建立4個Redis配置文件,端口號爲7006~7009,而後啓動節點(參考「集羣搭建」的步驟3和步驟4)
  • 步驟2 新節點加入集羣 設置4個節點分別加入已有redis集羣,2個爲主節點,2個爲從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7006 192.168.56.102:7005 
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7007 192.168.56.102:7005 

# 24e2c是節點7006的id,表明該節點加入集羣併爲7006的從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7008 192.168.56.102:7005 --cluster-slave --cluster-master-id 24e2c369678952b07d95c0a4b49c2d7a7b2e2bf7 
# 24e2c是節點7007的id,表明該節點加入集羣併爲7007的從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7009  192.168.56.102:7005 --cluster-slave --cluster-master-id ab0f74a19819a74238df7a510494e9418678cbe1
複製代碼

此時集羣狀態以下,其中主節點7006和主節點7007還沒分配任何slot,在下面的步驟會進行分配:

  • 步驟3 模擬slot從新平衡分配 基於rebalance命令,增長--cluster-simulat參數,查看會遷移哪些slots,而不會真正執行遷移操做
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters  --cluster-simulat
複製代碼

返回如下遷移信息:

  • 步驟4 執行slot從新平衡分配 執行rebalance命令,平衡集羣節點slot數量,從新分配slot( 去掉--cluster-simulat)
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters
複製代碼

至此,集羣擴容完成,集羣縮容的話,須要基於reshard將需被下線的結點中的slot移到其餘結點,而後基於del-node命令刪除結點

總結

這篇文章介紹Redis Cluster集羣一些基本實現,篇幅所限,後面有機會再展開介紹Redis一些線上問題踩坑經驗、監控運維平臺建設,歡迎繼續關注

參考

redis cluster管理工具redis-trib-rb詳解 weizijun.cn/2016/01/08/…

相關文章
相關標籤/搜索