redis批量灌庫

需求:將批量數據灌入redis中

若是經過代碼形式將數據灌入redis中,效率比較低,如下將根據redis的特性進行快速的批量灌庫

環境:centos7redis

  1. 將數據整理成規定格式的文件,好比:
SET key value
SET key value
  1. 安裝格式轉換工具
# yum install unix2dos
  1. 使用工具轉換文件格式
# unix2dos cf_reclist.redis
  1. 使用命令灌庫
# cat cf_reclist.redis | /usr/local/src/tools/redis-2.8.3/src/redis-cli  --pipe

可能出現的問題:
若是須要灌庫的文件較大,則須要切分紅多個小文件,再進行灌庫centos

//按行切分文件,每10000行爲一個小文件
]# split -l 10000 2.data 
//cat全部小文件進行批量灌庫
]# for i in `ls *`; do cat $i | /usr/local/src/tools/redis-2.8.3/src/redis-cli --pipe;done
相關文章
相關標籤/搜索