一步完成 MySQL 向 Redis 遷移

從mysql搬一個大表到redis中，你會發如今提取、轉換或是載入一行數據時，速度慢的讓你難以忍受。這裏我就要告訴一個讓你解脫的小技巧。使用「管道輸出」的方式把mysql命令行產生的內容直接傳遞給redis-cli，以繞過「中間件」的方式使二者在進行數據操做時達到最佳速度。

一個約八百萬行數據的mysql表，本來導入到redis中須要90分鐘，使用這個方法後，只須要兩分鐘。無論你信不信，反正我是信了。

 

Mysql到Redis的數據協議

redis-cli命令行工具備一個批量插入模式，是專門爲批量執行命令設計的。這第一步就是把Mysql查詢的內容格式化成redis-cli可用的數據格式。here we go!

zzxworld

翻譯於 6年前

6人頂

頂  翻譯得不錯哦！

 

個人統計表：

CREATE TABLE events_all_time ( id int(11) unsigned NOT NULL AUTO_INCREMENT, action varchar(255) NOT NULL, count int(11) NOT NULL DEFAULT 0, PRIMARY KEY (id), UNIQUE KEY uniq_action (action) );

準備在每行數據中執行的redis命令以下：

HSET events_all_time [action] [count]

按照以上redis命令規則，建立一個events_to_redis.sql文件，內容是用來生成redis數據協議格式的SQL：

-- events_to_redis.sql

SELECT CONCAT( "*4\r\n", '$', LENGTH(redis_cmd), '\r\n', redis_cmd, '\r\n', '$', LENGTH(redis_key), '\r\n', redis_key, '\r\n', '$', LENGTH(hkey), '\r\n', hkey, '\r\n', '$', LENGTH(hval), '\r\n', hval, '\r' ) FROM ( SELECT 'HSET' as redis_cmd, 'events_all_time' AS redis_key, action AS hkey, count AS hval FROM events_all_time ) AS t

ok, 用下面的命令執行：

mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe

很重要的mysql參數說明：
--raw: 使mysql不轉換字段值中的換行符。
--skip-column-names: 使mysql輸出的每行中不包含列名。

 

https://www.oschina.net/translate/mysql-to-redis-in-one-step