從MySQL到Redis 提高數據遷移的效率

作開發的同窗都知道，一旦設計到底層存儲優化，數據結構甚至數據庫的變動，一般都會進行數據遷移的工做。若是系統運行時間過長，數據遷移的數量可能很是龐大。這時候，如何進行高效的數據遷移，實際也是上線質量的直接影響因素之一。

　　下面內容是轉載的一個小技巧(原文)，沒法適用於各類變化的場景，僅供你們參考。

　　場景是從MySQL中將數據導入到Redis的Hash結構中。固然，最直接的作法就是遍歷MySQL數據，一條一條寫入到Redis中。這樣可能沒什麼錯，可是速度會很是慢。而若是可以使MySQL的查詢輸出數據直接可以與Redis命令行的輸入數據協議相吻合，可能就省事多了。

　　根據什麼都測試，他800w的數據遷移，時間從90分鐘縮短到2分鐘。

　　廢話說了一堆，下面是具體案例。

　　MySQL數據表結構：

CREATE TABLE events_all_time (
  id int(11) unsigned NOT NULL AUTO_INCREMENT,
  action varchar(255) NOT NULL,
  count int(11) NOT NULL DEFAULT 0,
  PRIMARY KEY (id),
  UNIQUE KEY uniq_action (action)
);

　　Redis存儲結構：

HSET events_all_time [action] [count]

　　下面是重點，能過下面SQL語句將MySQL輸出直接變動成redis-cli可接收的格式：

-- events_to_redis.sql

SELECT CONCAT(
  "*4\r\n",
  '$', LENGTH(redis_cmd), '\r\n',
  redis_cmd, '\r\n',
  '$', LENGTH(redis_key), '\r\n',
  redis_key, '\r\n',
  '$', LENGTH(hkey), '\r\n',
  hkey, '\r\n',
  '$', LENGTH(hval), '\r\n',
  hval, '\r'
)
FROM (
  SELECT
  'HSET' as redis_cmd,
  'events_all_time' AS redis_key,
  action AS hkey,
  count AS hval
  FROM events_all_time
) AS t

　　而後用管道符重定向輸出便可：

mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe