Mysql 上億級數據導入Hive思路分享

前提條件： 數據庫容量上億級別，索引只有id，沒有創建時間索引 達到目標： 把阿里雲RDS Mysql表數據同步到hive中，按照mysql表數據的創建時間日期格式分區，每天一個分區方便查詢 每天運行crontab定時的增量備份數據，還是依據自增的id 遇到的問題： 沒法建立創建時間的索引，不能按時間範圍去查詢，那樣會嚴重影響線上數據庫的性能？ 只能按照id的方式去增量的讀取索引，存儲到臨時表，然

>>阅读原文<<