Mysql 上億級數據導入Hive思路分享

  前提條件：html 數據庫容量上億級別，索引只有id，沒有建立時間索引python 達到目標：mysql 把阿里雲RDS Mysql表數據同步到hive中，按照mysql表數據的建立時間日期格式分區，天天一個分區方便查詢 天天運行crontab定時的增量備份數據，仍是依據自增的id 遇到的問題：sql 無法創建建立時間的索引，不能按時間範圍去查詢，那樣會嚴重影響線上數據庫的性能？ 只能按照id

>>阅读原文<<