公司業務須要作數據庫轉存備份,整理一下本身的思路:mysql
需求描述:
數百臺物聯網監測設備分鐘數據每日產生10w級別原始數據(6w-12w,使用原始數據計算出小時數據、日數據後基本無用),通過一段時間運行以後數據庫數據太多,影響正常操做性能。須要備份轉移到備份庫中。
備份方案:
一、使用計劃任務,每晚凌晨執行
二、保留手動調用接口
三、執行方式,按日期循環,每次查詢一日數據到內存中,再刪除原庫當日數據。在備份庫刪除當日數據(預防性清空),再插入內存的一日數據。
四、完成。備份速度約80w/小時(存在其餘任務並行操做mysql)