mysql 大數據量遷移

MySQL導出的SQL語句在導入時若是數據量較大時會很是很是慢，經歷過導入僅3000萬條，用了近30個小時。在導出時合理使用幾個參數，能夠大大加快導入的速度。

 

-e 使用多VALUES的INSERT語法; 
--max_allowed_packet=XXX 客戶端/服務器之間通訊的緩存區的最大大小; 
--net_buffer_length=XXX  TCP/IP和套接字通訊緩衝區大小,建立長度達net_buffer_length的行

注意：max_allowed_packet和net_buffer_length不能比目標數據庫的配置數值大，不然可能出錯。

 

首先肯定目標庫的參數值 
mysql>show variables like 'max_allowed_packet'; 
mysql>show variables like 'net_buffer_length';

 

根據參數值書寫mysqldump命令，如： 
mysql>mysqldump -uroot -p 數據庫名-e --max_allowed_packet=1048576 --net_buffer_length=16384 > SQL文件

如：

mysql>mysqldump -uroot -p test_db  -e --max_allowed_packet=1048576 --net_buffer_length=16384 > test_db.sql

 

不生成文件，直接導入到目標數據庫

mysqldump --default-character-set=utf8mb4 --host=127.0.0.1 -uroot -p123 --opt databases | mysql --host=127.0.0.1 --port=3307 -uroot -p123 --default-character-set=utf8mb4 -C databases