講武德，大家要的 MySQL批量SQL插入性能優化，來了

前言

對於一些數據量較大的系統，數據庫面臨的問題除了查詢效率低下，還有就是數據入庫時間長。特別像報表系統，天天花費在數據導入上的時間可能會長達幾個小時或十幾個小時之久。所以，優化數據庫插入性能是頗有意義的。

通過對MySQL innodb的一些性能測試，發現一些能夠提升insert效率的方法，供你們參考參考。

 

方法

1. 一條SQL語句插入多條數據。

經常使用的插入語句如：

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0); INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1);

修改爲：

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);

修改後的插入操做可以提升程序的插入效率。這裏第二種SQL執行效率高的主要緣由是合併後日志量（MySQL的binlog和innodb的事務讓 日誌）減小了，下降日誌刷盤的數據量和頻率，從而提升效率。經過合併SQL語句，同時也能減小SQL語句解析的次數，減小網絡傳輸的IO。

 

2. 在事務中進行插入處理。

把插入修改爲：

START TRANSACTION; INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0); INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1); ... COMMIT;

使用事務能夠提升數據的插入效率，這是由於進行一個INSERT操做時，MySQL內部會創建一個事務，在事務內才進行真正插入處理操做。經過使用事務能夠減小建立事務的消耗，全部插入都在執行後才進行提交操做。

 

結論

從測試結果能夠看到，合併數據+事務的方法在較小數據量時，性能提升是很明顯的，數據量較大時（1千萬以上），性能會急劇降低，這是因爲此時數據量 超過了innodb_buffer的容量，每次定位索引涉及較多的磁盤讀寫操做，性能降低較快。

 

注意事項

1. SQL語句是有長度限制，在進行數據合併在同一SQL中務必不能超過SQL長度限制，經過max_allowed_packet配置能夠修改，默認是1M，測試時修改成8M。

2. 事務須要控制大小，事務太大可能會影響執行的效率。MySQL有innodb_log_buffer_size配置項，超過這個值會把innodb的數據刷到磁盤中，這時，效率會有所降低。因此比較好的作法是，在數據達到這個這個值前進行事務提交。

 

關注公衆號：UP技術控   獲取更多資訊