mysql 如何提升批量導入的速度

mysql 如何提升批量導入的速度

最近一個項目測試，有幾個mysql數據庫的表數據記錄達到了幾十萬條，在搭建測試環境 導入 測試數據時，十分慢。
在網上搜索了一下，有下面一些方法能夠加快
mysql數據庫導入數據的速度：
0. 最快的固然是直接 copy 數據庫表的數據文件（版本和平臺最好要相同或類似）；
1. 設置 innodb_flush_log_at_trx_commit = 0 ，相對於 innodb_flush_log_at_trx_commit = 1 能夠十分明顯的提高導入速度；
2. 使用 load data local infile 提速明顯；
3. 修改參數 bulk_insert_buffer_size， 調大批量插入的緩存；
4. 合併多條 insert 爲一條: insert into t values(a,b,c),  (d,e,f) ,,,
5. 手動使用事物；


下面是UC的一篇相關博客文章：
http://tech.uc.cn/?p=634
MySQL批量SQL插入性能優化
對於一些數據量較大的系統，數據庫面臨的問題除了查詢效率低下，還有就是數據入庫時間長。特別像報表系統，天天花費在數據導入上的時間可能會長達幾個小時或十幾個小時之久。所以，優化數據庫插入性能是頗有意義的。

通過對MySQL innodb的一些性能測試，發現一些能夠提升insert效率的方法，供你們參考參考。

1. 一條SQL語句插入多條數據。
經常使用的插入語句如：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1);

修改爲：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);

修改後的插入操做可以提升程序的插入效率。這裏第二種SQL執行效率高的主要緣由是合併後日志量（MySQL的binlog和innodb的事務讓日誌） 減小了，下降日誌刷盤的數據量和頻率，從而提升效率。經過合併SQL語句，同時也能減小SQL語句解析的次數，減小網絡傳輸的IO。
這裏提供一些測試對比數據，分別是進行單條數據的導入與轉化成一條SQL語句進行導入，分別測試1百、1千、1萬條數據記錄。

 

 

2. 在事務中進行插入處理。
把插入修改爲：
START TRANSACTION; 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
VALUES ('1', 'userid_1', 'content_1', 1); 
... 
COMMIT;

START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)    
VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)   
VALUES ('1', 'userid_1', 'content_1', 1);
...COMMIT;

使用事務能夠提升數據的插入效率，這是由於進行一個INSERT操做時，MySQL內部會創建一個事務，在事務內才進行真正插入處理操做。經過使用事務能夠減小建立事務的消耗，全部插入都在執行後才進行提交操做。
這裏也提供了測試對比，分別是不使用事務與使用事務在記錄數爲1百、1千、1萬的狀況。

 

3. 數據有序插入。
數據有序的插入是指插入記錄在主鍵上是有序排列，例如datetime是記錄的主鍵：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('2', 'userid_2', 'content_2',2);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('2', 'userid_2', 'content_2',2);

修改爲：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('2', 'userid_2', 'content_2',2);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('2', 'userid_2', 'content_2',2);

因爲數據庫插入時，須要維護索引數據，無序的記錄會增大維護索引的成本。咱們能夠參照innodb使用的B+tree索引，若是每次插入記錄都在索引的最 後面，索引的定位效率很高，而且對索引調整較小；若是插入的記錄在索引中間，須要B+tree進行分裂合併等處理，會消耗比較多計算資源，而且插入記錄的 索引定位效率會降低，數據量較大時會有頻繁的磁盤操做。
下面提供隨機數據與順序數據的性能對比，分別是記錄爲1百、1千、1萬、10萬、100萬。

從測試結果來看，該優化方法的性能有所提升，可是提升並非很明顯。

 

性能綜合測試：
這裏提供了同時使用上面三種方法進行INSERT效率優化的測試。

從測試結果能夠看到，合併數據+事務的方法在較小數據量時，性能提升是很明顯的，數據量較大時（1千萬以上），性能會急劇降低，這是因爲此時數據量超過了 innodb_buffer的容量，每次定位索引涉及較多的磁盤讀寫操做，性能降低較快。而使用合併數據+事務+有序數據的方式在數據量達到千萬級以上表 現依舊是良好，在數據量較大時，有序數據索引定位較爲方便，不須要頻繁對磁盤進行讀寫操做，因此能夠維持較高的性能。

 

注意事項：
1. SQL語句是有長度限制，在進行數據合併在同一SQL中務必不能超過SQL長度限制，經過max_allowed_packet配置能夠修改，默認是1M，測試時修改成8M。
2. 事務須要控制大小，事務太大可能會影響執行的效率。MySQL有innodb_log_buffer_size配置項，超過這個值會把innodb的數據刷到磁盤中，這時，效率會有所降低。因此比較好的作法是，在數據達到這個這個值前進行事務提交。

 

30多條mysql數據庫優化方法,千萬級數據庫記錄查詢輕鬆解決

1.對查詢進行優化，應儘可能避免全表掃描，首先應考慮在 where 及 order by 涉及的列上創建索引。

2.應儘可能避免在 where 子句中對字段進行 null 值判斷，不然將致使引擎放棄使用索引而進行全表掃描，

Sql 代碼 : select id from t where num is null;

能夠在 num 上設置默認值 0,確保表中 num 列沒有 null 值，而後這樣查詢：

Sql 代碼 : select id from t where num=0;

3.應儘可能避免在 where 子句中使用!=或<>操做符，不然將引擎放棄使用索引而進行全表掃描。

4.應儘可能避免在 where 子句中使用 or 來鏈接條件，不然將致使引擎放棄使用索引而進行全表掃描，

Sql 代碼 : select id from t where num=10 or num=20;

能夠這樣查詢：

Sql 代碼 : select id from t where num=10 union all select id from t where num=20;

5.in 和 not in 也要慎用，不然會致使全表掃描，如：

Sql 代碼 : select id from t where num in(1,2,3);

對於連續的數值，能用 between 就不要用 in 了：

Sql 代碼 : select id from t where num between 1 and 3;

6.下面的查詢也將致使全表掃描：

Sql 代碼 : select id from t where name like '%c%';

若要提升效率，能夠考慮全文檢索。

7.若是在 where 子句中使用參數，也會致使全表掃描。由於 SQL 只有在運行時纔會解析局部變量，但優 化程序不能將訪問計劃的選擇推遲到運行時;它必須在編譯時進行選擇。然 而，若是在編譯時創建訪問計 劃，變量的值仍是未知的，於是沒法做爲索引選擇的輸入項。以下面語句將進行全表掃描：

Sql 代碼 : select id from t where num=@num ;

能夠改成強制查詢使用索引：

Sql 代碼 : select id from t with(index(索引名)) where num=@num ;

8.應儘可能避免在 where 子句中對字段進行表達式操做， 這將致使引擎放棄使用索引而進行全表掃描。

Sql 代碼 : select id from t where num/2=100;

能夠這樣查詢：

Sql 代碼 : select id from t where num=100*2;

9.應儘可能避免在 where 子句中對字段進行函數操做，這將致使引擎放棄使用索引而進行全表掃描。如：

Sql 代碼 : select id from t where substring(name,1,3)='abc';#name 以 abc 開頭的 id

應改成：

Sql 代碼 : select id from t where name like 'abc%';

10.不要在 where 子句中的「=」左邊進行函數、算術運算或其餘表達式運算，不然系統將可能沒法正確使用 索引。

11.在使用索引字段做爲條件時，若是該索引是複合索引，那麼必須使用到該索引中的第一個字段做爲條件 時才能保證系統使用該索引， 不然該索引將不會 被使用， 而且應儘量的讓字段順序與索引順序相一致。

12.不要寫一些沒有意義的查詢，如須要生成一個空表結構：

Sql 代碼 : select col1,col2 into #t from t where 1=0;

這類代碼不會返回任何結果集，可是會消耗系統資源的，應改爲這樣：

Sql 代碼 : create table #t(…);

13.不少時候用 exists 代替 in 是一個好的選擇：

Sql 代碼 : select num from a where num in(select num from b);

用下面的語句替換：

Sql 代碼 : select num from a where exists(select 1 from b where num=a.num);

14.並非全部索引對查詢都有效，SQL 是根據表中數據來進行查詢優化的，當索引列有大量數據重複時， SQL 查詢可能不會去利用索引，如一表中有字段 ***,male、female 幾乎各一半，那麼即便在 *** 上建 了索引也對查詢效率起不了做用。

15.索引並非越多越好，索引當然能夠提升相應的 select 的效率，但同時也下降了 insert 及 update 的效率，由於 insert 或 update 時有可能會重建索引，因此怎樣建索引須要慎重考慮，視具體狀況而定。一個表的索引數最好不要超過 6 個，若太多則應考慮一些不常使用到的列上建的索引是否有必要。

16.應儘量的避免更新 clustered 索引數據列， 由於 clustered 索引數據列的順序就是表記錄的物理存儲順序，一旦該列值改變將致使整個表記錄的順序的調整，會耗費至關大的資源。若應用系統須要頻繁更新 clustered 索引數據列，那麼須要考慮是否應將該索引建爲 clustered 索引。

17.儘可能使用數字型字段，若只含數值信息的字段儘可能不要設計爲字符型，這會下降查詢和鏈接的性能，並 會增長存儲開銷。這是由於引擎在處理查詢和鏈接時會逐個比較字符串中每個字符，而對於數字型而言 只須要比較一次就夠了。

18.儘量的使用 varchar/nvarchar 代替 char/nchar , 由於首先變長字段存儲空間小， 能夠節省存儲空間， 其次對於查詢來講，在一個相對較小的字段內搜索效率顯然要高些。

19.任何地方都不要使用 select * from t ,用具體的字段列表代替「*」,不要返回用不到的任何字段。

20.儘可能使用表變量來代替臨時表。若是表變量包含大量數據，請注意索引很是有限(只有主鍵索引)。

21.避免頻繁建立和刪除臨時表，以減小系統表資源的消耗。

22.臨時表並非不可以使用，適當地使用它們可使某些例程更有效，例如，當須要重複引用大型表或經常使用 表中的某個數據集時。可是，對於一次性事件， 最好使用導出表。

23.在新建臨時表時，若是一次性插入數據量很大，那麼可使用 select into 代替 create table,避免形成大量 log ,以提升速度;若是數據量不大，爲了緩和系統表的資源，應先 create table,而後 insert.

24.若是使用到了臨時表， 在存儲過程的最後務必將全部的臨時表顯式刪除， 先 truncate table ,而後 drop table ,這樣能夠避免系統表的較長時間鎖定。

25.儘可能避免使用遊標，由於遊標的效率較差，若是遊標操做的數據超過 1 萬行，那麼就應該考慮改寫。

26.使用基於遊標的方法或臨時表方法以前，應先尋找基於集的解決方案來解決問題，基於集的方法一般更 有效。

27.與臨時表同樣，遊標並非不可以使用。對小型數據集使用 FAST_FORWARD 遊標一般要優於其餘逐行處理方法，尤爲是在必須引用幾個表才能得到所需的數據時。在結果集中包括「合計」的例程一般要比使用遊標執行的速度快。若是開發時間容許，基於遊標的方法和基於集的方法均可以嘗試一下，看哪種方法的效果更好。

28.在全部的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ,在結束時設置 SET NOCOUNT OFF .無需在執行存儲過程和觸發器的每一個語句後向客戶端發送 DONE_IN_PROC 消息。

29.儘可能避免大事務操做，提升系統併發能力。 sql 優化方法使用索引來更快地遍歷表。 缺省狀況下創建的索引是非羣集索引，但有時它並非最佳的。在非羣集索引下，數據在物理上隨機存放在數據頁上。合理的索引設計要創建在對各類查詢的分析和預測上。通常來講：

a.有大量重複值、且常常有範圍查詢( > ,< ,> =,< =)和 order by、group by 發生的列，可考慮創建集羣索引;

b.常常同時存取多列，且每列都含有重複值可考慮創建組合索引;

c.組合索引要儘可能使關鍵查詢造成索引覆蓋，其前導列必定是使用最頻繁的列。索引雖有助於提升性能但 不是索引越多越好，剛好相反過多的索引會致使系統低效。用戶在表中每加進一個索引，維護索引集合就 要作相應的更新工做。

30.按期分析表和檢查表。

分析表的語法：ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name[, tbl_name]...

以上語句用於分析和存儲表的關鍵字分佈，分析的結果將可使得系統獲得準確的統計信息，使得SQL可以生成正確的執行計劃。若是用戶感受實際執行計劃並非預期的執行計劃，執行一次分析表可能會解決問題。在分析期間，使用一個讀取鎖定對錶進行鎖定。這對於MyISAM，DBD和InnoDB表有做用。

例如分析一個數據表：analyze table table_name

檢查表的語法：CHECK TABLE tb1_name[,tbl_name]...[option]...option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}

檢查表的做用是檢查一個或多個表是否有錯誤，CHECK TABLE 對MyISAM 和 InnoDB表有做用，對於MyISAM表，關鍵字統計數據被更新

CHECK TABLE 也能夠檢查視圖是否有錯誤，好比在視圖定義中被引用的表不存在。

31.按期優化表。

優化表的語法：OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name [,tbl_name]...

若是刪除了表的一大部分，或者若是已經對含有可變長度行的表(含有 VARCHAR、BLOB或TEXT列的表)進行更多更改，則應使用OPTIMIZE TABLE命令來進行表優化。這個命令能夠將表中的空間碎片進行合併，而且能夠消除因爲刪除或者更新形成的空間浪費，但OPTIMIZE TABLE 命令只對MyISAM、 BDB 和InnoDB表起做用。

例如： optimize table table_name

注意： analyze、check、optimize執行期間將對錶進行鎖定，所以必定注意要在MySQL數據庫不繁忙的時候執行相關的操做。

補充：

一、在海量查詢時儘可能少用格式轉換。

二、ORDER BY 和 GROPU BY:使用 ORDER BY 和 GROUP BY 短語，任何一種索引都有助於 SELECT 的性能提升。

三、任何對列的操做都將致使表掃描，它包括數據庫教程函數、計算表達式等等，查詢時要儘量將操做移 至等號右邊。

四、IN、OR 子句常會使用工做表，使索引失效。若是不產生大量重複值，能夠考慮把子句拆開。拆開的子 句中應該包含索引。

五、只要能知足你的需求，應儘量使用更小的數據類型：例如使用 MEDIUMINT 代替 INT

六、儘可能把全部的列設置爲 NOT NULL,若是你要保存 NULL,手動去設置它，而不是把它設爲默認值。

七、儘可能少用 VARCHAR、TEXT、BLOB 類型

八、若是你的數據只有你所知的少許的幾個。最好使用 ENUM 類型

九、正如 graymice 所講的那樣，創建索引。

十、合理用運分表與分區表提升數據存放和提取速度。