MySQL 每秒 570000 的寫入，如何實現？

源碼精品專欄

• 中文詳細註釋的開源項目
• 消息中間件 RocketMQ 源碼解析
• 數據庫中間件 Sharding-JDBC 和 MyCAT 源碼解析
• 做業調度中間件 Elastic-Job 源碼解析
• 分佈式事務中間件 TCC-Transaction 源碼解析
• Eureka 和 Hystrix 源碼解析
• Java 併發源碼

來源：http://t.cn/E2TbCg5

• 1、需求
• 2、實現再分析
• 3、XeLabs TokuDB 介紹
• 4、測試表
• 5、測試環境說明
• • *

1、需求

一個朋友接到一個需求，從大數據平臺收到一個數據寫入在20億+，須要快速地加載到MySQL中，供次日業務展現使用。

2、實現再分析

對於單表20億， 在MySQL運維，說真的這塊目前涉及得比較少，也基本沒什麼經驗，但對於InnoDB單表Insert 若是內存大於數據狀況下，能夠維持在10萬-15萬行寫入。 但不少時間咱們接受的項目仍是數據超過內存的。 這裏使用XeLabs TokuDB作一個測試。

3、XeLabs TokuDB 介紹

項目地址： https://github.com/XeLabs/tokudb

相對官方TokuDB的優化：

• 內置了jemalloc 內存分配
• 引入更多的內置的TokuDB性能指標
• 支持Xtrabackup備份
• 引入ZSTD壓縮算法
• 支持TokuDB的binlog_group_commit特性

4、測試表

TokuDB核心配置：

loose_tokudb_cache_size=4G
loose_tokudb_directio=ON
loose_tokudb_fsync_log_period=1000
tokudb_commit_sync=0

表結構

CREATE TABLE `user_summary` (
 `user_id` bigint(20) unsigned NOT NULL COMMENT '用戶id/手機號',
 `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)',
 `level` varchar(20) DEFAULT NULL COMMENT '重量級',
 `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率',
 `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數',
 UNIQUE KEY `u_user_id` (`user_id`)
) ENGINE=TokuDB DEFAULT CHARSET=utf8

利用load data寫入數據

root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' \
INTO TABLE user_summary(user_id, weight, level, beat_rate,level_num);
Query OK, 200000000 rows affected (5 min 48.30 sec)
Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0

計算一下每秒寫入速度：

root@localhost [zst]>select 200000000/(5*60+48.30);
+------------------------+
| 200000000/(5*60+48.30) |
+------------------------+
| 574217.6285 |
+------------------------+
1 row in set (0.00 sec)

文件大小：

-rw-r--r-- 1 root root 8.5G 11月 25 20:05 134-136.txt
-rw-r----- 1 mysql mysql 8.6K 11月 25 20:44 user_summary.frm
-rw-r----- 1 mysql mysql 3.5G 11月 25 20:51 user_summary_main_229_1_1d_B_0.tokudb

實際文件8.5G，寫入TokuDB大小3.5G，只是接近於一半多點的壓縮量。 對於20億數據寫入，實際測試在58分鐘多點就能夠完成。能夠知足實際需求，另外對於磁盤IO比較好的機器（SSD類盤，雲上的雲盤），若是內存和數據差很少狀況，這量級數據量測試在Innodb裏須要添加自增列，能夠在3個小多一點完成。 從最佳實戰上來看，Innodb和TokuDB都寫入一樣的數據，InnoDB須要花大概是TokuDB3-4倍時間。文件大小區別，一樣20億數據：

-rw-r----- 1 mysql mysql 35G 11月 25 23:29 user2_main_26a_1_1d_B_0.tokudb
-rw-r----- 1 mysql mysql 176G 11月 26 03:32 user5.ibd

文件大小在5倍大小的區別。

測試結論：

利用TokuDB在某雲環境中8核8G內存，500G高速雲盤環境，屢次測試能夠輕鬆實現57萬每秒的寫入量。

另外測試幾種場景也供你們參考： 若是在TokuDB中使用帶自增的主鍵，主鍵無值讓MySQL內部產生寫入速度，降低比較明顯，一樣寫入2億數據，帶有自建主鍵：

root@localhost [zst]>CREATE TABLE `user3` (
 -> `user_id` bigint(20) unsigned NOT NULL COMMENT '用戶id/手機號',
 -> `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)',
 -> `level` varchar(20) DEFAULT NULL COMMENT '重量級',
 -> `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率',
 -> `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數',
 -> `id` bigint(20) NOT NULL AUTO_INCREMENT,
 -> PRIMARY KEY (`id`),
 -> UNIQUE KEY `u_user_id` (`user_id`)
 -> ) ENGINE=TokuDB;
Query OK, 0 rows affected (0.03 sec)

root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' INTO TABLE user3(user_id, weight, level, beat_rate,level_num);
Query OK, 200000000 rows affected (22 min 43.62 sec)
Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0

一樣的數據寫入在主鍵自增無值產生時，不能使用TokuDB的 Bulk loader data特性，至關於轉換爲了單條的Insert實現，因此效果上慢太多。

關於TokuDB Bulk Loader前提要求，這個表是空表，對於自增列，如自增列有值的狀況下，也可使用。 建議實際使用中，若是自增列有值的狀況下，能夠考慮去除自增屬性，改爲惟一索引，這樣減小自增的一些處理邏輯，讓TokuDB能跑地更快一點。 另外在Bulk Loader處理中爲了追求更快速的寫入，壓縮方面並非很好。

關於TokuDB Bulk Loader :https://github.com/percona/Pe...

5、測試環境說明

測試使用CentOS7環境，編譯的XeLabs TokuDB版本百度雲地址：https://pan.baidu.com/s/1qYRyH3I 。