如何快速建立百萬級測試數據

場景

進行SQL優化或查詢性能測試時,咱們須要大量數據測試來模擬,這個時候引出一個問題:數據的建立

如何快速建立大量數據

建立數據無非幾種操做下面一一列舉;
~ 1 手動輸入 (可忽略)
~ 2 使用編寫好的存儲過程和函數執行 (下面會有介紹)
~ 3 編寫代碼,經過代碼插入數據 (例:使用mybatis的foreach循環插入..步驟多,速度慢)
~ 4 臨時數據表方式執行 (強烈推薦,速度快,簡單)

準備操做前提

首先 咱們無論選哪一種操做 都要先準備一張表,這個是毫無疑問的;
那麼咱們就簡單的建立一個表 以下;

CREATE TABLE `t_user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `c_user_id` varchar(36) NOT NULL DEFAULT '',
  `c_name` varchar(22) NOT NULL DEFAULT '',
  `c_province_id` int(11) NOT NULL,
  `c_city_id` int(11) NOT NULL,
  `create_time` datetime NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_user_id` (`c_user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

使用存儲過程和內存表

咱們先利用函數和存儲過程在內存表中生成數據,再從內存表中插入普通表

1 建立一個內存表

CREATE TABLE `t_user_memory` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `c_user_id` varchar(36) NOT NULL DEFAULT '',
  `c_name` varchar(22) NOT NULL DEFAULT '',
  `c_province_id` int(11) NOT NULL,
  `c_city_id` int(11) NOT NULL,
  `create_time` datetime NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_user_id` (`c_user_id`)
) ENGINE=MEMORY DEFAULT CHARSET=utf8mb4;

2 建立函數和存儲過程

# 建立隨機字符串和隨機時間的函數
mysql> delimiter $$
mysql> CREATE DEFINER=`root`@`%` FUNCTION `randStr`(n INT) RETURNS varchar(255) CHARSET utf8mb4
    ->     DETERMINISTIC
    -> BEGIN
    ->     DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
    ->     DECLARE return_str varchar(255) DEFAULT '' ;
    ->     DECLARE i INT DEFAULT 0;
    ->     WHILE i < n DO
    ->         SET return_str = concat(return_str, substring(chars_str, FLOOR(1 + RAND() * 62), 1));
    ->         SET i = i + 1;
    ->     END WHILE;
    ->     RETURN return_str;
    -> END$$
Query OK, 0 rows affected (0.00 sec)

mysql> CREATE DEFINER=`root`@`%` FUNCTION `randDataTime`(sd DATETIME,ed DATETIME) RETURNS datetime
    ->     DETERMINISTIC
    -> BEGIN
    ->     DECLARE sub INT DEFAULT 0;
    ->     DECLARE ret DATETIME;
    ->     SET sub = ABS(UNIX_TIMESTAMP(ed)-UNIX_TIMESTAMP(sd));
    ->     SET ret = DATE_ADD(sd,INTERVAL FLOOR(1+RAND()*(sub-1)) SECOND);
    ->     RETURN ret;
    -> END $$

mysql> delimiter ;

# 建立插入數據存儲過程
mysql> CREATE DEFINER=`root`@`%` PROCEDURE `add_t_user_memory`(IN n int)
    -> BEGIN
    ->     DECLARE i INT DEFAULT 1;
    ->     WHILE (i <= n) DO
    ->         INSERT INTO t_user_memory (c_user_id, c_name, c_province_id,c_city_id, create_time) VALUES (uuid(), randStr(20), FLOOR(RAND() * 1000), FLOOR(RAND() * 100), NOW());
    ->         SET i = i + 1;
    ->     END WHILE;
    -> END
    -> $$
Query OK, 0 rows affected (0.01 sec)

調用存儲過程

mysql> CALL add_t_user_memory(1000000);   //添加的數據量
ERROR 1114 (HY000): The table 't_user_memory' is full

PS:出現ERROR 1114 (HY000): The table 't_user_memory' is full錯誤,表示內存已滿

處理方式:修改 max_heap_table_size 參數的大小 默認32M或者64M就好，生產環境不要亂嘗試哦.

從內存表插入普通表

mysql> INSERT INTO t_user SELECT * FROM t_user_memory;
Query OK, 218953 rows affected (1.70 sec)
Records: 218953  Duplicates: 0  Warnings: 0

臨時表方式

建立臨時數據表tmp_table

CREATE TABLE tmp_table (
    id INT,
    PRIMARY KEY (id)
);

python:
python -c "for i in range(1, 1+1000000): print(i)" > base.txt

導入數據到臨時表tmp_table中

load data infile '/Users/LJTjintao/temp/base.txt' replace into table tmp_table;
Query OK, 1000000 rows affected (2.55 sec)
Records: 1000000 Deleted: 0 Skipped: 0 Warnings: 0

關注公衆號:java寶典