最近有個需求解析一個訂單文件,而且說明文件可達到千萬條數據,每條數據大概在20個字段左右,每一個字段使用逗號分隔,須要儘可能在半小時內入庫。java
由於告訴文件有千萬條,同時每條記錄大概在20個字段左右,因此能夠大體估算一下整個訂單文件的大小,方法也很簡單使用FileWriter往文件中插入一千萬條數據,查看文件大小,經測試大概在1.5G左右;mysql
由上可知文件比較大,一次性讀取內存確定不行,方法是每次從當前訂單文件中截取一部分數據,而後進行批量插入,如何批次插入可使用**insert(...)values(...),(...)**的方式,經測試這種方式效率仍是挺高的;git
截取數據的時候須要注意,須要保證數據的完整性,每條記錄最後都是一個換行符,須要根據這個標識保證每次截取都是整條數,不要出現半條數據這種狀況;github
由於須要進行批次數據的插入,數據庫是否支持大量數據寫入,好比這邊使用的mysql,能夠經過設置max_allowed_packet來保證批次提交的數據量;sql
由於是大文件解析,若是中途出現錯誤,好比數據恰好插入到900w的時候,數據庫鏈接失敗,這種狀況不可能從新來插一遍,全部須要記錄每次插入數據的位置,而且須要保證和批次插入的數據在同一個事務中,這樣恢復以後能夠從記錄的位置開始繼續插入。數據庫
這裏須要準備兩張表分別是:訂單狀態位置信息表,訂單表;緩存
CREATE TABLE `file_analysis` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`file_type` varchar(255) NOT NULL COMMENT '文件類型 01:類型1,02:類型2',
`file_name` varchar(255) NOT NULL COMMENT '文件名稱',
`file_path` varchar(255) NOT NULL COMMENT '文件路徑',
`status` varchar(255) NOT NULL COMMENT '文件狀態 0初始化;1成功;2失敗:3處理中',
`position` bigint(20) NOT NULL COMMENT '上一次處理完成的位置',
`crt_time` datetime NOT NULL COMMENT '建立時間',
`upd_time` datetime NOT NULL COMMENT '更新時間',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8
複製代碼
CREATE TABLE `file_order` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`file_id` bigint(20) DEFAULT NULL,
`field1` varchar(255) DEFAULT NULL,
`field2` varchar(255) DEFAULT NULL,
`field3` varchar(255) DEFAULT NULL,
`field4` varchar(255) DEFAULT NULL,
`field5` varchar(255) DEFAULT NULL,
`field6` varchar(255) DEFAULT NULL,
`field7` varchar(255) DEFAULT NULL,
`field8` varchar(255) DEFAULT NULL,
`field9` varchar(255) DEFAULT NULL,
`field10` varchar(255) DEFAULT NULL,
`field11` varchar(255) DEFAULT NULL,
`field12` varchar(255) DEFAULT NULL,
`field13` varchar(255) DEFAULT NULL,
`field14` varchar(255) DEFAULT NULL,
`field15` varchar(255) DEFAULT NULL,
`field16` varchar(255) DEFAULT NULL,
`field17` varchar(255) DEFAULT NULL,
`field18` varchar(255) DEFAULT NULL,
`crt_time` datetime NOT NULL COMMENT '建立時間',
`upd_time` datetime NOT NULL COMMENT '更新時間',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10000024 DEFAULT CHARSET=utf8
複製代碼
mysql> show VARIABLES like '%max_allowed_packet%';
+--------------------------+------------+
| Variable_name | Value |
+--------------------------+------------+
| max_allowed_packet | 1048576 |
| slave_max_allowed_packet | 1073741824 |
+--------------------------+------------+
2 rows in set
mysql> set global max_allowed_packet = 1024*1024*10;
Query OK, 0 rows affected
複製代碼
經過設置max_allowed_packet,保證數據庫可以接收批次插入的數據包大小;否則會出現以下錯誤:bash
Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4980577 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable. at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3915) at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2598) at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2778) at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2834) 複製代碼
public static void main(String[] args) throws IOException {
FileWriter out = new FileWriter(new File("D://xxxxxxx//orders.txt"));
for (int i = 0; i < 10000000; i++) {
out.write(
"vaule1,vaule2,vaule3,vaule4,vaule5,vaule6,vaule7,vaule8,vaule9,vaule10,vaule11,vaule12,vaule13,vaule14,vaule15,vaule16,vaule17,vaule18");
out.write(System.getProperty("line.separator"));
}
out.close();
}
複製代碼
使用FileWriter遍歷往一個文件裏插入1000w條數據便可,這個速度仍是很快的,不要忘了在每條數據的後面添加換行符(\n\r);session
除了須要設置每次讀取文件的大小,同時還須要設置一個參數,用來每次獲取一小部分數據,從這小部分數據中獲取換行符(\n\r),若是獲取不到一直累加直接獲取爲止,這個值設置大小大體同每條數據的大小差很少合適,部分實現以下:mybatis
ByteBuffer byteBuffer = ByteBuffer.allocate(buffSize); // 申請一個緩存區
long endPosition = batchFileSize + startPosition - buffSize;// 子文件結束位置
long startTime, endTime;
for (int i = 0; i < count; i++) {
startTime = System.currentTimeMillis();
if (i + 1 != count) {
int read = inputChannel.read(byteBuffer, endPosition);// 讀取數據
readW: while (read != -1) {
byteBuffer.flip();// 切換讀模式
byte[] array = byteBuffer.array();
for (int j = 0; j < array.length; j++) {
byte b = array[j];
if (b == 10 || b == 13) { // 判斷\n\r
endPosition += j;
break readW;
}
}
endPosition += buffSize;
byteBuffer.clear(); // 重置緩存塊指針
read = inputChannel.read(byteBuffer, endPosition);
}
} else {
endPosition = fileSize; // 最後一個文件直接指向文件末尾
}
...省略,更多能夠查看Github完整代碼...
}
複製代碼
如上代碼所示開闢了一個緩衝區,根據每行數據大小來定大概在200字節左右,而後經過遍歷查找換行符(\n\r),找到之後將當前的位置加到以前的結束位置上,保證了數據的完整性;
經過**insert(...)values(...),(...)**的方式批次插入數據,部分代碼以下:
// 保存訂單和解析位置保證在一個事務中
SqlSession session = sqlSessionFactory.openSession();
try {
long startTime = System.currentTimeMillis();
FielAnalysisMapper fielAnalysisMapper = session.getMapper(FielAnalysisMapper.class);
FileOrderMapper fileOrderMapper = session.getMapper(FileOrderMapper.class);
fileOrderMapper.batchInsert(orderList);
// 更新上次解析到的位置,同時指定更新時間
fileAnalysis.setPosition(endPosition + 1);
fileAnalysis.setStatus("3");
fileAnalysis.setUpdTime(new Date());
fielAnalysisMapper.updateFileAnalysis(fileAnalysis);
session.commit();
long endTime = System.currentTimeMillis();
System.out.println("===插入數據花費:" + (endTime - startTime) + "ms===");
} catch (Exception e) {
session.rollback();
} finally {
session.close();
}
...省略,更多能夠查看Github完整代碼...
複製代碼
如上代碼在一個事務中同時保存批次訂單數據和文件解析位置信息,batchInsert經過使用mybatis的****標籤來遍歷訂單列表,生成values數據;
以上展現了部分代碼,完整的代碼能夠查看Github地址中的batchInsert模塊,本地設置每次截取的文件大小爲2M,經測試1000w條數據(大小1.5G左右)插入mysql數據庫中,大概花費時間在20分鐘左右,固然能夠經過設置截取的文件大小,花費的時間也會相應的改變。