如何快速安全的插入千萬條數據？

時間 2019-12-01

標籤如何快速安全插入千萬數據欄目系統安全简体版

原文原文鏈接

最近有個需求解析一個訂單文件，而且說明文件可達到千萬條數據，每條數據大概在20個字段左右，每一個字段使用逗號分隔，須要儘可能在半小時內入庫。

思路

1.估算文件大小

由於告訴文件有千萬條，同時每條記錄大概在20個字段左右，因此能夠大體估算一下整個訂單文件的大小，方法也很簡單使用 FileWriter往文件中插入一千萬條數據，查看文件大小，經測試大概在1.5G左右；

2.如何批量插入

3.數據的完整性

截取數據的時候須要注意，須要保證數據的完整性，每條記錄最後都是一個換行符，須要根據這個標識保證每次截取都是整條數，不要出現半條數據這種狀況；

4.數據庫是否支持批次數據

由於須要進行批次數據的插入，數據庫是否支持大量數據寫入，好比這邊使用的mysql，能夠經過設置 max_allowed_packet來保證批次提交的數據量；

5.中途出錯的狀況

由於是大文件解析，若是中途出現錯誤，好比數據恰好插入到900w的時候，數據庫鏈接失敗，這種狀況不可能從新來插一遍，全部須要記錄每次插入數據的位置，而且須要保證和批次插入的數據在同一個事務中，這樣恢復以後能夠從記錄的位置開始繼續插入。

實現

1.準備數據表

這裏須要準備兩張表分別是：訂單狀態位置信息表，訂單表；

2.配置數據庫包大小

mysql> show VARIABLES like '%max_allowed_packet%';
+--------------------------+------------+
| Variable_name | Value |
+--------------------------+------------+
| max_allowed_packet | 1048576 |
| slave_max_allowed_packet | 1073741824 |
+--------------------------+------------+
2 rows in set

mysql> set global max_allowed_packet = 1024*1024*10;
Query OK, 0 rows affected

經過設置max_allowed_packet，保證數據庫可以接收批次插入的數據包大小；否則會出現以下錯誤：

3.準備測試數據

public static void main(String[] args) throws IOException {
  FileWriter out = new FileWriter(new File("D://xxxxxxx//orders.txt"));
  for (int i = 0; i < 10000000; i++) {
    out.write(
        "vaule1,vaule2,vaule3,vaule4,vaule5,vaule6,vaule7,vaule8,vaule9,vaule10,vaule11,vaule12,vaule13,vaule14,vaule15,vaule16,vaule17,vaule18");
    out.write(System.getProperty("line.separator"));
  }
  out.close();
}

使用FileWriter遍歷往一個文件裏插入1000w條數據便可，這個速度仍是很快的，不要忘了在每條數據的後面添加 換行符(\n\r)；

4.截取數據的完整性

除了須要設置每次讀取文件的大小，同時還須要設置一個參數，用來每次獲取一小部分數據，從這小部分數據中獲取換行符(\n\r)，若是獲取不到一直累加直接獲取爲止，這個值設置大小大體同每條數據的大小差很少合適，部分實現以下：

ByteBuffer byteBuffer = ByteBuffer.allocate(buffSize); // 申請一個緩存區
long endPosition = batchFileSize + startPosition - buffSize;// 子文件結束位置

long startTime, endTime;
for (int i = 0; i < count; i++) {
    startTime = System.currentTimeMillis();
    if (i + 1 != count) {
        int read = inputChannel.read(byteBuffer, endPosition);// 讀取數據
        readW: while (read != -1) {
            byteBuffer.flip();// 切換讀模式
            byte[] array = byteBuffer.array();
            for (int j = 0; j < array.length; j++) {
                byte b = array[j];
                if (b == 10 || b == 13) { // 判斷\n\r
                    endPosition += j;
                    break readW;
                }
            }
            endPosition += buffSize;
            byteBuffer.clear(); // 重置緩存塊指針
            read = inputChannel.read(byteBuffer, endPosition);
        }
    } else {
        endPosition = fileSize; // 最後一個文件直接指向文件末尾
    }
    ...省略，更多能夠查看Github完整代碼...
}

如上代碼所示開闢了一個緩衝區，根據每行數據大小來定大概在200字節左右，而後經過遍歷查找 換行符(\n\r)，找到之後將當前的位置加到以前的結束位置上，保證了數據的完整性；

5.批次插入數據

經過insert(...)values(...),(...)的方式批次插入數據，部分代碼以下：javascript

// 保存訂單和解析位置保證在一個事務中
SqlSession session = sqlSessionFactory.openSession();
try {
  long startTime = System.currentTimeMillis();
  FielAnalysisMapper fielAnalysisMapper = session.getMapper(FielAnalysisMapper.class);
  FileOrderMapper fileOrderMapper = session.getMapper(FileOrderMapper.class);
  fileOrderMapper.batchInsert(orderList);

  // 更新上次解析到的位置，同時指定更新時間
  fileAnalysis.setPosition(endPosition + 1);
  fileAnalysis.setStatus("3");
  fileAnalysis.setUpdTime(new Date());
  fielAnalysisMapper.updateFileAnalysis(fileAnalysis);
  session.commit();
  long endTime = System.currentTimeMillis();
  System.out.println("===插入數據花費:" + (endTime - startTime) + "ms===");
} catch (Exception e) {
  session.rollback();
} finally {
  session.close();
}
...省略，更多能夠查看Github完整代碼...