jdbc一次性採集mysql和oracle的海量數據,5000W+爲例

時間 2019-11-09

標籤 jdbc 一次性採集 mysql oracle 海量數據 5000w 爲例欄目 Java 简体版

原文原文鏈接

最近作的採集工具遇到採集一天數據(超過5000W行數據)的狀況,java

採集mysql的時候直接採用流式讀取的方式能夠一次所有都讀取出來,速度的話取決於網絡速度mysql

stmt = conn.createStatement();
stmt.setFetchSize(Integer.MIN_VALUE);//設置這句話就能夠了,網上不少人說還要在createStatement裏面加兩個參數其實沒有必要  http://codepub.cn/2017/05/12/MySQL-pull-the-massive-data-out-of-memory-error/

rs=stmt.executeQuery();

在oracle中一樣方式sql