jdbc查詢大數據,上億數據 不會內存溢出(參考solr源碼封裝)

目標 最近公司要求作一個web版ETL工具,須要一次性查詢出來任意一張表的全部的數據,有一張表到達了1億兩千萬,全部通過探索採用瞭如下的方案java 先說一下內存溢出的緣由 jdbc查詢mysql時,默認會一次性將sql查詢的數據所有從服務器加載到內存中,當數據過多時,致使內存溢出 解決方式 1.設置每次從服務器加載到內存的條數 statement.setFetchSize(batchSize);
相關文章
相關標籤/搜索