jdbc流stream讀取超大數據

這幾天在做分庫分表,涉及到數據遷移,然後設計的方案是使用mybatis將數據分批讀取出來,每批大概40--50萬條數據,然後將查詢來的數據再insert進去,發現這個效率很低,程序有卡頓,而且客戶端很容易OOM。 找了一下原因就是jdbc默認的讀取數據的時候,會將要查詢的數據一次性讀到內存中,再通過resultSet循環讀取出來,這樣子40--50萬條數據很容易就撐爆內存,然後調研了下發現,其實可
相關文章
相關標籤/搜索