使用java把10G文本導入mysql(並轉碼爲csv)

使用java把10G文本導入mysql(並轉碼爲csv) 第一次遇到10G的文本須要導入,因此一開始想直接按行導入,結果讀取了txt發現有1億8千萬行,算下來要導入半個月了,屬於千萬級數據,不建議逐行操做。最後發現mysql有LOAD DATA LOCAL INFILE語句能夠很是快速的導入txt文檔,10G的文檔通過測試只用2個小時。本次導入分爲三步: (1)把10G文件切割成100個100M的
相關文章
相關標籤/搜索