10倍以上提高Pentaho Kettle的MySQL寫入速度

時間 2021-07-14

標籤性能 kettle Table Output 性能提升大數據量入庫欄目 MySQL 简体版

原文原文鏈接

使用Pentaho Kettle做了個數據抓取入庫的程序，大致這個樣：使用文本調測的時候，速度大概7500條/秒，但是換上數據庫後，速度只有150條/秒，對於20萬左右的數據入庫要超過20分鐘，這讓人沒法接受。使用批量插入好像也沒什麼效果，依然慢求助Google，找到了2個參考：參考1：http://julienhofstede.blogspot.nl/2014/

>>阅读原文<<