Kettle提升表輸出寫入速度（每秒萬條記錄）

重點： ETL 優化多數在於表輸入和表輸出。

轉自： https://blog.csdn.net/qq_37124304 https://blog.csdn.net/qq_37124304/article/details/82664665 

 

      因爲Kettle提升表輸出寫入速度過低，每秒速度三四十，實在忍受不了，參考一些資料以後進行了如下改變，我只進行了第一項的速度每秒五六千，加上其餘的測試速度有達到3萬多，有一分鐘二十多萬的記錄，沒測試極限，下爲更改的地方：

NO.1

mysql表輸出的時候出現減速的緣由多是由於網絡連接的屬性設置

在此處添加參數：

useServerPrepStmts=false  
rewriteBatchedStatements=true  
useCompression=true 

如圖：

 

 

NO.2

kettle 容許線程多開

 

 

NO.3

也能夠適當的提升數據集的大小

 

 

此處未改，不一樣的MySQL數據庫版本好似有數據傳輸限制會報Prepared statement contains too many placeholders，我用的是5.7的沒有出現這個錯誤

NO.4

每次表輸出的提交量

 

 

更改大小視機器的內存大小改變，

最後的

kettle還能夠併發處理job

 

-