kettle從數據表中查詢數據作爲變量傳遞使用(單值)

背景 剛開始做增量數據抽取，用的是插入/更新這個組件，經過測試，發現一個問題，數據量一大，傳輸久了後電腦會變的非常卡滿，而且剛開始傳的時候速度很快，到後面就很慢了。 top一看，cpu使用率由原來的50%到了800%，不卡就有鬼了 而且傳輸了大約300萬條（花費30min左右）數據後，還會出現與數據庫斷線的情況（這個問題的解決方案 ）。 然後想了個辦法，根據源數據表中的一個自增字段，每隔6分鐘傳輸

>>阅读原文<<