ETL工具Kettle使用

1.下載kettle：https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download

說明：kettle 是pentaho收購的一個etl工具,pentaho是一家BI解決方案的商業公司。

2.解壓文件：pdi-ce-7.0.0.0-25.zip，執行：spoon.bat

3.在mysql中建立兩個數據庫：test1和test2，在test1中建立user1表，在test2中建立user2表用來測試

3.測試操做數據庫test1中的user1表和數據庫test2中的user2表

3.1 新建一個轉換（transformation），點擊DB鏈接，選擇對應數據庫類型，建立兩個鏈接：l1,l2.

 

若測試鏈接出現錯誤：

錯誤鏈接數據庫 [localhost_3306] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database

 

Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver

將mysql-connector-java-5.1.38-bin.jar拷貝至目錄：pdi-ce-7.0.0.0-25\data-integration\lib下 ，重啓程序，新建DB鏈接：

 

3.2 在【核心對象】下的【輸入】中找到【表輸入】，雙擊鼠標左鍵將【表輸入】添加到「轉換的圖形視圖」中，而後在【輸出】找到【插入/更新】添加到「轉換的圖形視圖」中，效果以下：

 

 

3.3 在視圖中雙擊【表輸入】，選擇輸入數據庫和修改所需SQL查詢語句：

 

 

3.4  雙擊【插入/更新】，選好要插入的數據庫和表，再點擊【獲取字段】，【獲取和更新字段】：

 

3.5 此時，可點擊【運行】或F9，執行此轉換，成功後的user2表以下圖：

 

3.6 設置定時執行轉換：新建一個job，將【START】和【轉換】添加到視圖中，設置關聯轉換文件和定時時間：

 

設置好後，點擊【運行】，就會根據你設置的時間間隔來執行相應的「轉化」了。