Kettle-Spoon入門示例

Spoon 是Kettle的設計調試工具 

[Demo文檔下載] https://files.cnblogs.com/files/shexunyu/Kettle-Spoon-Demo%E5%B8%AE%E5%8A%A9%E6%96%87%E6%A1%A3.zip
[驅動下載] https://files.cnblogs.com/files/shexunyu/Kettle-Spoon-Mysql-Mssq-Orcle-lwin64%E9%A9%B1%E5%8A%A8.zip
[SpoonDemo源文件下載] https://files.cnblogs.com/files/shexunyu/Kettle-Spoon-Demo.zip

 

1．           微軟ETL與Java 開源Kettle作下對比

 

1. 微軟Integration Services 項目 測試（僅2008版作比較，更高版本何嘗試）

 

a)         總體結構

 

 

 

 

b)         全量&增量

 

 

 

1. Kettle Spoon項目

 

a)         隨機數過濾分支

 

 

 

 

b)         計算器

 

 

 

 

c)         笛卡爾計算

 

 

 

 

 

2．           Kettle Spoon MySql數據庫鏈接

 

1. 驅動:

 

a)         驅動錯誤

 

b)         驅動添加

 

 

 

 

1. 端口錯誤：鏈接數據庫端口不對

 

 

 

 

1. 正常鏈接

 

 

 

 

1. 表輸入

 

a)         新建一個表輸入，獲取數據庫表的數據

 

 

 

 

b)         Sql語句

 

 

 

 

c)         預覽數據

 

 

 

 

d)         當前表數據輸出到另一個一樣的表

 

 

 

 

e)         設置輸出表

 

 

 

 

f)          輸出表字段

 

 

 

 

g)         輸出表字段選擇

 

 

 

 

 

 

h)         預覽

 

 

 

 

i)           查看日誌

 

 

 

 

j)           藉助表輸入預覽來查看數據是否存儲到數據庫

 

 

 

 

3．           MsSql 數據庫鏈接

 

1. 驅動錯誤

 

 

 

 

1. 新增驅動

 

 

a)         把下載的包放到對應位置

 

 

 

 

b)         測試鏈接

 

 

 

 

1. Mysql表數據獲取輸出到Mssql

 

a)         拖拽一個表輸入，設置一個有數據的表，輸出到一個一樣結構的空表

 

 

 

 

b)         配置映射關係

 

 

 

 

c)         啓動預覽

 

 

 

 

d)         預覽數據

 

 

 

 

4．            Oracle數據庫鏈接

 

1. 數據庫驅動及鏈接測試

 

a)         數據庫鏈接

 

 

 

 

b)         數據庫之間的交互能夠參照上面實例

 

5．           文件（Txt、Json、Xml、Access等）

 

1. 文件的路徑設置

 

a)         全局變量+文件方式（${Internal.Transformation.Filename.Directory}文件名）

 

1. 變量經過Ctrl+Alt+Space三個鍵組合顯示出來，或者使用圖表點擊

 

 

 

b)         絕對路徑

 

 

 

1. Access輸入

 

a)         Access文件選擇

 

 

 

 

b)         轉換預覽

 

 

 

 

1. Excel獲取

 

a)          Excel輸入

 

 

 

 

b)         添加文件

 

 

 

 

c)         選擇工做表

 

 

 

 

d)         設置須要獲取的字段

 

 

 

 

e)         預覽記錄

 

 

 

 

1. JSON 輸入

 

a)         Json文件輸入(8.1你可能找不到Json輸入，請拷貝文件Json輸入到你新的轉換)

 

 

 

 

b)         Json文件字段獲取

 

 

 

c)         預覽

 

 

 

1. 文本文件輸入

 

a)         通常文件

 

1. 輸入

 

 

 

1. 字段獲取=》預覽

 

 

 

b)         固定寬度文件輸入

 

1. 設置文件字段寬度

 

 

 

1. 字段設置=》預覽

 

 

 

c)         編碼文件輸入

 

 

 

1. 文件輸出分發

 

a)         設置結構

 

 

 

b)         複製兩份

 

 

 

c)         輸出兩個不一樣的文件

 

 

 

d)         兩個輸出文件一塊兒執行

 

 

 

6．           RestApiLogin

 

1. 用戶數據獲取（存在登陸參數）

 

a)         有參數直接調用方式http://10.60.136.145:9102/api/auth/login）登陸及獲取接口Json數據

 

 

 

b)         預覽

 

 

 

1. 用戶數據獲取（未登陸狀態）

 

a)         設置啓動參數

 

 

 

b)         設置參數字段是不是請求的頭類型

 

 

 

c)         結果中提取Token

 

 

 

d)         格式化符合規範的Token值

 

 

 

e)         設置請求參數字段類型

 

 

 

f)          結果一次解析，這裏獲得結果就能夠作更多的邏輯處理，分析是否繼續向下執行或解析

 

 

 

g)         Data二次解析

 

 

 

h)         過濾或選擇字段

 

 

 

i)           預覽

 

 

 

7．           Hbase數據庫

 

1. 相對麻煩，有須要請聯繫，這裏暫不增長篇幅
2. 新建轉換

 

8．           Job做業

 

a)         生成記錄

 

 

 

b)         文件輸出

 

 

 

c)         獲取字段

 

 

 

d)         運行

 

 

 

e)         預覽

 

 

 

1. 新建Job做業

 

a)         開始

 

 

 

b)         轉換引用

 

 

 

c)         成功標記

 

 

 

d)         運行預覽（每5秒從從頭執行一次）

 

 

 

e)         錯誤分支，返回剛纔的轉換，修改並保存

 

 

 

f)          錯誤分支設置

 

 

 

g)         錯誤做業預覽（基本的成功和錯誤的流程做業就先介紹到這裏）

 

 

 

h)         請測試完不要忘記中止做業哦

 

9．           業務場景

 

1. 總體結構

 

 

 

 

 

1. Csv場景：不斷監控某一個文件夾，把文件夾裏面的Csv文件進行解析入庫，須要執行增量更新，歷史文件進行備份。

 

a)         總體結構

 

 

 

b)         文件格式

 

 

 

c)         獲取文件

 

 

 

d)         字段選擇

 

 

 

e)         CSV文件輸入

 

 

 

b)         過濾記錄

 

 

 

c)         拆分字段

 

 

 

d)         字段選擇，格式化字段

 

 

 

e)         輸出到表

 

 

 

f)          排除不須要的字段行

 

 

 

g)         過濾記錄-用來作條件分支

 

 

 

h)         獲取有效字段

 

 

 

i)           記錄集鏈接

 

 

 

j)           字符串替換-找到下劃線進行替換空

 

 

 

k)         字段的選擇-表數據

 

 

 

l)           以上有邏輯裏面有給兩個表寫入數據，第一個表寫入原始數據做爲歷史記錄，第二個表是通過處理後的數據

 

m)       創建Job是可以自動監控文件夾，而後進行增量操做

 

 

 

n)         複製文件

 

 

 

• o)         複製文件設置

 

 

 

p)         設置轉換-指定轉換

 

 

 

q)         文件備份

 

 

 

r)          以上的做業能夠對一個文件夾持續監控執行轉換，最後備份文件

 

1. Cassandra場景：經過鏈接Cassandra數據庫獲取數據，而後經過RestApi接口提交數據

 

a)         總體結果

 

 

 

b)         鏈接數據庫

 

 

 

c)         增長字段

 

 

 

d)         設置字段常量-設置Json字符串模板

 

PostUrl: http://10.60.136.156:8089/api/dlapiservice/v1/BusinessIdValue

 

PostJsonStr: {"businessId":"businessIdValue","rowKvList":[{"columnKvList":[{"key":"rowkey","value":"rowkeyValue","type":"STRING"},{"key":"filename","value":"filenameValue","type":"STRING"},{"key":"filesize","value":"filesizeValue","type":"LONG"},{"key":"usercode","value":"usercodeValue","type":"STRING"},{"key":"username","value":"usernameValue","type":"STRING"}]}]}

 

 

 

e)         須要提交的數據格式

 

 

 

f)          Java片斷代碼-客製化字段

 

 

 

g)         字符串替換，模板字段替換

 

 

 

h)         RestClient-提交Json數據

 

 

 

i)           以上就是數據經過從數據庫提取轉換提交到Rest接口

 

1. 獲取RestApi數據 場景：獲取RestApi數據存儲到Mysql數據庫

 

a)         總體結果

 

 

 

b)         設置字段常量

 

http://10.60.136.156:8089/api/dlapiservice/v1/hbpincloud/WT00169:File:1540448142572:8a778832-0d28-4684-932d-6701e1028876/WT00169:File:1540448142584:3f18fdfd-3e73-4632-8acf-d5840f1e1429/10

 

 

 

c)         Get訪問RestApi

 

 

 

 

 

d)         Json的解析須要怎麼作？

 

 

 

e)         Json提取-提取關鍵字段

 

 

 

f)          Java片斷代碼

 

 

 

g)         提取字段

 

 

 

h)         插入/更新 寫入Mysql數據庫

 

 

 

 

 

 

 

10．     部署

 

1. Windows部署

 

a)         在windows下轉換及Job能夠依託windows排程來部署

 

b)         轉換部署

 

 

 

c)         Job部署

 

 

 

 

 

1. linux部署待續