數據預處理之文件轉換kettle：去除重複的數據

【實驗目的】 利用Kettle的「去除重複記錄」組件，實現去除重複數據。 【實驗原理】 通過「阻塞數據直到步驟都完成」對多張表格的外鍵進行排序，然後通過「記錄集連接」進行多表連接，再通過「字段選擇」選擇合適的字段輸出到表格。 【實驗步驟】 一、創建轉換 1．點擊，在下拉菜單中點擊選擇，這樣創建了一個轉換文件。我們點擊，重命名該轉換文件，保存在某個指定的路徑 2．我們在新建的轉換文件上開始可視化編程

>>阅读原文<<