數據對接—kettle使用之十二

這一篇我們介紹轉換插件的使用,去除重複記錄和Unique rows (HashSet)。 去除重複記錄控件 該步驟從流中移除重複的記錄,根據指定的字段進行排除重複記錄,還可以統計出重複的數量,下面是控件截圖: 1、增加計數器到輸出:如果你想知道多少重複行被去掉,就選擇此選項。 2、重定向重複記錄 注意事項: 1、使用前需要排序 Unique rows (HashSet)控件 該步驟也可以從流中移除
相關文章
相關標籤/搜索