數據對接—kettle使用之十二

這一篇我們介紹轉換插件的使用，去除重複記錄和Unique rows (HashSet)。 去除重複記錄控件 該步驟從流中移除重複的記錄，根據指定的字段進行排除重複記錄，還可以統計出重複的數量，下面是控件截圖： 1、增加計數器到輸出：如果你想知道多少重複行被去掉，就選擇此選項。 2、重定向重複記錄 注意事項： 1、使用前需要排序 Unique rows (HashSet)控件 該步驟也可以從流中移除

>>阅读原文<<