ETL - 實戰 Kettle 第三講

前(fei)言(hua) 在填充數據的時候，如果是測試數據，我們會經常發現有重複數據，這時候我們可以在表輸入中，使用 distinct 語句去重，但是如果幾行重複數據中，有一些諸如創建時間、更新時間等無關字段不同時，語句去重就達不到目的，這時候，我們就可以用PDI提供的去除重複記錄步驟來實現，它的方便不在於能去除重複行數據，甚至可以去重指定字段，你只需在需要去重的步驟後添加即可。 搜索步驟去除重複

>>阅读原文<<