Gobblin data quality checker

QualityChecker用於數據質量檢查,共有兩種類型的QualityChecker:第一種,行級別檢查器。用來決定每一條被處理的數據時候能被的提交進入下一個階段。第二種:任務級別檢查器。QualityChecker設置爲OPTINAL時,表示QualityChecker可選,當數據質量不滿足QualityChecker的策略policy時,只打印警告信息,不阻斷job運行,當設置爲FAIL時
相關文章
相關標籤/搜索