數據質量監控工具-Apache Griffin

一、概述 隨着業務發展和數據量的增加，大數據應用開發已成爲部門應用開發常用的開發方式，由於部門業務特點的關係，spark和hive應用開發在部門內部較爲常見。當處理的數據量達到一定量級和系統的複雜度上升時，數據的唯一性、完整性、一致性等等校驗就開始受到關注，而通常做法是根據業務特點，額外開發job如報表或者檢查任務，這樣會比較費時費力。 目前遇到的表大部分在幾億到幾十億的數據量之間，並且報表數量在

>>阅读原文<<