不同hive集羣中基於表的數據一致性比對

    前陣子博主遇到一個需求，因對hadoop集羣進行數據遷移，數據遷移完畢後進行兩個hive庫的數據一致性的比對，不僅對源表數據進行比對，而且要同時使用兩個集羣加工相同數據，對加工後的數據進行數據一致性比對。     博主已知的數據遷移方法有兩種，第一種就是hadoop distcp功能來進行集羣間數據的複製，那麼基本就不用做源表的數據驗證了，集羣間數據複製失敗會報錯提示。     第二種方法

>>阅读原文<<