大型集團內部數據採集方案設計

當大型集團內部、如總公司和子公司之間需要進行數據交換、採集時，其中總公司是Hive數據源，兩個NameNode，30個DataNode的高可用集羣，子公司一般是Mysql數據源，總公司與各個子公司之間都是網絡隔離的。  　　　　　　　　　　　　　　　　 現在我們首先考慮的業務場景是總公司對各個子公司進行數據採集，也就是子公司將mysql上的數據同步到總公司的hive數倉內。 如果在子公司服務器使用

>>阅读原文<<