Java分批寫入大量數據到kafka，sparkStreaming實時消費kafka，完成數據下沉(Hive到Hive數據遷移/同步)

最近遇到這樣的一個場景: 存在兩個Hadoop集羣，須要將一個集羣中的hive數據傳輸到另外一個集羣的hive中。且源端hive爲其餘公司數據源，涉及到的必定的安全和保密性。java 現大體思路爲: Java讀取源端hive—>我司kafka—>sparkStreaming讀取kafka—>目標端hivenode 代碼示例: Java獲取其餘公司hive表數據: package com.zhbr.

>>阅读原文<<