kafka消息系統-海量數據遷移方案

一、需求描述 由於本人主要從事大數據可視化的工作，就少不了對海量數據的分析，但是我們並不是數據的生產來源，數據來自有大數據可視化分析需求的用戶，所以實際業務中往往會遇到大量數據從傳統存儲方式（關係型數據庫、文件存儲等）到數據倉庫的遷移，本次就以實現如何基於kafka從oracle到hive倉庫做數據的遷移工作。 本次操作的數據量爲空間座標數據，原始數據存儲在oracle中，大概10億條左右，通過本

>>阅读原文<<