kafka消息系統-海量數據遷移方案

1、需求描述 因爲本人主要從事大數據可視化的工做，就少不了對海量數據的分析，可是咱們並非數據的生產來源，數據來自有大數據可視化分析需求的用戶，因此實際業務中每每會遇到大量數據從傳統存儲方式（關係型數據庫、文件存儲等）到數據倉庫的遷移，本次就以實現如何基於kafka從oracle到hive倉庫作數據的遷移工做。 本次操做的數據量爲空間座標數據，原始數據存儲在oracle中，大概10億條左右，經過自己

>>阅读原文<<