數據採集階段技術對比（flume，kafka，sqoop）

數據採集技術 數據收集架構   Kafka架構圖 集羣由zookeeper管理 Kafka的特點： 1. 磁盤存儲 2. 高吞吐率（每秒幾十萬條消息） 3. 分佈式架構，能對消息進行分析 4. 將數據並行加載到hadoop分區   Flume 架構圖 1. agent：就是將數據源的數據發送給collector 2. Collector：將數據源彙總給storage 3. Storage ：存儲數

>>阅读原文<<