flume+Kafka+Storm+HDFS實時系統組合

做軟件開發的都知道模塊化思想,這樣設計的原因有兩方面: 一方面是可以模塊化,功能劃分更加清晰,從「數據採集--數據接入--流失計算--數據輸出/存儲」   1).數據採集 負責從各節點上實時採集數據,選用cloudera的flume來實現 2).數據接入 由於採集數據的速度和數據處理的速度不一定同步,因此添加一個消息中間件來作爲緩衝,選用apache的kafka 3).流式計算 對採集到的數據進行
相關文章
相關標籤/搜索