flume+kafka+hdfs構建實時消息處理系統

flume是一個實時消息收集系統，它定義了多種的source、channel、sink，可以根據實際情況選擇。 Flume下載及文檔： http://flume.apache.org/ Kafka kafka是一種高吞吐量的分佈式發佈訂閱消息系統，她有如下特性： 通過O(1)的磁盤數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。 高吞吐量：即使是非常普通的硬

>>阅读原文<<