大數據採集架構

概述 一般來說，當在Hadoop集羣上，有足夠數據處理的時候，通常會有很多生產數據的服務器。這些服務器的數量上百甚至成千上萬。小的數據還可以直接從應用程序寫入HDFS，但龐大數量的服務器試着將海量數據直接寫入HDFS或者HBase集羣，會因爲多種原因導致重大問題。 所以這個中間系統（數據採集系統）就是將應用程序發送過來的信息轉發到分佈式的後臺服務器集羣上， ChuKwa ChuKwa是一個開源的用

>>阅读原文<<