爲什麼需要flume以及flume的原理

1.爲什麼要有flume?     flume的設計宗旨是向hadoop集羣批量導入基於事件的海量數據。一個典型的例子就是利用flume從一組web服務器中收集日誌文件，然後把這些文件中的日誌事件轉移到一個新的HDFS彙總文件中以做進一步的處理，所以flume的終點sink一般是HDFS,當然因爲flume本生的靈活性，又可以將採集到的數據輸出到HDFS、hbase、hive、kafka等衆多外部

>>阅读原文<<