Apache Flume 學習

Apache Flume，又稱Flume NG (next generation)，前身是Cloudera公司的Flume項目 -- 又稱Flume OG。

這貨的功能就是從源中將數據收集到指定的目的地，例如從日誌文件中收集日誌信息，發送到數據庫中或其餘地方。

 

Apache Flume的三大塊：source、channel、sink；也就是 數據源、通道、目的地。

兩個主要的channel：①in-memory channel 非持久、速度快；②JDBC-based channel 持久、速度慢。

全部的節點統稱agent；每一個agent能運行0個或多個sources和sinks。

再也不須要master節點；再也不須要依賴zookeeper；配置文件簡化。