flume初探 日誌收集之flume-ng源碼分析

flume NG核心概念

1. Event

2. Client

3. Agent

1. Source

2. Channel

3. Sink

   a.Event是Flume數據傳輸的基本單元。

   b.Flume以事件的形式將數據從源頭傳輸到最終的目的地（如 HDFS）。

   c.Event可由可選的header和載有數據的一個byte array構成。

   d.Client是一個將原始log包裝成 Events而且發送它們到一個或多個Agent實體。

   e.Client在Flume的拓撲結構中不是必須的，它的目的是從數據源系統中解耦Flume。

       f.一個Agent包含Source、Channel、Sink和其餘組件。

      g.Agent利用這些組件將Events從一個節點傳輸到另外一個節點或最最終的目的地（文件系統：如 HDFS）。

       h.Agent是Flume流的最重要的部分。

       i.Flume爲這些組件提供了配置、生命週期管理、監控支持。

        

flume初探：

http://blog.csdn.net/hpttlook/article/details/17012333

日誌收集之flume-ng源碼分析：

http://blog.csdn.net/hpttlook/article/details/22760547

flume學習（一）：log4j直接輸出日誌到flume

http://blog.csdn.net/xiao_jun_0820/article/details/37876773

【採集層】Kafka 與 Flume 如何選擇

http://my.oschina.net/frankwu/blog/355298

Kafka 之 入門

http://my.oschina.net/frankwu/blog/303745

Kafka 之 中級

http://my.oschina.net/frankwu/blog/305010