Flume相關文章聚集

flume安裝:

https://blog.csdn.net/u011254180/article/details/80000763

 

 

1 運行機制

一、 Flume分佈式系統中最核心的角色是agent，flume採集系統就是由一個個agent所鏈接起來造成

二、每個agent至關於一個數據傳遞員，內部有三個組件：

    a) Source：採集源，用於跟數據源對接，以獲取數據

    b) Sink：下沉地，採集數據的傳送目的，用於往下一級agent傳遞數據或者往最終存儲系統傳遞數據

    c) Channel：angent內部的數據傳輸通道，用於從source將數據傳遞到sink

 

2.Flume採集系統結構圖

2.1 簡單結構: 單個agent採集數據

 

 

2.2 複雜結構: 多級agent之間串聯

 

 

3 Flume實戰案例

一、Flume的安裝很是簡單，只須要解壓便可，固然，前提是已有hadoop環境

上傳安裝包到數據源所在節點上

而後解壓  tar -zxvf apache-flume-1.6.0-bin.tar.gz

而後進入flume的目錄，修改conf下的flume-env.sh，在裏面配置JAVA_HOME

二、根據數據採集的需求配置採集方案，描述在配置文件中(文件名可任意自定義)

三、指定採集方案配置文件，在相應的節點上啓動flume agent

 

注：

Source——日誌來源，其中包括：Avro Source、Thrift Source、Exec Source、JMS Source、Spooling Directory Source、Kafka Source、NetCat Source、Sequence Generator Source、Syslog Source、HTTP Source、Stress Source、Legacy Source、Custom Source、Scribe Source以及Twitter 1% firehose Source。

Channel——日誌管道，全部從Source過來的日誌數據都會以隊列的形式存放在裏面，它包括：Memory Channel、JDBC Channel、Kafka Channel、File Channel、Spillable Memory Channel、Pseudo Transaction Channel、Custom Channel。

Sink——日誌出口，日誌將經過Sink向外發射，它包括：HDFS Sink、Hive Sink、Logger Sink、Avro Sink、Thrift Sink、IRC Sink、File Roll Sink、Null Sink、HBase Sink、Async HBase Sink、Morphline Solr Sink、Elastic Search Sink、Kite Dataset Sink、Kafka Sink、Custom Sink。