flume架構及應用介紹

時間  2019-12-06
標籤 flume 架構 應用 介紹 欄目 日誌分析 简体版
原文   原文鏈接

在具體介紹本文內容以前，先給你們看一下Hadoop業務的總體開發流程： 
這裏寫圖片描述 
從Hadoop的業務開發流程圖中能夠看出，在大數據的業務處理過程當中，對於數據的採集是十分重要的一步，也是不可避免的一步，從而引出咱們本文的主角—Flume。本文將圍繞Flume的架構、Flume的應用(日誌採集)進行詳細的介紹。 
（一）Flume架構介紹 
一、Flume的概念 
這裏寫圖片描述 
flume是分佈式的日誌收集系統，它將各個服務器中的數據收集起來並送到指定的地方去，好比說送到圖中的HDFS，簡單來講flume就是收集日誌的。 
二、Event的概念 
在這裏有必要先介紹一下flume中event的相關概念：flume的核心是把數據從數據源(source)收集過來，在將收集到的數據送到指定的目的地(sink)。爲了保證輸送的過程必定成功，在送到目的地(sink)以前，會先緩存數據(channel),待數據真正到達目的地(sink)後，flume在刪除本身緩存的數據。 
在整個數據的傳輸的過程當中，流動的是event，即事務保證是在event級別進行的。那麼什麼是event呢？—–event將傳輸的數據進行封裝，是flume傳輸數據的基本單位，若是是文本文件，一般是一行記錄，event也是事務的基本單位。event從source，流向channel，再到sink，自己爲一個字節數組，並可攜帶headers(頭信息)信息。event表明着一個數據的最小完整單元，從外部數據源來，向外部的目的地去。 
爲了方便你們理解，給出一張event的數據流向圖： 
這裏寫圖片描述 
一個完整的event包括：event headers、event body、event信息(即文本文件中的單行記錄)，以下因此： 
這裏寫圖片描述 
其中event信息就是flume收集到的日記記錄。 
三、flume架構介紹 
flume之因此這麼神奇，是源於它自身的一個設計，這個設計就是agent，agent自己是一個java進程，運行在日誌收集節點—所謂日誌收集節點就是服務器節點。 
agent裏面包含3個核心的組件：source—->channel—–>sink,相似生產者、倉庫、消費者的架構。 
source：source組件是專門用來收集數據的，能夠處理各類類型、各類格式的日誌數據,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定義。 
channel：source組件把數據收集來之後，臨時存放在channel中，即channel組件在agent中是專門用來存放臨時數據的——對採集到的數據進行簡單的緩存，能夠存放在memory、jdbc、file等等。 
sink：sink組件是用於把數據發送到目的地的組件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定義。 
四、flume的運行機制 
flume的核心就是一個agent，這個agent對外有兩個進行交互的地方，一個是接受數據的輸入——source，一個是數據的輸出sink，sink負責將數據發送到外部指定的目的地。source接收到數據以後，將數據發送給channel，chanel做爲一個數據緩衝區會臨時存放這些數據，隨後sink會將channel中的數據發送到指定的地方—-例如HDFS等，注意：只有在sink將channel中的數據成功發送出去以後，channel纔會將臨時數據進行刪除，這種機制保證了數據傳輸的可靠性與安全性。 
五、flume的廣義用法 
flume之因此這麼神奇—-其緣由也在於flume能夠支持多級flume的agent，即flume能夠先後相繼，例如sink能夠將數據寫到下一個agent的source中，這樣的話就能夠連成串了，能夠總體處理了。flume還支持扇入(fan-in)、扇出(fan-out)。所謂扇入就是source能夠接受多個輸入，所謂扇出就是sink能夠將數據輸出多個目的地destination中。 
這裏寫圖片描述 
（二）flume應用—日誌採集 
對於flume的原理其實很容易理解，咱們更應該掌握flume的具體使用方法，flume提供了大量內置的Source、Channel和Sink類型。並且不一樣類型的Source、Channel和Sink能夠自由組合—–組合方式基於用戶設置的配置文件，很是靈活。好比：Channel能夠把事件暫存在內存裏，也能夠持久化到本地硬盤上。Sink能夠把日誌寫入HDFS, HBase，甚至是另一個Source等等。下面我將用具體的案例詳述flume的具體用法。 
其實flume的用法很簡單—-書寫一個配置文件，在配置文件當中描述source、channel與sink的具體實現，然後運行一個agent實例，在運行agent實例的過程當中會讀取配置文件的內容，這樣flume就會採集到數據。 
配置文件的編寫原則： 
1>從總體上描述代理agent中sources、sinks、channels所涉及到的組件java

# Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
  • 1
  • 2
  • 3
  • 4

2>詳細描述agent中每個source、sink與channel的具體實現：即在描述source的時候，須要 
指定source究竟是什麼類型的，即這個source是接受文件的、仍是接受http的、仍是接受thrift 
的；對於sink也是同理，須要指定結果是輸出到HDFS中，仍是Hbase中啊等等；對於channel 
須要指定是內存啊，仍是數據庫啊，仍是文件啊等等。shell

# Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444

    # Describe the sink
    a1.sinks.k1.type = logger

    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

3>經過channel將source與sink鏈接起來數據庫

# Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1
  • 1
  • 2
  • 3

啓動agent的shell操做：express

flume-ng  agent -n a1  -c  ../conf   -f  ../conf/example.file  
    -Dflume.root.logger=DEBUG,console
  • 1
  • 2

參數說明： -n 指定agent名稱(與配置文件中代理的名字相同) 
-c 指定flume中配置文件的目錄 
-f 指定配置文件 
-Dflume.root.logger=DEBUG,console 設置日誌等級windows

具體案例： 
案例1： NetCat Source：監聽一個指定的網絡端口，即只要應用程序向這個端口裏面寫數據，這個source組件就能夠獲取到信息。 其中 Sink：logger Channel：memory 
flume官網中NetCat Source描述：數組

Property Name Default     Description
channels       –     
type           –     The component type name, needs to be netcat
bind           –  日誌須要發送到的主機名或者Ip地址，該主機運行着netcat類型的source在監聽          
port           –  日誌須要發送到的端口號，該端口號要有netcat類型的source在監聽
  • 1
  • 2
  • 3
  • 4
  • 5

a) 編寫配置文件：緩存

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.80.80
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

b) 啓動flume agent a1 服務端安全

flume-ng  agent -n a1  -c ../conf  -f ../conf/netcat.conf   -Dflume.root.logger=DEBUG,console
  • 1

c) 使用telnet發送數據服務器

telnet  192.168.80.80  44444  big data world！（windows中運行的）
  • 1

d) 在控制檯上查看flume收集到的日誌數據： 
這裏寫圖片描述網絡

案例2：NetCat Source：監聽一個指定的網絡端口，即只要應用程序向這個端口裏面寫數據，這個source組件就能夠獲取到信息。 其中 Sink：hdfs Channel：file (相比於案例1的兩個變化) 
flume官網中HDFS Sink的描述： 
這裏寫圖片描述 
a) 編寫配置文件：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.80.80
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

b) 啓動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/netcat.conf   -Dflume.root.logger=DEBUG,console
  • 1

c) 使用telnet發送數據

telnet  192.168.80.80  44444  big data world！（windows中運行的）
  • 1

d) 在HDFS中查看flume收集到的日誌數據： 
這裏寫圖片描述 
案例3：Spooling Directory Source：監聽一個指定的目錄，即只要應用程序向這個指定的目錄中添加新的文件，source組件就能夠獲取到該信息，並解析該文件的內容，而後寫入到channle。寫入完成後，標記該文件已完成或者刪除該文件。其中 Sink：logger Channel：memory 
flume官網中Spooling Directory Source描述：

Property Name       Default      Description
channels              –  
type                  –          The component type name, needs to be spooldir.
spoolDir              –          Spooling Directory Source監聽的目錄
fileSuffix         .COMPLETED    文件內容寫入到channel以後，標記該文件
deletePolicy       never         文件內容寫入到channel以後的刪除策略: never or immediate
fileHeader         false         Whether to add a header storing the absolute path filename.
ignorePattern      ^$           Regular expression specifying which files to ignore (skip)
interceptors          –          指定傳輸中event的head(頭信息)，經常使用timestamp
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

Spooling Directory Source的兩個注意事項：

①If a file is written to after being placed into the spooling directory, Flume will print an error to its log file and stop processing.
即：拷貝到spool目錄下的文件不能夠再打開編輯
②If a file name is reused at a later time, Flume will print an error to its log file and stop processing.
即：不能將具備相同文件名字的文件拷貝到這個目錄下
  • 1
  • 2
  • 3
  • 4

a) 編寫配置文件：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/datainput
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

b) 啓動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/spool.conf   -Dflume.root.logger=DEBUG,console
  • 1

c) 使用cp命令向Spooling Directory 中發送數據

cp datafile  /usr/local/datainput   (注：datafile中的內容爲：big data world！)
  • 1

d) 在控制檯上查看flume收集到的日誌數據： 
這裏寫圖片描述 
從控制檯顯示的結果能夠看出event的頭信息中包含了時間戳信息。 
同時咱們查看一下Spooling Directory中的datafile信息—-文件內容寫入到channel以後，該文件被標記了：

[root@hadoop80 datainput]# ls
datafile.COMPLETED
  • 1
  • 2

案例4：Spooling Directory Source：監聽一個指定的目錄，即只要應用程序向這個指定的目錄中添加新的文件，source組件就能夠獲取到該信息，並解析該文件的內容，而後寫入到channle。寫入完成後，標記該文件已完成或者刪除該文件。 其中 Sink：hdfs Channel：file (相比於案例3的兩個變化)

a) 編寫配置文件：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/datainput
a1.sources.r1.fileHeader = true
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# Describe the sink
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

b) 啓動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/spool.conf   -Dflume.root.logger=DEBUG,console
  • 1

c) 使用cp命令向Spooling Directory 中發送數據

cp datafile  /usr/local/datainput   (注：datafile中的內容爲：big data world！)
  • 1

d) 在控制檯上能夠參看sink的運行進度日誌： 
這裏寫圖片描述 
d) 在HDFS中查看flume收集到的日誌數據： 
這裏寫圖片描述 
這裏寫圖片描述 
從案例1與案例二、案例3與案例4的對比中咱們能夠發現：flume的配置文件在編寫的過程當中是很是靈活的。

案例5：Exec Source：監聽一個指定的命令，獲取一條命令的結果做爲它的數據源 
經常使用的是tail -F file指令，即只要應用程序向日志(文件)裏面寫數據，source組件就能夠獲取到日誌(文件)中最新的內容 。 其中 Sink：hdfs Channel：file 
這個案列爲了方便顯示Exec Source的運行效果，結合Hive中的external table進行來講明。

a) 編寫配置文件：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/local/log.file

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

b)在hive中創建外部表—–hdfs://hadoop80:9000/dataoutput的目錄，方便查看日誌捕獲內容

hive> create external table t1(infor  string)
    > row format delimited
    > fields terminated by '\t'
    > location '/dataoutput/';
OK
Time taken: 0.284 seconds
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

c) 啓動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/exec.conf   -Dflume.root.logger=DEBUG,console
  • 1

d) 使用echo命令向/usr/local/datainput 中發送數據

echo  big data > log.file
  • 1

d) 在HDFS和Hive分別中查看flume收集到的日誌數據： 
這裏寫圖片描述

hive> select * from t1;
OK
big data
Time taken: 0.086 seconds
  • 1
  • 2
  • 3
  • 4

e)使用echo命令向/usr/local/datainput 中在追加一條數據

echo big data world! >> log.file
  • 1

d) 在HDFS和Hive再次分別中查看flume收集到的日誌數據： 
這裏寫圖片描述 
這裏寫圖片描述

hive> select * from t1;
OK
big data
big data world!
Time taken: 0.511 seconds
  • 1
  • 2
  • 3
  • 4
  • 5

總結Exec source：Exec source和Spooling Directory Source是兩種經常使用的日誌採集的方式，其中Exec source能夠實現對日誌的實時採集，Spooling Directory Source在對日誌的實時採集上稍有欠缺，儘管Exec source能夠實現對日誌的實時採集，可是當Flume不運行或者指令執行出錯時，Exec source將沒法收集到日誌數據，日誌會出現丟失，從而沒法保證收集日誌的完整性。

案例6：Avro Source：監聽一個指定的Avro 端口，經過Avro 端口能夠獲取到Avro client發送過來的文件 。即只要應用程序經過Avro 端口發送文件，source組件就能夠獲取到該文件中的內容。 其中 Sink：hdfs Channel：file 
(注：Avro和Thrift都是一些序列化的網絡端口–經過這些網絡端口能夠接受或者發送信息，Avro能夠發送一個給定的文件給Flume，Avro 源使用AVRO RPC機制) 
Avro Source運行原理以下圖： 
這裏寫圖片描述 
flume官網中Avro Source的描述：

Property     Name   Default Description
channels      –  
type          –     The component type name, needs to be avro
bind          –     日誌須要發送到的主機名或者ip，該主機運行着ARVO類型的source
port          –     日誌須要發送到的端口號，該端口要有ARVO類型的source在監聽
  • 1
  • 2
  • 3
  • 4
  • 5

1)編寫配置文件

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = 192.168.80.80
a1.sources.r1.port = 4141

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop80:9000/dataoutput
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in file
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/flume/checkpoint
a1.channels.c1.dataDirs = /usr/flume/data

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

b) 啓動flume agent a1 服務端

flume-ng  agent -n a1  -c ../conf  -f ../conf/avro.conf   -Dflume.root.logger=DEBUG,console
  • 1

c)使用avro-client發送文件

flume-ng avro-client -c  ../conf  -H 192.168.80.80  -p 4141 -F /usr/local/log.file
  • 1

注：log.file文件中的內容爲：

[root@hadoop80 local]# more log.file
big data
big data world!
  • 1
  • 2
  • 3

d) 在HDFS中查看flume收集到的日誌數據： 
這裏寫圖片描述 
這裏寫圖片描述 
這裏寫圖片描述

經過上面的幾個案例，咱們能夠發現：flume配置文件的書寫是至關靈活的—-不一樣類型的Source、Channel和Sink能夠自由組合！

最後對上面用的幾個flume source進行適當總結： 
① NetCat Source：監聽一個指定的網絡端口，即只要應用程序向這個端口裏面寫數據，這個source組件 
就能夠獲取到信息。 
②Spooling Directory Source：監聽一個指定的目錄，即只要應用程序向這個指定的目錄中添加新的文 
件，source組件就能夠獲取到該信息，並解析該文件的內容，而後寫入到channle。寫入完成後，標記 
該文件已完成或者刪除該文件。 
③Exec Source：監聽一個指定的命令，獲取一條命令的結果做爲它的數據源 
經常使用的是tail -F file指令，即只要應用程序向日志(文件)裏面寫數據，source組件就能夠獲取到日誌(文件)中最新的內容 。 
④Avro Source：監聽一個指定的Avro 端口，經過Avro 端口能夠獲取到Avro client發送過來的文件 。即只要應用程序經過Avro 端口發送文件，source組件就能夠獲取到該文件中的內容。

若有問題，歡迎留言指正！

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程