[logstash-input-file]插件使用詳解

　　前篇介紹過Logstash的使用，本篇繼續深刻，介紹下最經常使用的input插件——file。

　　這個插件能夠從指定的目錄或者文件讀取內容，輸入到管道處理，也算是logstash的核心插件了，大多數的使用場景都會用到這個插件，所以這裏詳細講述下各個參數的含義與使用。

最小化的配置文件

　　在Logstash中能夠在 input{} 裏面添加file配置，默認的最小化配置以下：

input {
    file { path => "E:/software/logstash-1.5.4/logstash-1.5.4/data/*" }
}
filter {
    
}
output {
    stdout {}
}

　　固然也能夠監聽多個目標文件：

input {
    file { path => ["E:/software/logstash-1.5.4/logstash-1.5.4/data/*","F:/test.txt"] }
}
filter {
    
}
output {
    stdout {}
}

　　文件的路徑名須要時絕對路徑，而且支持globs寫法。

其餘的配置

　　另外，處理path這個必須的項外，file還提供了不少其餘的屬性：

input {
 file { #監聽文件的路徑 path => ["E:/software/logstash-1.5.4/logstash-1.5.4/data/*","F:/test.txt"]
        #排除不想監聽的文件
        exclude => "1.log"
        
        #添加自定義的字段
        add_field => {"test"=>"test"}
        #增長標籤
        tags => "tag1"

        #設置新事件的標誌
        delimiter => "\n"

        #設置多長時間掃描目錄，發現新文件
        discover_interval => 15
        #設置多長時間檢測文件是否修改
        stat_interval => 1

         #監聽文件的起始位置，默認是end
        start_position => beginning

        #監聽文件讀取信息記錄的位置
        sincedb_path => "E:/software/logstash-1.5.4/logstash-1.5.4/test.txt"
        #設置多長時間會寫入讀取的位置信息
        sincedb_write_interval => 15 }
}
filter {
    
}
output {
    stdout {}
}

　　其中值得注意的是：

　　1 path

　　是必須的選項，每個file配置，都至少有一個path

　　2 exclude

　　是不想監聽的文件，logstash會自動忽略該文件的監聽。配置的規則與path相似，支持字符串或者數組，可是要求必須是絕對路徑。

　　3 start_position

　　是監聽的位置，默認是end，即一個文件若是沒有記錄它的讀取信息，則從文件的末尾開始讀取，也就是說，僅僅讀取新添加的內容。對於一些更新的日誌類型的監聽，一般直接使用end就能夠了；相反，beginning就會從一個文件的頭開始讀取。可是若是記錄過文件的讀取信息，這個配置也就失去做用了。

　　4 sincedb_path

　　這個選項配置了默認的讀取文件信息記錄在哪一個文件中，默認是按照文件的inode等信息自動生成。其中記錄了inode、主設備號、次設備號以及讀取的位置。所以，若是一個文件僅僅是重命名，那麼它的inode以及其餘信息就不會改變，所以也不會從新讀取文件的任何信息。相似的，若是複製了一個文件，就至關於建立了一個新的inode，若是監聽的是一個目錄，就會讀取該文件的全部信息。

　　5 其餘的關於掃描和檢測的時間，按照默認的來就行了，若是頻繁建立新的文件，想要快速監聽，那麼能夠考慮縮短檢測的時間。

　　6 add_field

　　就是增長一個字段，例如：

file {
     add_field => {"test"=>"test"}
        path => "D:/tools/logstash/path/to/groksample.log"
        start_position => beginning
    }

　　7 tags

　　用於增長一些標籤，這個標籤可能在後續的處理中起到標誌的做用

　　8 delimiter

　　是事件分行的標誌，若是配置成123,那麼就會以下所示。這個選項，一般在多行事件中比較有用。

　　暫時關於file就研究的這麼多，後續會深刻學習源碼，作更多的分享。

參考

【1】logstash官方文檔：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#plugins-inputs-file-sincedb_path