關於Logstash中grok插件的正則表達式例子
近期須要對Nginx產生的日誌進行採集，問了下度娘，業內最著名的解決方案非ELK(Elasticsearch, Logstash, Kibana)莫屬。linux
Logstash負責採集日誌，Elasticsearch負責存儲、索引日誌，Kibana則負責經過Web形式展示日誌。nginx
今天，我要說的是Logstash，它能夠從多種渠道採集數據，包括控制檯標準輸入、日誌文件、隊列等等，只要你能想到，均可以經過插件的方式實現。正則表達式
其中，日誌源提供的日誌格式可能並非咱們想要插入存儲介質裏的格式，因此，Logstash裏提供了一系列的filter來讓咱們轉換日誌。windows
Grok就是這些filters裏最重要的一個插件，下面我就說說它。api
2、Grok提供的經常使用Patterns說明及舉例
大多數Linux使用人員都有過用正則表達式來查詢機器中相關文件或文件裏內容的經歷，在Grok裏，咱們也是使用正則表達式來識別日誌裏的相關數據塊。ruby
有兩種方式來使用正則表達式：服務器
直接寫正則來匹配app
用Grok表達式映射正則來匹配ide
在我看來，每次從新寫正則是一件很痛苦的事情，爲何不用表達式來一勞永逸呢？
特別提示：Grok表達式很像C語言裏的宏定義
要學習Grok的默認表達式，咱們就要找到它的具體配置路徑，路徑以下：
# Windows下路徑[你的logstash安裝路徑]\vendor\bundle\jruby\x.x\gems\logstash-patterns-core-x.x.x\patterns\grok-patterns
如今對經常使用的表達式進行說明:
經常使用表達式
USERNAME 或 USER
用戶名，由數字、大小寫及特殊字符(._-)組成的字符串好比：
1234、Bob、Alex.Wong等EMAILLOCALPART
電子郵件用戶名部分，首位由大小寫字母組成，其餘位由數字、大小寫及特殊字符(_.+-=:)組成的字符串。注意，國內的QQ純數字郵箱帳號是沒法匹配的，須要修改正則好比：
stone、Gary_Lu、abc-123等EMAILADDRESS
電子郵件好比：
stone@abc.com、Gary_Lu@gmail.com、abc-123@163.com等HTTPDUSER
Apache服務器的用戶，能夠是EMAILADDRESS或USERNAMEINT
整數，包括0和正負整數好比：
0、-123、43987等BASE10NUM 或 NUMBER
十進制數字，包括整數和小數好比：
0、18、5.23等BASE16NUM
十六進制數字，整數好比：
0x0045fa2d、-0x3F8709等BASE16FLOAT
十六進制數字，整數和小數WORD
字符串，包括數字和大小寫字母好比：
String、3529345、ILoveYou等NOTSPACE
不帶任何空格的字符串SPACE
空格字符串QUOTEDSTRING 或 QS
帶引號的字符串好比：
"This is an apple"、'What is your name?'等UUID
標準UUID好比：
550E8400-E29B-11D4-A716-446655440000MAC
MAC地址，能夠是Cisco設備裏的MAC地址，也能夠是通用或者Windows系統的MAC地址IP
IP地址，IPv4或IPv6地址好比：
127.0.0.1、FE80:0000:0000:0000:AAAA:0000:00C2:0002等HOSTNAME
主機名稱IPORHOST
IP或者主機名稱HOSTPORT
主機名(IP)+端口好比：
127.0.0.1:3306、api.stozen.NET:8000等PATH
路徑，Unix系統或者Windows系統裏的路徑格式好比：
/usr/local/nginx/sbin/nginx、c:\windows\system32\clr.exe等URIPROTO
URI協議好比：
http、ftp等URIHOST
URI主機好比：
www.stozen.Net、10.0.0.1:22等URIPATH
URI路徑好比：
//www.stozen.net/abc/、/api.PHP等URIPARAM
URI裏的GET參數好比：
?a=1&b=2&c=3URIPATHPARAM
URI路徑+GET參數好比：
//www.stozen.net/abc/api.php?a=1&b=2&c=3URI
完整的URI好比：
http://www.stozen.net/abc/api.php?a=1&b=2&c=3
日期時間表達式
MONTH
月份名稱好比：
Jan、January等MONTHNUM
月份數字好比：
03、9、12等MONTHDAY
日期數字好比：
03、9、31等DAY
星期幾名稱好比：
Mon、Monday等YEAR
年份數字HOUR
小時數字MINUTE
分鐘數字SECOND
秒數字TIME
時間好比：
00:01:23DATE_US
美國日期格式好比：
10-15-1982、10/15/1982等DATE_EU
歐洲日期格式好比：
15-10-1982、15/10/1982、15.10.1982等ISO8601_TIMEZONE
ISO8601時間格式好比：
+10:23、-1023等TIMESTAMP_ISO8601
ISO8601時間戳格式好比：
2016-07-03T00:34:06+08:00DATE
日期，美國日期%{DATE_US}或者歐洲日期%{DATE_EU}DATESTAMP
完整日期+時間好比：
07-03-2016 00:34:06HTTPDATE
http默認日期格式好比：
03/Jul/2016:00:36:53 +0800
Log表達式
LOGLEVEL
日誌等級好比：
Alert、alert、ALERT、Error等
3、建立本身的Grok表達式
在業務領域中，可能會有愈來愈多的日誌格式出如今咱們眼前，而Grok的默認表達式顯然已沒法知足咱們的需求（好比用戶×××號、手機號等信息），因此，咱們須要本身動手添加些表達式。
| 表達式 | 正則表達式 | 說明 |
|---|---|---|
| DATE_CHS | %{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY} | 中國人習慣的日期格式 |
| ZIPCODE_CHS | [1-9]\d{5} | 國內郵政編碼 |
| GAME_ACCOUNT | [a-zA-Z][a-zA-Z0-9_]{4,15} | 遊戲帳號，首字符爲字母，4-15位字母、數字、下劃線組成 |
還有不少，須要您在業務中靈活運用！
- 1. 關於Logstash中grok插件的正則表達式例子
- 2. Logstash筆記（三）----Filter插件及grok的正則表達式來解析日誌
- 3. 關於restful的segment小例子，restful正則表達式例子
- 4. logstash grok正則表達式測試工具GrokConstructor
- 5. logstash 正則表達式
- 6. 正則表達式+grok學習
- 7. 關於正則表達式
- 8. 關於JS中正則表達式
- 9. 正則表達式--子表達式
- 10. 正則表達式使用及例子
- 更多相關文章...
- • Scala 正則表達式 - Scala教程
- • PHP 正則表達式(PCRE) - PHP參考手冊
- • IntelliJ IDEA安裝代碼格式化插件
- • ☆基於Java Instrument的Agent實現
-
每一个你不满意的现在，都有一个你没有努力的曾经。