graylog日誌分析系統上手教程

日誌分析系統能夠實時收集、分析、監控日誌並報警，固然也能夠非實時的分析日誌。splunk是功能強大且用起來最省心的，可是要收費，免費版有天天500M的限制，超過500M的日誌就無法處理了。ELK系統是最多見的，缺點是配置麻煩一些，比較重量級。graylog是開源免費的，配置上要比ELK系統簡單。綜上，本文嘗試容器方式搭建一套graylog系統，不作實時收集日誌和報警的配置，只完成非實時被動接收網站日誌，分析日誌各項指標的功能。

docker官方鏡像國內速度我以爲慢，改爲國內鏡像。新建文件daemon.json以下

vi /etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}

也能夠用網易鏡像http://hub-mirror.c.163.com
配置完重啓docker才能生效

#service docker restart

拉取以下三個鏡像

docker pull mongo:3
docker pull docker.elastic.co/elasticsearch/elasticsearch-oss:6.8.10
docker pull graylog/graylog:3.3

不要急着按照網上的方法啓動鏡像，我開始docker啓動elasticsearch，雖然顯示啓動成功，但過半分鐘後偷偷退出，這致使graylog在瀏覽器打不開。最後經過查看容器啓動時的日誌，發現elasticsearch對於系統參數是有要求的，按以下修改。

在 /etc/sysctl.conf文件最後添加一行

vm.max_map_count=262144

vi /etc/security/limits.conf

*              -       nofile            102400

修改完成後重啓系統使變量生效。

docker啓動elasticsearch時要加上參數

--ulimit nofile=65536:65536 --ulimit nproc=4096:4096

，確保容器內環境知足要求，不然在docker pa -a命令下會看到exit(78)或exit(1)的容器異常退出錯誤。
查看容器啓動報錯最準確的方法是「docker logs -f 容器ID」這個命令，咱們不加--ulimit 參數試試

[root@bogon ~]# docker ps
CONTAINER ID        IMAGE                                                      COMMAND                CREATED             STATUS              PORTS                                            NAMES
7e4a811093d9        docker.elastic.co/elasticsearch/elasticsearch-oss:6.8.10   "/usr/local/bin/dock   6 seconds ago       Up 4 seconds        0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp   elasticsearch

用上面的CONTAINER ID產看啓動時的日誌

[root@bogon ~]# docker logs -f 7e4a811093d9
最後會打印出
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2]: max number of threads [3869] for user [elasticsearch] is too low, increase to at least [4096]
[2020-08-27T06:10:25,888][INFO ][o.e.n.Node               ] [WG6mVz4] stopping ...
[2020-08-27T06:10:25,903][INFO ][o.e.n.Node               ] [WG6mVz4] stopped
[2020-08-27T06:10:25,903][INFO ][o.e.n.Node               ] [WG6mVz4] closing ...
[2020-08-27T06:10:25,928][INFO ][o.e.n.Node               ] [WG6mVz4] closed

兩行too low的提示就是容器退出的緣由。
三個容器正確的啓動命令以下

docker run --name mongo -d mongo:3

docker run --name elasticsearch \
    -e "http.host=0.0.0.0" \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    --ulimit nofile=65536:65536 --ulimit nproc=4096:4096 \
    -p 9200:9200 -p 9300:9300 \
    -d docker.elastic.co/elasticsearch/elasticsearch-oss:6.8.10

docker run --name graylog --link mongo --link elasticsearch \
    -p 9000:9000 -p 12201:12201 -p 1514:1514 -p 5555:5555 \
    -v /home/graylog/geodata:/usr/share/graylog/log \
    -e GRAYLOG_HTTP_EXTERNAL_URI="http://192.168.56.106:9000/" \
    -d graylog/graylog:3.3

mongo的啓動沒什麼可說的。
elasticsearch的--ulimit必須加不然啓動後退出，-p 9200:9200是管理端口，未來刪除數據須要訪問這個端口。
graylog 9000端口是系統界面，5555是開的tcp端口，用於被動接收日誌數據的。

-v /home/graylog/geodata:/usr/share/graylog/log

是把本地/home/graylog/geodata掛載到容器的/usr/share/graylog/log目錄，我這麼配置是爲了讓graylog能讀到GeoLite2-City.mmdb地理信息數據庫，這個庫是把ip和地理位置對應起來了。原本想把它拷貝到容器裏，但報錯

[root@localhost graylog]# docker cp ./GeoLite2-City.mmdb 151960c2f33b:/usr/share/graylog/data/
Error: Path not specified

說是要升級docker1.7到更高版本，不想升級，改爲掛載方法了。若是不想掛載什麼文件，-v這行參數能夠去掉。
我是用命令「#docker exec -it graylog容器ID bash" 先進入容器，看到容器內/usr/share/graylog/log目錄沒什麼東西，因此選擇掛載到這個目錄的。
地理數據用於顯示訪問網站的ip分佈在哪一個城市國家，還有世界地圖的顯示。須要在https://dev.maxmind.com/zh-ha...，麻煩的是這裏須要註冊。我下載的是GeoLite2-City_20200825.tar.gz，解壓後有GeoLite2-City.mmdb，上傳這個文件到Linux的/home/graylog/geodata目錄，這個文件是須要掛載到容器，給graylog使用的。
不想註冊請從下面連接下載
連接：https://pan.baidu.com/s/1Lovr...
niI66CkmA
提取碼：bsmm

GRAYLOG_HTTP_EXTERNAL_URI的地址不要寫127.0.0.1，這樣若是在Linux的外部訪問，雖然能通，可是網頁是空白一片，要寫Linux對外的ip地址，這樣在外部瀏覽器打開才正常。

另外graylog的啓動是依賴於mongo和elasticsearch的，等其它兩個都成功啓動，再啓動graylog。

下面開始演示若是配置graylog系統，而且分析網站的Apache標準格式的日誌。大概步驟以下
配置input->給input配置extractor->配置地理信息數據庫->手動輸入日誌->分析日誌。
瀏覽器輸入http://192.168.56.106:9000/ 用戶名和密碼都是admin，登錄進graylog系統。
system->input,

點擊select input右側的下拉箭頭，出現下拉列表，選擇raw/plaintext TCP

而後點擊Lanch new input，Node下拉惟一選擇給選上，Title隨意起名，Port寫5555，由於咱們docker啓動參數寫的-p 5555:5555 這兩個必須保持一致。

其它不用填點擊下方SAVE按鈕，會自動啓動該input，能夠看到local inputs下方增長了剛纔的配置。其實如今用cat access.log | nc localhost 5555等命令給5555端口發送日誌數據，數據就能夠進入到graylog系統，而且能夠進行簡單的搜索了。但這種搜索是最基礎的字符串匹配，價值不大。咱們要分析日誌的各項指標，而且生成圖表，必須讓系統能解析每條日誌的各個field（字段或域值），例如clientip就是一個field，request也是一個field。要解析出field要給input配置extractor，點擊Manager exactor。

Extractors JSON裏貼入下面內容

{
"extractors": [
    {
"title": "commonapache",
"extractor_type": "grok",
"converters": [],
"order": 0,
"cursor_strategy": "copy",
"source_field": "message",
"target_field": "",
"extractor_config": {
"grok_pattern": "%{COMMONAPACHELOG}"
      },
"condition_type": "none",
"condition_value": ""
    }
  ],
"version": "3.3.5"
}

最後點擊 add extrators to input，顯示successful便可。
到這裏已經能夠正確解析日誌得field了。可是若是咱們想分析和地理位置相關的信息，還必須配置地理信息數據庫，上文下載的mmdb文件。
system->configurations，最右下方有一項Geo-Location Processor，點擊改項目下方的update按鈕

配置完成，點擊save。

Configurations最上方Message Processors Configuration下方表格裏要把GeoIP Resolver放在表格的最下方。點擊表格下方的update

鼠標按住GeoIP Resolver往下方拖，

完成後點擊save。Message Processors Configuration表格的GeoIP Resolver到了最下方。
下面是手動輸入日誌到input了，我將access2020-07-06.log放到了Linux目錄下，在目錄下執行

# cat access2020-07-06.log | head -n 10000 | nc localhost 5555

命令是將log從頭開始的10000行日誌發送到本機的5555端口，因爲graylog的input配置的也是5555端口，docker run graylog時命令參數也是-p 5555:5555，只要這三處保持一致，這個命令是必定能成功的。這裏命令nc、ncat、netcat三個都能到達一樣的效果。

導入完成後，選擇graylog最上方的search選項

上方的按鈕是查詢時間範圍，這個時間是日誌導入的時間，不是日誌自己記錄請求的時間，若是要查所有直接選擇search in all messages
下方放大鏡按鈕就是搜索，後方能夠添加搜索關鍵字，或者某個field的限制，有不少搜索語法很是方便，點擊搜索後，不符合條件的日誌記錄會被去除。
下方All Messages就是符合條件的原始的日誌結果。
若是想統計訪問來源於哪些城市，點擊左側邊欄最下的X（field）形按鈕。選擇clientip_cityname->show top values

鼠標點擊右側灰色區域，回到主界面，訪問來源的城市信息已經在列表裏了。

N/A表示的是有大量請求識別不出ip所在的城市，這有多是咱們的地理信息數據庫不全不新，或者有些192 172這種內網地址的訪問沒法識別地區，這裏不重點討論了。若是要剔除N/A數據，只看可識別城市的分佈，鼠標放到N/A右側，會出現下拉菜單的箭頭，點擊箭頭，選擇exclude from results，N/A的數據就會去除，上面的搜索欄內也會自動增長這個篩選條件，

注意如今的統計是剔除了N/A的數據，數據範圍實際是比所有日誌範圍縮小了的，這在實際應用中頗有價值，不少狀況下咱們統計某些指標，就是要看某個局部範圍的。下面咱們看看訪問來源城市的統計圖，點擊右上角下拉箭頭，選擇Edit

點擊左側Date Table處下拉菜單，能夠看到柱狀圖、餅狀圖、散點圖等都列在裏面，選擇哪一個右側就會出現那種統計的圖表。



若是要展現訪問來源在世界地圖的分佈，field菜單選擇clientip_geolocation->show top values，

彈出的統計表格是經緯度座標的訪問次數。和上面圖標同樣，進入Date Tabel下拉菜單，最下方有world map

選擇會顯示地圖統計結果，放大調整位置以下圖

其它指標的統計如request分佈，訪問時間分佈，在field下列表裏都有，根據須要按上面一樣操做。地理信息數據和標準的Apache日誌能夠結合生效，但一些自定義的extractor是否生效是不必定的。

番外篇

給input配置extractor，上面配置的是標準的Apache格式日誌，若是日誌格式是nginx或者自定義的怎麼辦呢？
graylog提供了給日誌配置extractor的功能，假設咱們配置完input，沒有給input配置extractor，直接導入日誌，按以下步驟配置extractor
input界面選擇manager extractor

getstarted

load message會將剛進入的日誌中的一條顯示出來，點擊message位置的select extractor type，表示咱們要對message也就是整條信息配置extractor，下拉菜單選擇Grok Pattern。若是日誌進入時間比較久，load message沒法展現日誌，須要經過旁邊message ID的標籤來搜索日誌，須要提供message ID和index，這兩個參數在搜索界面下方all message裏，隨便點擊一條日誌數據，展開就能夠看到。message ID形如4b282600-e8d2-11ea-b962-0242ac110008，index形如graylog_0。

進入Extractor configuration，裏面的pattern要本身填寫，能夠在右側已有的pattern選擇若干個組合，也能夠本身定義，這裏須要對grok和正則語法熟練了。我這裏填寫的是解析nginx原生日誌的pattern格式，也是網上搜索的。填寫完點擊try against example，若是解析成功，下方會表格形式列出各個field對應該條日誌的值。不成功就會報錯，須要修改pattern直到不報錯。

個人pattern以下

^%{IPORHOST:clientip} (?:-|%{USER:ident}) (?:-|%{USER:auth}) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|-)\" %{NUMBER:response} (?:-|%{NUMBER:bytes})([\s\S]{1})\"(?<http_referer>\S+)\"([\s\S]{1})\"(?<http_user_agent>(\S+\s+)*\S+)\".*%{BASE16FLOAT:request_time}

解析成功，Extractor title隨便起個名，點擊最下方create extractor

extractor已經成功添加給input了，上面的action有export extractor，點擊能夠以json格式展現剛纔配置的extractor。

拷貝這個json文本，保存在本地，之後遇到nginx原生格式日誌，直接經過上面的import extractor就直接使用，不用在配置grok pattern測試了。
須要說明的是一條日誌記錄有沒有被解析爲各個field，取決於日誌進入系統時，有沒有配置extractor。後配置的extractor對在以前的日誌是起不到解析做用的。
若是配置完extractor，相同格式日誌只進入系統一小部分，不要找其它緣由了，緣由就是pattern不對，雖然測試經過了，也配上了，可是還須要你從新修改pattern，若是pattern正確，符合格式的日誌應該全都進入系統。

對於有些日誌格式，配置grok pattern須要大量調試，graylog調試並不方便，官方grok調試器網站國內都打不開了。下面提供一個工具，能夠直接粘貼日誌到頁面調試
連接：https://pan.baidu.com/s/1gWX4...
提取碼：t6q6
windows的cmd直接java -jar GrokConstructor-0.1.0-SNAPSHOT-standalone.jar
而後瀏覽器訪問127.0.0.1:8080，點擊matcher，上面填寫日誌，下方填寫grok pattern，

點擊go，若是成功解析，會表格形式展現解析各個field結果。

ramdom example給出了一些常見日誌的例子和對應的pattern格式。

若是要從新配置graylog和輸入數據，先

docker stop $(docker ps -a -q)

中止全部容器，而後

docker rm $(docker ps -a -q)

刪除全部容器，而後docker run 按順序啓動三個容器，這樣啓動的容器是全新的，以前的配置和數據都會丟失。
上面對容器的操做麻煩，可使用

curl -L https://github.com/docker/compose/releases/download/1.25.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

安裝docker-compose，將啓動參數等要求寫到docker-compose.yml文件裏，這種方式操做命令會很簡單。