kibana 安裝部署

案例1. Kibaba:數據可視化平臺工具

1.特色:靈活的分析和可視化平臺

實時總結流量和數據的圖表

爲不一樣的用戶顯示直觀的界面

即時分享和嵌入的儀表盤

2.kibana安裝

1.首先配置yum源

   將1.51的yum源copy給kibana主機,

2.修改/etc/hosts 保證互相能ping通

3.ssh-copy-id 保證與其餘機器免密登陸

4.安裝:yum -y install kibana

5.修改配置文件

vim /opt/kibana/config/kibana.yml

 6.啓動,設置開機自啓動

systemctl start kibana

systemctl enable kibana

 7.web訪問kibana

 

  Logstash是什麼

 是一個數據採集.加工處理以及傳輸的工具

特色:

全部類型的數據集中處理

不一樣模式和格式數據的正常化

自定義日誌格式的迅速擴展

爲自定義數據源輕鬆添加插件

3. logstash 三大模塊

input 模塊:只負責獲取數據(經過郵件,緩存,web sockt等等),不作任何處理.原封不動的交給filter    -----至關於採購

filter 模塊:進行數據處理(變成有序的格式)         -----加工處理(廚師)

output 模塊:輸出格式化好的數據(內部處理 收發郵件,等)        ------服務員(上菜)

 修改配置文件(定義這三個區域)

vim

input{

}

filter{

}

output{

}

 

 file模塊使用

 mkdir /tmp/a.log

mkdir /var/tmp/b.log

echo A_${RANDOM} >> /tmp/a.log
echo A_${RANDOM} >> /var/tmp/b.log
新開一個終端查詢是否監控到

 cd /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-pattern

 2 案例2：綜合練習

• 安裝配置 beats插件
• 安裝一臺Apache服務並配置
• 使用filebeat收集Apache服務器的日誌
• 使用grok處理filebeat發送過來的日誌
• 存入elasticsearch
• 使用 kibana 作圖形展現

步驟一：安裝logstash

1）配置主機名，ip和yum源，配置/etc/hosts（請把es1-es五、kibana主機配置和logstash同樣的/etc/hosts）

 

 2）安裝java-1.8.0-openjdk和logstash

 

 啓動並測試

 ]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

 3）codec類插件

 

       啓動並測試

 4）file模塊插件

 

建立兩個日誌目錄,並測試

1. root@logstash ~] touch /tmp/a.log
2. [root@logstash ~]# touch /tmp/b.log
3. [root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

 另開一個終端：寫入數據

1. [root@logstash ~]# echo a1 > /tmp/a.log
2. [root@logstash ~]# echo b1 > /var/tmp/b.log

 以前終端查看：

 

5）filter grok插件

grok插件：

解析各類非結構化的日誌數據插件

grok使用正則表達式把飛結構化的數據結構化

在分組匹配，正則表達式須要根據具體數據結構編寫

雖然編寫困難，但適用性極廣

解析Apache的日誌

  下載http服務都任一臺機器上

1. [root@es5 ~]# yum -y install httpd
2. [root@es5 ~]# systemctl restart httpd

瀏覽器訪問一次網頁，在/var/log/httpd/access_log有日誌出現

1. cat /var/log/httpd/access_log
2. 192.168.1.254 - - [12/Mar/2019:11:51:31 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"

 複製/var/log/httpd/access_log的日誌到logstash下的/tmp/a.log

若要解決沒有解析的問題，一樣的方法把日誌複製到/tmp/a.log，logstash.conf配置文件裏面修改grok,查找正則宏路徑

 解析出的結果

 步驟二： 安裝Apache服務，用filebeat收集Apache服務器的日誌，並存入elasticsearch

1）在以前安裝了Apache的主機上面安裝filebeat

 

  2)修改配置文件

  [root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

打開另外一終端查看5044是否成功啓動

1. [root@logstash ~]# netstat -antup | grep 5044

firefox 192.168.1.55 //ip爲安裝filebeat的那臺機器

回到原來的終端，有數據

2）修改logstash.conf文件

 瀏覽器訪問Elasticsearch，有apachelog，如圖-20所示：

1. [student@room9pc01 ~]$ firefox http://192.168.1.55:9200/_plugin/head