Ubuntu 16.04安裝Elasticsearch，Logstash和Kibana（ELK）Filebeat

時間 2019-11-24

標籤 ubuntu 16.04 安裝 elasticsearch logstash kibana elk filebeat 欄目 Ubuntu 简体版

原文原文鏈接

https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-16-04html

在本教程中，咱們將在安裝Elasticsearch ELK在Ubuntu 16.04（即，Elasticsearch 2.3.x版本，Logstash 2.3.x版本，並Kibana 4.5.x）。咱們也將告訴你如何配置它收集和可視化你的系統的系統日誌進行集中...java

分類:Ubuntu Ubuntu 16.04 Monitoring 日誌彈性搜索運維操做系統服務器node

2016-05-05 21:11:00nginx

介紹

在本教程中，咱們將討論在Ubuntu 16.04上安裝Elasticsearch ELK（即Elasticsearch 2.3.x，Logstash 2.3.x和Kibana 4.5.x）。咱們還將向您展現如何配置它，以使用Filebeat 1.2.x在集中式位置收集和可視化系統的syslog。Logstash是一個用於收集，解析和存儲日誌以供未來使用的開源工具。 Kibana是一個Web界面，可用於搜索和查看Logstash索引的日誌。這兩個工具都基於Elasticsearch，用於存儲日誌。git

集中日誌記錄在嘗試識別服務器或應用程序的問題時很是有用，由於它容許您在單個位置搜索全部日誌。它也頗有用，由於它容許您經過在特定時間範圍內關聯其日誌來識別跨多個服務器的問題。github

可使用Logstash收集全部類型的日誌，但咱們將本教程的範圍限制爲syslog收集。web

咱們的目標

本教程的目標是設置Logstash以收集多個服務器的syslog，並設置Kibana以可視化收集的日誌。數據庫

咱們的ELK設置有四個主要組件：json

Logstash：用於處理傳入的日誌Logstash的服務器組件
Elasticsearch：存儲全部的日誌
Kibana：網絡接口，用於搜索和可視日誌，這將在經過Nginx的代理
Filebeat：安裝的客戶端服務器將發送其日誌Logstash上，Filebeat做爲一個利用樵夫網絡協議與Logstash通訊的日誌傳送代理

咱們將一臺服務器，其中，咱們將參照做爲咱們ELK服務器上安裝的前三個份量。 Filebeat將被安裝在全部咱們要收集原木，咱們將把統稱爲咱們的客戶服務器客戶端服務器。ubuntu

先決條件

要完成本教程，您將須要sudo在Ubuntu 16.04服務器上的訪問。說明設置，最多能夠在這裏找到：初始服務器設置與Ubuntu 16.04 。

若是你更喜歡使用CentOS的，而不是，看看這個教程：如何在CentOS 7安裝ELK 。

您的ELK服務器將須要的CPU，RAM和存儲量取決於您要收集的日誌的卷。在本教程中，咱們將使用具備如下規格的VPS用於咱們的ELK服務器：

操做系統：Ubuntu 16.04
RAM：4GB
CPU：2

除了您的ELK服務器，您將須要有一些其餘服務器，您將收集日誌。

讓咱們開始設置咱們的ELK服務器！

安裝Java 8

Elasticsearch和Logstash須要Java，因此咱們如今就安裝它。咱們將安裝最新版本的Oracle Java 8，由於這是Elasticsearch推薦的版本。然而，它應該與OpenJDK，若是你決定走這條路線工做正常。

加入甲骨文的Java PPA爲apt ：

sudo add-apt-repository -y ppa:webupd8team/java

更新apt包數據庫：

sudo apt-get update

使用此命令安裝最新穩定版本的Oracle Java 8（並接受彈出的許可協議）：

sudo apt-get -y install oracle-java8-installer

如今安裝了Java 8，咱們安裝ElasticSearch。

安裝Elasticsearch

官網最新倉庫源：https://www.elastic.co/guide/en/elasticsearch/reference/current/deb.html

Elasticsearch能夠經過添加Elastic的軟件包源列表與軟件包管理器一塊兒安裝。

運行如下命令將Elasticsearch公共GPG密鑰導入apt：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

若是你的提示彷佛掛起，它極可能在等待您的用戶密碼（受權sudo命令）。若是是這種狀況，請輸入您的密碼。

建立Elasticsearch源列表：

echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list

更新apt再次包數據庫：

sudo apt-get update

使用此命令安裝Elasticsearch：

sudo apt-get -y install elasticsearch

Elasticsearch現已安裝。讓咱們編輯配置：

sudo nano /etc/elasticsearch/elasticsearch.yml

您將要限制對Elasticsearch實例（端口9200）的外部訪問，所以外部人員沒法讀取您的數據或經過HTTP API關閉Elasticsearch集羣。查找指定線路network.host ，取消它，並與「localhost」的，因此它看起來像這樣替換它的價值：

/etc/elasticsearch/elasticsearch.yml excerpt（updated）

network.host: localhost

保存並退出elasticsearch.yml 。

如今，啓動Elasticsearch：

sudo systemctl restart elasticsearch

而後，運行如下命令在啓動時啓動Elasticsearch：

sudo systemctl daemon-reload sudo systemctl enable elasticsearch

如今Elasticsearch啓動並運行，讓咱們安裝Kibana。

安裝Kibana

Kibana能夠經過添加Elastic的軟件包源列表與軟件包管理器一塊兒安裝。

將Kibana添加到源列表中：

echo "deb http://packages.elastic.co/kibana/4.5/debian stable main" | sudo tee -a /etc/apt/sources.list

更新apt包數據庫：

sudo apt-get update

使用此命令安裝Kibana：

sudo apt-get -y install kibana

Kibana現已安裝。

打開Kibana配置文件進行編輯：

sudo nano /opt/kibana/config/kibana.yml

在Kibana配置文件，找到指定線server.host ，並替換爲「本地主機」的IP地址（由「0.0.0.0」默認值）：

/opt/kibana/config/kibana.yml excerpt（updated）

server.host: "localhost"

保存並退出。這個設置使得Kibana只能訪問localhost。這很好，由於咱們將使用Nginx反向代理容許外部訪問。

如今啓用Kibana服務，並啓動它：

sudo systemctl daemon-reload sudo systemctl enable kibana sudo systemctl start kibana

在咱們可使用Kibana Web界面以前，咱們必須設置一個反向代理。讓咱們如今作，與Nginx。

安裝Nginx

由於咱們配置Kibana爲監聽localhost ，咱們必須創建一個反向代理，容許它的外部訪問。咱們將使用Nginx爲此目的。

注意

若是你已經有一個Nginx實例，你想使用，請隨意使用它。只要確保配置Kibana因此它是由你的Nginx服務器訪問（您可能要更改的host值， /opt/kibana/config/kibana.yml ，您Kibana服務器的專用IP地址或主機名）。此外，建議您啓用SSL / TLS。

使用apt安裝Nginx的：

sudo apt-get -y install nginx

使用openssl建立一個管理員用戶，被稱爲「kibanaadmin」（你應該使用另外一個名字），能夠訪問Kibana Web界面：

sudo -v echo "kibanaadmin:`openssl passwd -apr1`" | sudo tee -a /etc/nginx/htpasswd.users

在提示符處輸入密碼。記住此登陸信息，由於您須要訪問Kibana Web界面。

如今打開你喜歡的編輯器中的Nginx默認服務器塊：

sudo nano /etc/nginx/sites-available/default

刪除文件的內容，並將如下代碼塊粘貼到文件中。請務必更新server_name以匹配您的服務器的名稱或公網IP地址：

/ etc / nginx / sites-available / default

server { listen 80; server_name example.com; auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/htpasswd.users; location / { proxy_pass http://localhost:5601; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection 'upgrade'; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; } }

保存並退出。這Nginx的配置您的服務器的HTTP流量直接到Kibana應用程序，它監聽localhost:5601 。此外，Nginx的將使用htpasswd.users文件，咱們前面建立和要求基自己份驗證。

如今，檢查配置語法錯誤，並從新啓動Nginx若是沒有找到：

sudo nginx -t sudo systemctl restart nginx

若是您按照16.04的初始服務器設置指南，您已啓用UFW防火牆。要容許鏈接到Nginx，咱們能夠經過鍵入如下內容來調整規則：

sudo ufw allow 'Nginx Full'

Kibana如今是經過您的FQDN或ELK服務器即公網IP地址訪問的http：//麋鹿\ _ SERVER \ _Public \ _ip / 。若是您在網絡瀏覽器中訪問，輸入「kibanaadmin」憑據後，您應該看到一個Kibana歡迎頁面，它將要求您配置索引模式。讓咱們回到那之後，在咱們安裝全部其餘組件。

安裝Logstash

Logstash包能夠從與Elasticsearch相同的存儲庫得到，咱們已經安裝了該公鑰，因此讓咱們將Logstash添加到咱們的源列表：

echo "deb http://packages.elastic.co/logstash/2.3/debian stable main" | sudo tee -a /etc/apt/sources.list

更新apt包數據庫：

sudo apt-get update

使用此命令安裝Logstash：

sudo apt-get install logstash

已安裝Logstash，但還沒有配置。

生成SSL證書

因爲咱們將使用Filebeat將日誌從咱們的客戶端服務器發送到咱們的ELK服務器，咱們須要建立一個SSL證書和密鑰對。 Filebeat使用該證書來驗證ELK Server的身份。使用如下命令建立將存儲證書和私鑰的目錄：

sudo mkdir -p /etc/pki/tls/certs sudo mkdir /etc/pki/tls/private

如今，您有兩個選項用於生成SSL證書。若是你有一個DNS設置，讓您的客戶端服務器解析服務器ELK的IP地址，使用選項2，不然， 選項1將容許您使用IP地址。

選項1：IP地址

若是沒有DNS設置，這將讓你的服務器，你會收集日誌從，解決您的ELK的IP地址，服務器，你將有你的ELK服務器的私有IP地址添加到subjectAltName （SAN）字段，咱們將要生成的SSL證書。爲此，請打開OpenSSL配置文件：

sudo nano /etc/ssl/openssl.cnf

找到[ v3_ca ]文件中的部分，並根據它（代在ELK服務器的私有IP地址 ）添加這一行：

/etc/ssl/openssl.cnf excerpt（更新）

subjectAltName = IP: ELK_server_private_IP

保存並退出。

如今產生的相應位置的SSL證書和私鑰（ /etc/pki/tls/... ），用下面的命令：

cd /etc/pki/tls sudo openssl req -config /etc/ssl/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

該logstash-forwarder.crt文件將被複制到全部將日誌發送到Logstash的服務器，但咱們會作到這一點稍晚。讓咱們完成咱們的Logstash配置。若是您使用此選項去了，跳過選項2並移動到配置Logstash。

選項2：FQDN（DNS）

若是您的DNS設置與您的專用網絡，您應該建立一個A記錄，包含ELK服務器的私有IP地址 - 這個域名將在下一個命令中使用，以生成SSL證書。或者，您可使用指向服務器的公共IP地址的記錄。只要確保您的服務器（您將收集日誌的服務器）將可以將域名解析到您的ELK服務器。

如今生成的SSL證書和私鑰，在適當的位置（ /etc/pki/tls/... ），具備如下（在ELK服務器的FQDN替補）：

cd /etc/pki/tls sudo openssl req -subj '/CN=ELK_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

該logstash-forwarder.crt文件將被複制到全部將日誌發送到Logstash的服務器，但咱們會作到這一點稍晚。讓咱們完成咱們的Logstash配置。

配置Logstash

Logstash配置文件中的JSON格式，並居住在/etc/logstash/conf.d 。該配置由三個部分組成：輸入，濾波器和輸出。

讓咱們建立一個名爲的配置文件02-beats-input.conf ，併成立了「filebeat」輸入：

sudo nano /etc/logstash/conf.d/02-beats-input.conf

插入下面的輸入配置：

/etc/logstash/conf.d/02-beats-Input.conf

input { beats { port => 5044 ssl => true ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt" ssl_key => "/etc/pki/tls/private/logstash-forwarder.key" } }

保存並退出。這指定了一個beats輸入，將監聽TCP端口5044 ，它將使用咱們前面建立的SSL證書和私鑰。

若是您遵循Ubuntu 16.04初始服務器設置指南，您將配置UFW防火牆。爲了讓Logstash到端口接收鏈接5044 ，咱們須要打開端口：

sudo ufw allow 5044

如今，讓咱們建立一個配置文件名爲10-syslog-filter.conf ，在這裏咱們將添加一個過濾系統日誌消息：

sudo nano /etc/logstash/conf.d/10-syslog-filter.conf

插入下面的系統日誌過濾器配置：

/etc/logstash/conf.d/10-syslog-filter.conf

filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" } add_field => [ "received_at", "%{@timestamp}" ] add_field => [ "received_from", "%{host}" ] } syslog_pri { } date { match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] } } }

保存並退出。該過濾器會尋找被標記爲「系統日誌」類型（Filebeat）日誌，它會嘗試使用grok來分析傳入的syslog日誌，使之結構化和查詢能力。

最後，咱們將建立一個名爲的配置文件30-elasticsearch-output.conf ：

sudo nano /etc/logstash/conf.d/30-elasticsearch-output.conf

插入下面的輸出配置：

/etc/logstash/conf.d/30-elasticsearch-output.conf

output { elasticsearch { hosts => ["localhost:9200"] sniffing => true manage_template => false index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" } }

保存並退出。該輸出基本上配置Logstash存儲其在運行中Elasticsearch的Beats數據localhost:9200 ，在所使用的拍子命名的索引（filebeat，在咱們的狀況下）。

若是要爲使用Filebeat輸入的其餘應用程序添加過濾器，請確保對文件命名，以便在輸入和輸出配置之間進行排序（即在02-和30-之間）。

使用此命令測試Logstash配置：

sudo /opt/logstash/bin/logstash --configtest -f /etc/logstash/conf.d/

幾秒鐘後，它應該顯示Configuration OK ，若是沒有語法錯誤。不然，請嘗試並讀取錯誤輸出，以查看您的Logstash配置有什麼問題。

從新啓動Logstash並啓用它，以使配置更改生效：

sudo systemctl restart logstash sudo systemctl enable logstash

Logstash會監聽

接下來，咱們將加載示例Kibana儀表板。

加載Kibana儀表板

Elastic提供了幾個樣例Kibana儀表板和Beats索引模式，能夠幫助您開始使用Kibana。雖然咱們不會在本教程中使用儀表板，咱們仍將加載它們，以便咱們可使用它包括的Filebeat索引模式。

使用curl將文件下載到你的主目錄：

cd ~ curl -L -O https://download.elastic.co/beats/dashboards/beats-dashboards-1.2.2.zip

安裝unzip包用這個命令：

sudo apt-get -y install unzip

接下來，提取歸檔的內容：

unzip beats-dashboards-*.zip

並使用如下命令將樣本儀表板，可視化和Beats索引模式加載到Elasticsearch中：

cd beats-dashboards-* ./load.sh

這些是咱們剛加載的索引模式：

packetbeat- *
topbeat- *
filebeat- *
winlogbeat- *

當咱們開始使用Kibana時，咱們將選擇Filebeat索引模式做爲默認值。

在Elasticsearch中加載Filebeat索引模板

由於咱們計劃使用Filebeat將日誌發送到Elasticsearch，咱們應該加載Filebeat索引模板。索引模板將配置Elasticsearch以智能方式分析傳入的Filebeat字段。

首先，將Filebeat索引模板下載到您的主目錄：

cd ~ curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json

而後使用此命令加載模板：

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat-index-template.json

若是模板加載正確，您應該看到這樣的消息：

Output:{ "acknowledged" : true }

如今咱們的ELK服務器已準備好接收Filebeat數據，讓咱們轉到在每一個客戶端服務器上設置Filebeat。

設置Filebeat（添加客戶端服務器）

對於您要將日誌發送到ELK服務器上的Logstash的每一個Ubuntu或Debian服務器，請執行如下步驟。有關在基於Red Hat Linux發行版（如RHEL，CentOS的，等等）安裝Filebeat說明，請參閱設置Filebeat（添加客戶端服務器）部分本教程的CentOS的變化。

複製SSL證書

在您的ELK服務器 ，複製您建立的客戶端服務器的SSL證書（替代客戶端服務器的地址和本身的登陸）：

scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp

提供登陸憑據後，請確保證書複製成功。它是客戶端服務器和ELK服務器之間的通訊所必需的。

如今，你的客戶端服務器上，複製ELK服務器的SSL證書到相應位置（ /etc/pki/tls/certs ）：

sudo mkdir -p /etc/pki/tls/certs sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

如今咱們將安裝Topbeat包。

安裝Filebeat包

在客戶端服務器 ，建立了Beats源列表：

echo "deb https://packages.elastic.co/beats/apt stable main" | sudo tee -a /etc/apt/sources.list.d/beats.list

它還使用與Elasticsearch相同的GPG密鑰，可使用此命令安裝：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

而後安裝Filebeat包：

sudo apt-get update sudo apt-get install filebeat

已安裝Filebeat，但還沒有配置。

配置Filebeat

如今咱們將配置Filebeat鏈接到咱們的ELK服務器上的Logstash。本節將逐步介紹如何修改Filebeat附帶的示例配置文件。當你完成這些步驟，你應該有一個看起來像一個文件這樣。

在客戶端服務器 ，建立和編輯Filebeat配置文件：

sudo nano /etc/filebeat/filebeat.yml

注意

Filebeat的配置文件是YAML格式的，這意味着縮進是很是重要的！請務必使用這些說明中指定的相同數量的空格。

接近文件的頂部，你會看到prospectors節，這是你能夠定義指定淘金哪些日誌文件應運，他們應該如何處理。每一個探礦者被標明-字符。

咱們將修改現有探礦發送syslog和auth.log到Logstash。在paths ，註釋掉- /var/log/*.log文件。這將防止Filebeat發送每.log在那個目錄中Logstash。而後，添加新條目syslog和auth.log 。完成後應該看起來像這樣：

/etc/filebeat/filebeat.yml excerpt 1/5

... paths:  - /var/log/auth.log  - /var/log/syslog # - /var/log/*.log ...

而後，找到指定行document_type:取消並改變其值設置爲「系統日誌」。在修改後應該看起來像這樣：

/etc/filebeat/filebeat.yml excerpt 2/5

... document_type: syslog ...

這指定在這個探礦的日誌類型的syslog（這是咱們Logstash過濾器正在尋找的類型）。

若是要將其餘文件發送到ELK服務器，或對Filebeat處理日誌的方式進行任何更改，請隨時修改或添加探測器條目。

接下來，根據output部分，找到這行elasticsearch:這代表Elasticsearch輸出部分（咱們不打算使用） 刪除或註釋掉整個Elasticsearch輸出部分 （最多這行#logstash: ）。

找到註釋掉Logstash輸出部分，由這行表示#logstash:並經過刪除前面的註釋它# 。在本節中，取消對hosts: ["localhost:5044"]行。更改localhost到您的ELK服務器的私有IP地址（或主機名，若是您使用該選項了）：

/etc/filebeat/filebeat.yml excerpt 3/5

 ### Logstash as output logstash: # The Logstash hosts hosts: ["ELK_server_private_IP:5044"]

這將配置Filebeat鏈接到Logstash在端口ELK服務器5044 （咱們指定的Logstash輸入早些時候端口）。

直屬hosts條目，並使用相同的縮進，加入這一行：

/etc/filebeat/filebeat.yml excerpt 4/5

 ### Logstash as output logstash: # The Logstash hosts hosts: ["ELK_server_private_IP:5044"] bulk_max_size: 1024

接下來，找到了tls部分，並取消它。而後取消對指定線路certificate_authorities ，它的值更改成["/etc/pki/tls/certs/logstash-forwarder.crt"] 。它應該看起來像這樣：

/etc/filebeat/filebeat.yml excerpt 5/5

...  tls: # List of root certificates for HTTPS server verifications certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

這將Filebeat配置爲使用咱們在ELK服務器上建立的SSL證書。

保存並退出。

如今從新啓動Filebeat將咱們的更改放置到位：

sudo systemctl restart filebeat sudo systemctl enable filebeat

一樣，若是你若是你的Filebeat配置是否正確還不能肯定，比較它反對這個例子Filebeat配置。

如今Filebeat發送syslog和auth.log到Logstash您的ELK服務器上！對於您要收集日誌的全部其餘服務器重複此部分。

測試Filebeat安裝

若是您的ELK已正確設置，Filebeat（在客戶端服務器上）應將您的日誌發送到ELK服務器上的Logstash。 Logstash應該使用咱們先前導入的索引將Filebeat數據加載到Elasticsearch中。

在您的ELK服務器 ，驗證Elasticsearch確實經過查詢Filebeat指數使用此命令接收數據：

curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'

你應該看到一堆看起來像這樣的輸出：

Sample Output:... { "_index" : "filebeat-2016.01.29", "_type" : "log", "_id" : "AVKO98yuaHvsHQLa53HE", "_score" : 1.0, "_source":{"message":"Feb 3 14:34:00 rails sshd[963]: Server listening on :: port 22.","@version":"1","@timestamp":"2016-01-29T19:59:09.145Z","beat":{"hostname":"topbeat-u-03","name":"topbeat-u-03"},"count":1,"fields":null,"input_type":"log","offset":70,"source":"/var/log/auth.log","type":"log","host":"topbeat-u-03"} } ...