ELK日誌分析平臺系統CentOS7環境搭建和基本使用

1、搭建環境

系統環境：CentOS7

安裝iptables：http://www.javashuo.com/article/p-wiezucrm-kp.html

jdk1.8：  https://www.cnblogs.com/coder-lzh/p/8746609.html

ElasticSearch: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

Logstash: https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz

Kibana: https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-linux-x86_64.tar.gz 

 

2、Elasticsearch安裝配置

1.進入路徑並遠程下載安裝包

$ cd /usr/local

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

 

2.解壓至/usr/local/目錄下並刪除安裝包

$ tar -zxvf elasticsearch-6.5.4.tar.gz
$ rm -rf elasticsearch-6.5.4.tar.gz

 

3.啓動試試

• 進入安裝目錄的config配置文件

$ cd elasticsearch-6.5.4/config/

$ vim elasticsearch.yml

# 修改一下ES的監聽地址，這樣別的機器也能夠訪問
network.host: 0.0.0.0

# 默認的端口號
http.port: 9200

# enable cors，保證_site類的插件能夠訪問es
http.cors.enabled: true
http.cors.allow-origin: "*"

#啓用單節點
discovery.type: single-node

#默認開啓bootstrap檢查 關掉
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

 

• 啓動須要非root，能夠新建一個啓動用戶並設置權限

useradd elk         #建立用戶elk
groupadd elk        #建立組elk
useradd elk -g elk  #將用戶添加到組

# 修改文件全部者
chown -R elk:elk /usr/local/elasticsearch-6.5.4/

 

• 設置內核參數

$ vim /etc/sysctl.conf

增長如下參數

vm.max_map_count=655360

執行生效配置

$ sysctl -p

 

• 設置資源參數

$ vim /etc/security/limits.conf

在最後一行添加

* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072

 

• 設置用戶資源參數

$ vim /etc/security/limits.d/20-nproc.conf

設置elk用戶參數

elk    soft    nproc     65536

 

• 開放9200端口

# 關閉默認firewalld
$ systemctl stop firewalld.service

# 查看開放端口列表
$ iptables -L –n

# 編輯開放端口信息文件

$ vim /etc/sysconfig/iptables

# 添加端口9200端口

-A INPUT -p tcp -m tcp --dport 9200 -j ACCEPT

# 重啓iptables

service   iptables restart

 

• 啓動

# 以 elk 用戶身份進行啓動

$ cd /usr/local/elasticsearch-6.5.4/bin
$ su elk elasticsearch &

 

# 出現如下json說明啓動成功
$ curl http://localhost:9200

 

# 在本身瀏覽器輸入ip:9200出現如下json則說明成功
http://ip:9200/

 

• 關閉

# 查找進程號
$ ps -ef | grep elastic
# kill掉這個進程

$ kill -9 進程號

 

• head插件我沒有用到  能夠看這個連接進行配置 https://www.cnblogs.com/hts-technology/p/8556279.html

 

3、Logstash安裝配置

1.進入路徑並遠程下載安裝包

$ cd /usr/local

$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz

 

2.解壓至/usr/local/目錄下並刪除安裝包(和上面Elasticsearch安裝同樣我就不截圖啦)

$tar -zxvf logstash-6.5.4.tar.gz
$ rm -rf logstash-6.5.4.tar.gz

 

3.啓動試試

• 建立配置文件

# 進入配置文件目錄
$ cd logstash-6.5.4/config

# 建立一個自定義的配置文件
$ vim logstash.conf

# 輸入最簡單的配置- 使用 input 和 output 定義收集日誌時的輸入和輸出的相關配置
input { stdin { } }
output {
    stdout { codec=> rubydebug }
}

 

• 啓動

# 進入安裝包的bin目錄
$ cd /logstash-6.5.4/bin

# 啓動並指定配置文件 - 我輸入了hello world！ 出現以下圖則說明成功啓動
$  ./logstash -f /usr/local/logstash-6.5.4/config/logstash.conf

 

• 使用Elasticsearch來收集Logstash的日誌數據

# 進入配置文件目錄
$ cd /logstash-6.5.4/config

# 建立一個自定義的配置文件
$ vim logstash-test.conf

# 輸入最簡單的配置- 使用 input 和 output 定義收集日誌時的輸入和輸出的相關配置
input { stdin { } }

output {
    elasticsearch {hosts => "192.168.30.132:9200" } #elasticsearch服務地址
    stdout { codec=> rubydebug }
}

# 同上啓動步驟 進入bin,不過此次指定的配置文件是新建的文件 - 我輸入了hello world ~ 出現以下圖則說明成功

$ ./logstash -f /usr/local/logstash-6.5.4/config/logstash-test.conf

 

恭喜~如今你已經成功利用Logstash收集日誌數據給Elasticsearch查詢了~~~~

 

4、kibana的安裝

1.進入路徑並遠程下載安裝包

$ cd /usr/local

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-linux-x86_64.tar.gz

 

 

2.解壓至/usr/local/目錄下並刪除安裝包(和上面Elasticsearch安裝同樣我就不截圖啦)

$ tar -zxvf kibana-6.5.4-linux-x86_64.tar.gz

$ mv kibana-6.5.4-linux-x86_64 kibana-6.5.4 # 修改一下文件名稱

$ rm -rf kibana-6.5.4-linux-x86_64.tar.gz 

 

3.啓動試試

• 修改配置文件

$ cd /usr/local/kibana-6.5.4/config #進入安裝的配置目錄

$ vim kibana.yml # 修改文件

# 修改如下參數
server.port: 5601          # 開啓默認端口5601
server.host: "0.0.0.0"     # 默認值 : 「localhost」，此設置指定後端服務器的主機 
elasticsearch.url: "http://localhost:9200"   # 指向elasticsearch服務的ip地址
kibana.index: 「.kibana」

 

• 開放5601端口

# 關閉默認firewalld
$ systemctl stop firewalld.service

# 查看開放端口列表
$ iptables -L –n

# 編輯開放端口信息文件

$ vim /etc/sysconfig/iptables

# 添加端口9200端口

-A INPUT -p tcp -m tcp --dport 5601 -j ACCEPT

# 重啓iptables

$ service iptables restart

 

• 啓動

$ cd /usr/local/kibana-6.5.4/bin

$ ./kibana &

# 注意哈

# 關閉我都用的kill哈哈哈 參考上面的步驟就行~

# 若是你以前啓動的都中止了，須要按照以前啓動步驟把Elasticsearch和Logstash啓動，這樣才能夠完整的操做ELK~~~

# 在本身瀏覽器訪問ip:5601出現如下界面~那麼恭喜你~成功~

# 新建index步驟和Windows模式同樣同樣的，在這裏就不重複啦~可參考 http://www.javashuo.com/article/p-anklhspy-ko.html

 

到如今爲止最基本的搭建和使用就完成了~歡迎你們補充指正~

 

如下是我遇到問題的參考連接（很是很是感謝~）

ELK步驟搭建

http://www.javashuo.com/article/p-wmwrvaoe-ct.html

 

Elasticsearch5-啓動檢查（Bootstrap Checks）問題

https://yq.aliyun.com/ziliao/417380 

http://www.javashuo.com/article/p-pgazpzde-kb.html

 

Logstash啓動實時收集日誌

https://blog.csdn.net/qq_32292967/article/details/78622647

 

netstat 查看端口占用狀況

http://www.javashuo.com/article/p-qejxahfg-ez.html