ELK搭建（詳細步驟）

文章目錄

• • 第一部分安裝node和elasticsearch-head
  • 第二部分安裝elasticsearch
  • 第三部分kibana
  • 第四部分logstash

1、什麼是ELK

 

ELK是Elasticsearch + Logstash + Kibana 這種架構的簡寫。這是一種日誌分平臺析的架構。從前咱們用shell三劍客(grep, sed, awk)來分析日誌, 雖然也能對付大多數場景，但當日志量大，分析頻繁，而且使用者可能不會shell三劍客的狀況下， 配置方便，使用簡單，而且分析結果更加直觀的工具(平臺)就誕生了，它就是ELK。 ELK是開源的，而且社區活躍，用戶衆多。固然國內也有一些收費的，比較好用的日誌分析平臺，好比日誌易(日誌易的同事趕忙給我打錢，畢竟這廣告打的好)。

2、ELK常見的幾種架構

1 Elasticsearch + Logstash + Kibana
這是一種最簡單的架構。這種架構，經過logstash收集日誌，Elasticsearch分析日誌，而後在Kibana(web界面)中展現。這種架構雖然是官網介紹裏的方式，可是每每在生產中不多使用。

2 Elasticsearch + Logstash + filebeat + Kibana
與上一種架構相比，這種架構增長了一個filebeat模塊。filebeat是一個輕量的日誌收集代理，用來部署在客戶端，優點是消耗很是少的資源(較logstash)， 因此生產中，每每會採起這種架構方式，可是這種架構有一個缺點，當logstash出現故障， 會形成日誌的丟失。

3 Elasticsearch + Logstash + filebeat + redis(也能夠是其餘中間件，好比kafka) + Kibana
這種架構是上面那個架構的完善版，經過增長中間件，來避免數據的丟失。當Logstash出現故障，日誌仍是存在中間件中，當Logstash再次啓動，則會讀取中間件中積壓的日誌。目前我司使用的就是這種架構，我我的也比較推薦這種方式。

架構圖：

說明： logstash節點和elasticsearch節點能夠根據日誌量伸縮數量， filebeat部署在每臺須要收集日誌的服務器上。

首先準備安裝包

傳輸到linux下找個目錄存放

第一部分安裝node和elasticsearch-head

做爲web展現 因此首先安裝nodejs 主要是利用npm

1安裝wget
yum install -y wget
2.鏡像淘寶下載node-v11
wget https://npm.taobao.org/mirrors/node/v11.0.0/node-v11.0.0.tar.gz
3.解壓
tar -zxvf node-v11.0.0.tar.gz
4.進入node-v11
cd node-v11.0.0
5.安裝編譯環境
yum install -y gcc gcc-c++
6.啓用配置
./configure
7.編譯（會很慢，此處開啓第二個會話窗口進行第二部分安裝）
make
8.安裝
make install
9.查看版本（看到此圖說明成功）
node –v

切換到安裝軟件的目錄

10安裝elasticsearch-head監控elasticsearch集羣環境
沒有unzip用yum下載安裝一個
unzip –zxvf elasticsearch-head-master
進入到解壓後的目錄中
npm install
npm run start
在瀏覽器url輸入
http://ip:9100/

第二部分安裝elasticsearch

1.安裝jdk，elasticsearch是依賴javajdk的
2.解壓tar -zxvf elasticsearch6.2.2
3.config/elasticsearch.yml 配置環境

cluster.name: es-app #集羣名稱，能夠自行修改 node.name: es-1 #節點名稱，自行修改 network.host: 192.168.235.133 #主機地址，這裏寫本機IP http.port: 9200 #端口 (手動輸入) http.cors.enabled: true #設置跨域 http.cors.allow-origin: "*" #設置訪問

 

4.vi /etc/security/limits.conf
擴大系統最大文件數 在文件末尾添加

* soft nofile 65536 * hard nofile 131072 * soft nproc 4096 * hard nproc 4096

5.解決虛擬內存過低，增長最大字節處理長度
修改vi /etc/sysctl.conf文件末尾追加

vm.max_map_count=655360

查看激活

6.自建用戶並受權
useradd
passwd

修改root用戶對sudoers文件的可寫權限
chmod u+w /etc/sudoers

編輯：
vi /etc/sudoers

7進入到elasticsearch的bin目錄
賦權
chown 用戶名 -R 安裝目錄

切換到非root用戶後
./elasticsearch 啓動

8以後在瀏覽器url輸入
http://ip:9200/
出現此圖證實成功

以後返回等待編譯第一部分

第三部分kibana

1.解壓縮安裝kibana
tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz

2.修改配置文件
在config下的kibana.yml

保存退出後
3.開啓
cd 到bin目錄下
./kibana
在瀏覽器url輸入
http://192.168.56.227:5601

第四部分logstash

1解壓縮
tar -zxvf logstash-6.2.2.tar.gz
2在logstash目錄下
bin/logstash -e ‘input { stdin { } } output { stdout {} }’
輸入hello能夠看到stdout輸出的結果:hello

 

https://blog.csdn.net/weixin_42385705/article/details/103342947?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-2&spm=1001.2101.3001.4242