ELK Stack 企業日誌

#1) System initialization on each Servers
cat >> /etc/security/limits.conf << EOF
* hard memlock unlimited
* soft memlock unlimited
* - nofile 65535
EOF

cat > /etc/sysctl.conf << EOF
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
vm.swappiness = 0
vm.max_map_count=262144
vm.dirty_ratio=10
vm.dirty_background_ratio=5
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.ip_local_port_range = 10000 65000
EOF


sysctl -p

setenforce 0
sed -i 's/^SELINUX=.*$/SELINUX=disabled/' /etc/selinux/config
 
systemctl stop firewalld.service
systemctl disable firewalld.service
  
#2) Install JDK on each Servers
wget -c http://download.cashalo.com/schema/auto_jdk.sh
source auto_jdk.sh

接下來執行下面的腳本，我這裏是三臺服務器組成的ES集羣，腳本里已經帶了參數，能夠交互式的輸入實際的服務器IP地址，因此請在每一個節點都運行

#!/bin/bash
IP=`ifconfig|sed -n 2p|awk '{print $2}'|cut -d ":" -f2`
if [ `whoami` != root ]
then
echo "Please login as root to continue :)"
exit 1
fi

if [ ! -d /home/tools/ ];then
mkdir -p /home/tools
else
rm -rf /home/tools && mkdir -p /home/tools
fi

yum install perl-Digest-SHA -y && cd /home/tools

#wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.1.rpm
#wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.1.rpm.sha512
#shasum -a 512 -c elasticsearch-6.8.1.rpm.sha512 
#sudo rpm --install elasticsearch-6.8.1.rpm

#3) Download elasticsearch-5.6.10 on each servers
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.10.rpm
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.10.rpm.sha512
shasum -a 512 -c elasticsearch-5.6.10.rpm.sha512
sudo rpm --install elasticsearch-5.6.10.rpm
 
#4) Modify elasticsearch.yml File
#Note: network.host means your IP address
cat >/etc/elasticsearch/elasticsearch.yml<<EOF
cluster.name: graylog
node.name: localhost
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: $IP
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2", "node3"]
discovery.zen.minimum_master_nodes: 2
EOF

read -p "pls input nodename: " Name
sed -i "s/localhost/$Name/g" /etc/elasticsearch/elasticsearch.yml
echo -e "\033[33m your nodename is $Name \033[0m"

read -p "pls input node1 ip address: " ip1
sed -i "s/node1/$ip1/g" /etc/elasticsearch/elasticsearch.yml
echo -e "\033[33m your node1 ip address is $ip1 \033[0m"
echo -e "###############################################"
echo -e "###############################################"

read -p "pls input node2 ip address: " ip2
sed -i "s/node2/$ip2/g" /etc/elasticsearch/elasticsearch.yml
echo -e "\033[33m your node2 ip address is $ip2 \033[0m"
echo -e "###############################################"
echo -e "###############################################"

read -p "pls input node3 ip address: " ip3
sed -i "s/node3/$ip3/g" /etc/elasticsearch/elasticsearch.yml
echo -e "\033[33m your node3 ip address is $ip3 \033[0m"
echo -e "###############################################"
echo -e "###############################################"


#5) Create elasticsearch Directory on each Servers
mkdir -p /data/elasticsearch/
chown -R elasticsearch.elasticsearch /data/elasticsearch/
 
#6) Start elasticsearch on each Servers
service elasticsearch restart && chkconfig elasticsearch on
 
#7) Check your elasticsearch Service
 
curl -X GET "http://127.0.0.1:9200/_cat/health?v"

3.3 數據操做

RestFul API格式

curl -X<verb> ‘<protocol>://<host>:<port>/<path>?<query_string>’-d ‘<body>’

參數	描述
verb	HTTP方法，好比GET、POST、PUT、HEAD、DELETE
host	ES集羣中的任意節點主機名
port	ES HTTP服務端口，默認9200
path	索引路徑
query_string	可選的查詢請求參數。例如?pretty參數將返回JSON格式數據
-d	裏面放一個GET的JSON格式請求主體
body	本身寫的 JSON格式的請求主體