Linux中添加計劃任務與Elasticsearch日誌自動清理

1、簡述

　　當日志發送到ELK以後，Elasticsearch隨着日誌的增長，佔用磁盤量會愈來愈大。這時候，須要咱們寫角本按期DELETE日誌。角本寫法，也很簡單，只是發送HTTP的DELETE方式到:http://<ip>:<port>/*-yyyy.MM.dd*便可。

　　

 

2、按期刪除Elasticsearch中日誌的角本：新建一個es-index-clear.sh到/opt目錄下，內容以下：

#/bin/bash
#es-index-clear
#只保留15天內的日誌索引
LAST_DATA=`date -d "-15 days" "+%Y.%m.%d"`
#刪除上個月份全部的索引
curl -XDELETE 'http://127.0.0.1:9200/*-'${LAST_DATA}'*'

3、使用crontab -e添加定時任務：執行crontab -e，在打開的內容中，輸入（前面‘0  * * * *’表示Cron表達式，能夠參考我前面的文章）：

　　好比下列表示每小時整時執行一次：

0 * * * * /opt/es-index-clear.sh

　　若是要天天凌晨執行一次：

0 0 * * * /opt/es-index-clear.sh

 

4、啓動定時任務，並開機自動運行

systemctl enable crond
systemctl restart crond
systemctl status crond

 

 

5、也能夠把es-index-clear.sh內容換成其它優秀代碼，以下：

#!/bin/bash

###################################
#刪除早於十天的ES集羣的索引
###################################
function delete_indices() {
    comp_date=`date -d "10 day ago" +"%Y-%m-%d"`
    date1="$1 00:00:00"
    date2="$comp_date 00:00:00"

    t1=`date -d "$date1" +%s` 
    t2=`date -d "$date2" +%s` 

    if [ $t1 -le $t2 ]; then
        echo "$1時間早於$comp_date，進行索引刪除"
        #轉換一下格式，將相似2017-10-01格式轉化爲2017.10.01
        format_date=`echo $1| sed 's/-/\./g'`
        curl -XDELETE http://127.0.0.1:9200/*$format_date
    fi
}

curl -XGET http://127.0.0.1:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed 's/\./-/g' | while read LINE
do
    #調用索引刪除函數
    delete_indices $LINE
done

 6、刪除完後，再看佔用量：