shell自動下載nginx日誌文件到本地

最近遇到一個狀況就是服務器不響應了，nginx也不寫日誌，經查發現是日誌文件太大多，磁盤滿了，之前都是用腳本自動上傳到OSS的，如今須要將log下載到本地，因而用shell寫了一段腳本，而後放到crontab裏面，天天凌晨把log下載下來

shell 腳本

#!/bin/bash

HOST="115.114.113.112"
LOG_PATH="/usr/local/nginx/logs/"
LOCAL_LOG_PATH="/home/admin/logs/$HOST/"

# 把全部帶日期的日誌文件，同步本地，而後刪除遠程文件
# 日誌文件命名: access_2016-12-28.log
LOGS=$(ssh root@$HOST ls $LOG_PATH | grep _)
LOGS=${LOGS// / }

function log() {
    echo `date "+%Y-%m-%d %H:%M:%S"` $1
}

for log in $LOGS
do
    REMOTE_LOG_FILE="$LOG_PATH$log"
    LOCAL_LOG_FILE="$LOCAL_LOG_PATH$log"
    log "Ready to download from $HOST >> $REMOTE_LOG_FILE"
    log "Check local $LOCAL_LOG_FILE exists"
    DOWNLOAD=1
    if [ -f $LOCAL_LOG_FILE ]; then
        log "Local file already exists, and check the md5 value of the file"
        REMOTE_FILE_MD5=$(ssh root@$HOST md5sum $REMOTE_LOG_FILE | awk '{print $1}')
        LOCAL_FILE_MD5=$(md5sum $LOCAL_LOG_FILE | awk '{print $1}')
        # log "$REMOTE_FILE_MD5 == $LOCAL_FILE_MD5"
        if [ "$REMOTE_FILE_MD5"x = "$LOCAL_FILE_MD5"x ]; then
            DOWNLOAD=0
            log "The file content is the same, skip the current file"
        else
            log "The file content is different, to download the file"
        fi
    fi

    if [ $DOWNLOAD = 1 ]; then
        log "Download $REMOTE_LOG_FILE from $HOST"
        scp root@$HOST:$REMOTE_LOG_FILE $LOCAL_LOG_PATH
    fi

    log "Delete $REMOTE_LOG_FILE from $HOST"
    ssh root@$HOST rm $REMOTE_LOG_FILE
done

給腳本執行權限

$ chmod +x sync_115.114.113.112.sh

加到crontab，天天凌晨一分執行，由於服務器上面0分會生成日誌文件，因此這裏等一分鐘再下載，基本就沒有問題

1 0 * * * /home/admin/logs/sync_115.114.113.112.sh

這裏須要注意的是，須要提早把ssh公鑰上傳到服務器，好免密碼登陸，執行命令