inotify+rsync實時同步

前言：

---

什麼是Inotify：

    Inotify是一種強大的，細粒度的，異步的文件系統事件監控機制（軟件），linux內核從2.6.13起，加入了Inotify支持，經過Inotify能夠監控文件系統中添加，刪除，修改，移動等各類事件，利用這個內核接口，第三方軟件就能夠監控文件系統下文件的各類變化狀況

inotify的實現：

    1）inotify-tools，

    2）sersync（金山周洋）

    3）lsyncd

inotify主要可控配置：

在/proc/sys/fs/inotify目錄下有三個文件，可適當調整。

max_user_watches:設置inotifywait或inotifywatch命令能夠監視的文件數量（單進程），默認8192

max_user_instances:設置每一個用戶能夠運行的inotifywait或inotifywatch命令的進程數。默認128

max_queued_events：設置inotify實例事件（event）隊列可容納的事件數量。默認16384

以inotify-tools爲例實現inotify+rsync實時同步：

---

安裝：

centos 7.4爲例，配置epel源

yum install inotify-tools -y

安裝後生成一下兩個工具

inotifywait：在被監控的文件或目錄上等待特定文件系統事件（open，close，delete等）發生，執行後處於阻塞狀態，適合shell腳本中使用。

inotifywatch：收集被監視的文件系統使用度統計數據，指文件系統事件發生的次數統計。

inotifywait 參數說明

參數名稱	參數說明
-m,–monitor	始終保持事件監聽狀態
-r,–recursive	遞歸查詢目錄
-q,–quiet	只打印監控事件的信息
–excludei	排除文件或目錄時，不區分大小寫
-t,–timeout	超時時間
–timefmt	指定時間輸出格式
–format	指定輸出格式，%T引用--timefmt中指定的時間格式，%Xe指明發生修改的類型，%w發生修改的文件路徑，%f發生修改的文件名
-e,–event	後面指定刪、增、改等事件

-e ：--event的各類事件含義

Events	含義
access	文件或目錄被讀取
modify	文件或目錄內容被修改
attrib	文件或目錄屬性被改變
close	文件或目錄封閉，不管讀/寫模式
open	文件或目錄被打開
moved_to	文件或目錄被移動至另一個目錄
move	文件或目錄被移動到另外一個目錄或從另外一個目錄移動至當前目錄
create	文件或目錄被建立在當前目錄
delete	文件或目錄被刪除
umount	文件系統被卸載

命令行測試示例：

實現inotify+rsync實時同步腳本：

1.

#!/bin/bash
Path=/data
backup_Server=172.16.1.1


/usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data  | while read line  do
    if [ -f $line ];then
        rsync -az $line --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password       
    else
        cd $Path &&\
        rsync -az ./ --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password    
    fi
done

2.

#!/bin/bash
src=/data/                           # 須要同步的源路徑
des=data                             # 目標服務器上 rsync --daemon 發佈的模塊名稱
rsync_passwd_file=/etc/rsyncd.passwd            # rsync驗證的密碼文件
ip1=192.168.0.18                 # 目標服務器1
ip2=192.168.0.19                 # 目標服務器2
user=root                            # rsync --daemon定義的驗證用戶名
cd ${src}                              # 此方法中，因爲rsync同步的特性，這裏必需要先cd到源目錄，inotify再監聽 ./ 才能rsync同步後目錄結構一致
/usr/local/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file         # 把監控到有發生更改的"文件路徑列表"循環
do
        INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT
        INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE
        echo "-------------------------------$(date)------------------------------------"
        echo $file
        #增長、修改、寫入完成、移動進事件
        #增、改放在同一個判斷，由於他們都確定是針對文件的操做，即便是新建目錄，要同步的也只是一個空目錄，不會影響速度。
        if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]         # 判斷事件類型
        then
                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&         # INO_FILE變量表明路徑哦  -c校驗文件內容
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                 #仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發生改變的文件的目錄(只同步目標文件的方法在生產環境的某些極端環境下會漏文件 如今能夠在不漏文件下也有不錯的速度作到平衡) 而後用-R參數把源的目錄結構遞歸到目標後面 保證目錄結構一致性
        fi
        #刪除、移動出事件
        if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
        then
                echo 'DELETE or MOVED_FROM'
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #看rsync命令 若是直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 因此這裏同步的源是被刪文件或目錄的上一級路徑，並加上--delete來刪除目標上有而源中沒有的文件，這裏不能作到指定文件刪除，若是刪除的路徑越靠近根，則同步的目錄月多，同步刪除的操做就越花時間。
        fi
        #修改屬性事件 指 touch chgrp chmod chown等操做
        if [[ $INO_EVENT =~ 'ATTRIB' ]]
        then
                echo 'ATTRIB'
                if [ ! -d "$INO_FILE" ]                 # 若是修改屬性的是目錄 則不一樣步，由於同步目錄會發生遞歸掃描，等此目錄下的文件發生同步時，rsync會順帶更新此目錄。
                then
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&            
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                fi
        fi
done