rsync+inotify實現文件實時同步

 

1、相關組件簡介

 一、rsync

       與傳統的cp、tar備份方式相比，rsync具備安全性高、備份迅速、支持增量備份等優勢，經過rsync能夠解決對實時性要求不高的數據備份需求，例如按期的備份文件服務器數據到遠端服務器，對本地磁盤按期作數據鏡像等。
隨着應用系統規模的不斷擴大，對數據的安全性和可靠性也提出的更好的要求，rsync在高端業務系統中也逐漸暴露出了不少不足，首先，rsync同步數據 時，須要掃描全部文件後進行比對，進行差量傳輸。若是文件數量達到了百萬甚至千萬量級，掃描全部文件將是很是耗時的。並且正在發生變化的每每是其中不多的 一部分，這是很是低效的方式。其次，rsync不能實時的去監測、同步數據，雖然它能夠經過linux守護進程的方式進行觸發同步，可是兩次觸發動做必定 會有時間差，這樣就致使了服務端和客戶端數據可能出現不一致，沒法在應用故障時徹底的恢復數據。基於以上緣由，rsync+inotify組合出現了！

    二、inotify

        Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制，linux內核從2.6.13起，加入了Inotify支持，經過Inotify能夠監控文件系統 中添加、刪除，修改、移動等各類細微事件，利用這個內核接口，第三方軟件就能夠監控文件系統下文件的各類變化狀況，而inotify-tools就是這樣 的一個第三方軟件。
在上面章節中，咱們講到，rsync能夠實現觸發式的文件同步，可是經過crontab守護進程方式進行觸發，同步的數據和實際數據會有差別，而inotify能夠監控文件系統的各類變化，當文件有任何變更時，就觸發rsync同步，這樣恰好解決了同步數據的實時性問題。

查看內核是否支持inotify API，若是有如下三項，表示系統已經默認支持inotify:

ll /proc/sys/fs/inotify

 

2、軟件安裝和配置

安裝Rsync

分別在服務器A和服務器B的terminal執行：

sudo yum install rsync

安裝完畢後，會發現rsync的配置文件位於 etc/rsyncd.conf 。該文件使用daemon方式同步時須要使用，此處暫不介紹。

配置服務器A和B之間的免密登陸

服務器A執行：

ssh-keygen
ssh-copy-id 服務器B的IP地址

inotify-tools的安裝

yum install -y epel-release
yum --enablerepo=epel install inotify-tools

使用inotifywait命令進行事件監聽

監聽腳本以下(inotifywait-rsync.sh):

host=192.168.171.129
src1=/home/esoon/rsync/
src2=/home/esoon/test/
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib $src1 $src2 | while read file
do
rsync -avPz --delete --progress $src1 $host:$src1
rsync -avPz --delete --progress $src2 $host:$src2
echo "${file} was rsynced" >>rsync.log 2>&1
done

　　

參數解析

• -m 保持持續監聽狀態，若是不寫該參數，inotifywait會在監聽到一次事件以後退出。
• -r 遞歸方式監聽目錄。
• -q 安靜模式，打印輸出較少的內容。
• --timefmt 指定時間的輸出格式。
• --format 指定事件輸出的格式。
• -e 設置監聽的事件類型。這裏監聽增刪改和metadata的變動。

對於每次觸發的監聽時間，inotifywait會執行do和done之間的代碼。在這裏，咱們調用以前所說的rsync命令進行文件同步。

直接執行下面命令開始監聽：

nohup sh inotifywait-rsync.sh >/dev/null &