inotify+rsync

1、環境準備

操做系統：CentOS release 6.8 (Final) x86_64

服務器IP：

rsync_server（數據源）192.168.80.16 rsync_client（目標端）192.168.80.140

同步目錄：

rsync_server /app/rsync_server rsync_client /app/rsync_client 

2、安裝及配置rsync

客戶端配置（目標端）

一、安裝rsync

# yum -y install rsync xinetd # cp /etc/xinetd.d/rsync{,.bak} # vim /etc/xinetd.d/rsync service rsync { disable = no #修改成no flags = IPv6 socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon log_on_failure += USERID } # /etc/init.d/xinetd start 

二、配置rsync

# vim /etc/rsyncd.conf #建立配置文件 logfile = /var/log/rsyncd.log #日誌文件位置，啓動rsync後自動產生這個文件，無需提早建立 pidfile = /var/run/rsyncd.pid #pid文件的存放位置 lockfile = /var/run/rsync.lock #支持max connections參數的鎖文件 secretsfile = /etc/rsync_client.pwd #用戶認證配置文件，裏面保存用戶名稱和密碼，後面會建立這個文件 motdfile = /etc/rsyncd.Motd #rsync啓動時歡迎信息頁面文件位置（文件內容自定義） [backup] #自定義名稱 path = / #rsync服務端數據目錄路徑 comment = rsync_client #模塊名稱與[app_rsync_client]自定義名稱相同 uid = root #設置rsync運行權限爲root gid = root #設置rsync運行權限爲root port =873 use chroot = no #默認爲true，修改成no，增長對目錄文件軟鏈接的備份 read only = no 設置rsync服務端文件爲讀寫權限 list = no #不顯示rsync服務端資源列表 mac connections = 200 timeout = 600 auth users = ronghui #執行數據同步的用戶名，能夠設置多個，用英文狀態下逗號隔開 hosts allow = 192.168.80.16 #容許進行數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開 hosts deny = 0.0.0.0/0 #禁止數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開,先容許後拒絕

三、配置rsync同步的帳戶密碼

# vim /etc/rsync.pass #配置文件，添加如下內容 ronghui:ronghui123 #格式，用戶名:密碼，能夠設置多個，每行一個用戶名:密碼

四、賦權啓動rsync

# chmod 600 /etc/rsyncd.conf # chmod 600 /etc/rsync.pass # /etc/init.d/xinetd restart

服務端配置（數據源）

一、安裝rsync

# yum install rsync xinetd # vim /etc/xinetd.d/rsync service rsync { disable = no #修改成no flags = IPv6 socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon log_on_failure += USERID } 

二、配置rsync同步的帳戶密碼

# vim /etc/passwd.txt ronghui123  # chmod 600 /etc/passwd.txt 

三、測試手動同步

 在rsync_server的/test目錄下建立文件test666.txt，在rsync_server端運行同步命令同步數據： rsync -avH --port=873 --progress --delete /test ronghui@192.168.80.140::backup --password-file=/etc/passwd.txt 註釋： /test #數據源的目錄 -password-file=/etc/passwd.txt #數據源的密碼文件 ronghui@192.168.80.140::backup #ronghui目標端rsync服務端配置的用戶名，backup目標端rsync服務端配置的模塊名稱 檢查客戶端rsync_client目錄 # ls /app/rsync_client/ test.txt

3、安裝Inotify-tools實時觸發rsync進行同步

這裏能夠參考github上的官方wiki文檔（包含安裝及配置使用示例）
https://github.com/rvoicilas/inotify-tools/wiki

一、下載安裝Inotify-tools

# uname -r #Linux下支持inotify的內核最小爲2.6.13 2.6.32-642.el6.x86_64  # 安裝前要先下載epel源 # yum install inotify-tools -y 查看其程序是否安裝成功 # rpm -qa inotify-tools inotify-tools-3.14-1.el6.x86_64 查看程序包含的文件 #rpm -ql inotify-tools /usr/bin/inotifywait /usr/bin/inotifywatch /usr/lib64/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0.4.1 /usr/share/doc/inotify-tools-3.14 /usr/share/doc/inotify-tools-3.14/AUTHORS /usr/share/doc/inotify-tools-3.14/COPYING /usr/share/doc/inotify-tools-3.14/ChangeLog /usr/share/doc/inotify-tools-3.14/NEWS /usr/share/doc/inotify-tools-3.14/README /usr/share/man/man1/inotifywait.1.gz /usr/share/man/man1/inotifywatch.1.gz 

二、配置inotify-tools

# sysctl -a|egrep -i "max_queued_events|max_user_watches|max_user_instances" #修改inotify默認參數（inotify默認內核參數值過小） fs.inotify.max_user_instances = 128 fs.inotify.max_user_watches = 8192 fs.inotify.max_queued_events = 16384 fs.epoll.max_user_watches = 201420  # vim /etc/sysctl.conf 添加 fs.inotify.max_queued_events = 99999999 fs.inotify.max_user_watches = 99999999 fs.inotify.max_user_instances = 65535  #sysctl -p 參數當即生效  # cat /proc/sys/fs/inotify/{max_user_instances,max_user_watches,max_queued_events} #檢查參數是否生效 65535 99999999 99999999 註釋： max_queued_events：inotify隊列最大長度，若是值過小，會出現"** Event Queue Overflow **"錯誤，致使監控文件不許確 max_user_watches：要同步的文件包含多少目錄，能夠用：find /app/rsync_server/ -type d | wc -l 統計，必須保證max_user_watches值大於統計結果（這裏/app/rsync_server/爲同步文件目錄） max_user_instances：每一個用戶建立inotify實例最大值

三、建立實時同步腳本

 # vim /usr/local/inotify/rsync.sh
#!/bin/bash
src_dir="/test"
dst_dir="backup"
exclude_dir="/usr/local/inotify/exclude.list"
rsync_user="ronghui"
rsync_passwd="/etc/passwd.txt"
dst_ip="192.168.80.140"
rsync_command(){
rsync -avH --port=873 --progress --delete $src_dir $rsync_user@$ip::$dst_dir --password-file=$rsync_passwd
}
for ip in $dst_ip;do
rsync_command
done
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $src_dir \
| while read file;do
for ip in $dst_ip;do
rsync_command
echo "${file} was rsynced" >> /tmp/rsync.log 2>&1
done
done 註釋： src_dir="/test" #源服務器同步目錄 dst_dir="backup" #目標服務器rsync同步目錄模塊名稱  rsync_user="rronghui" #目標服務器rsync同步用戶名 rsync_passwd="/etc/passwd.txt" #目標服務器rsync同步用戶的密碼在源服務器的存放路徑 dst_ip="192.168.80.140" #目標服務器ip，多個ip用空格分開

 ##賦權，添加開機啓動  # chmod +x /usr/local/inotify/rsync.sh # touch /usr/local/inotify/exclude.list # vim /etc/rc.d/rc.local nohup /bin/sh /usr/local/inotify/rsync.sh & # nohup /bin/sh /usr/local/inotify/rsync.sh & 

四、測試

在rsync_server（數據源）192.168.80.16的/test建立文件
# cd /app/rsync_server # touch test{1..9} # touch test{a..j} # ls test1 test2 test3 test4 test5 test6 test7 test8 test9 testa testb testc testd teste testf testg testh testi testj 在rsync_client（目標端）192.168.80.140上查看已經同步 # cd /app/rsync_client # ls test1 test2 test3 test4 test5 test6 test7 test8 test9 testa testb testc testd teste testf testg testh testi testj

若是以上測試都經過，說明inotify實時觸發rsync同步腳本運行正常。
至此，Linux下Rsync+Inotify-tools實現數據實時同步完成。若是要雙向同步能夠把以上反過來部署一次。

FAQ

Q1:
#rsync -avH --port=873 --progress --delete /app/rsync_client/ rsync@192.168.0.45::app_rsync_client --password-file=/etc/passwd.txt

@ERROR: auth failed on module app_rsync_client
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]

A：若是出現這個錯誤，請詳細檢查配置文件是否有誤，建議刪掉無用的註釋

Q2:
#rsync -avH --port=873 --progress --delete /app/rsync_client rsync@192.168.0.45::app_rsync_client --password-file=/etc/passwd.txt

sending incremental file list
rsync: link_stat "/app/rsync_client" failed: No such file or directory (2)

A:檢查客戶端及服務端文件夾是否存在，這裏應該還有一個坑，就是這裏是在服務端(數據源)同步，目錄應該指向「/app/rsync_client」

 

# vim /usr/local/inotify/rsync.sh
#!/bin/bash
src_dir="/test"
dst_dir="backup"
exclude_dir="/usr/local/inotify/exclude.list"
rsync_user="ronghui"
rsync_passwd="/etc/passwd.txt"
dst_ip="192.168.80.140"
rsync_command(){
rsync -avH --port=873 --progress --delete $src_dir $rsync_user@$ip::$dst_dir --password-file=$rsync_passwd
}
for ip in $dst_ip;do
rsync_command
done
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $src_dir \
| while read file;do
for ip in $dst_ip;do
rsync_command
echo "${file} was rsynced" >> /tmp/rsync.log 2>&1
done
done

 

#!/bin/bash

src= /data/                            # 須要同步的源路徑

des=data                              # 目標服務器上 rsync --daemon 發佈的名稱，rsync --daemon這裏就不作介紹了，網上搜一下，比較簡單。

rsync_passwd_file= /etc/rsyncd . passwd             # rsync驗證的密碼文件

ip1=192.168.0.18                  # 目標服務器1

ip2=192.168.0.19                  # 目標服務器2

user=root                             # rsync --daemon定義的驗證用戶名

cd  ${src}                            

# 此方法中，因爲rsync同步的特性，這裏必需要先cd到源目錄，inotify再監聽 ./ 才能rsync同步後目錄結構一致，有興趣的同窗能夠進行各類嘗試觀看其效果

/usr/local/bin/inotifywait  -mrq -- format   '%Xe %w%f'  -e modify,create,delete,attrib,close_write,move ./ |  while  read  file

# 把監控到有發生更改的"文件路徑列表"循環

do

         INO_EVENT=$( echo  $ file  |  awk  '{print $1}' )       # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT

         INO_FILE=$( echo  $ file  |  awk  '{print $2}' )        # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE

         echo  "-------------------------------$(date)------------------------------------"

         echo  $ file

         #增長、修改、寫入完成、移動進事件

         #增、改放在同一個判斷，由於他們都確定是針對文件的操做，即便是新建目錄，要同步的也只是一個空目錄，不會影響速度。

         if  [[ $INO_EVENT =~  'CREATE'  ]] || [[ $INO_EVENT =~  'MODIFY'  ]] || [[ $INO_EVENT =~  'CLOSE_WRITE'  ]] || [[ $INO_EVENT =~  'MOVED_TO'  ]]          # 判斷事件類型

         then

                 echo  'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'

                 rsync  -avzcR --password- file =${rsync_passwd_file} $( dirname  ${INO_FILE}) ${user}@${ip1}::${des} &&

# INO_FILE變量表明路徑哦  -c校驗文件內容

                 rsync  -avzcR --password- file =${rsync_passwd_file} $( dirname  ${INO_FILE}) ${user}@${ip2}::${des}

#仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發生改變的文件的目錄(只同步目標文件的方法在生產環境的某些極端

#環境下會漏文件 如今能夠在不漏文件下也有不錯的速度 作到平衡)

#而後用-R參數把源的目錄結構遞歸到目標後面 保證目錄結構一致性

         fi

         #刪除、移動出事件

         if  [[ $INO_EVENT =~  'DELETE'  ]] || [[ $INO_EVENT =~  'MOVED_FROM'  ]]

         then

                 echo  'DELETE or MOVED_FROM'

                 rsync  -avzR --delete --password- file =${rsync_passwd_file} $( dirname  ${INO_FILE}) ${user}@${ip1}::${des} &&

                 rsync  -avzR --delete --password- file =${rsync_passwd_file} $( dirname  ${INO_FILE}) ${user}@${ip2}::${des}

#看rsync命令 若是直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 因此這裏同步的源是被刪文件或目錄的上一級路徑

#並加上--delete來刪除目標上有而源中沒有的文件，這裏不能作到指定文件刪除，若是刪除的路徑越靠近根，則同步的目錄月多，同步刪除的操做就越花時間。

#這裏有更好方法的同窗，歡迎交流。

         fi

         #修改屬性事件 指 touch chgrp chmod chown等操做

         if  [[ $INO_EVENT =~  'ATTRIB'  ]]

         then

                 echo  'ATTRIB'

                 if  [ ! -d  "$INO_FILE"  ]

# 若是修改屬性的是目錄 則不一樣步，由於同步目錄會發生遞歸掃描，等此目錄下的文件發生同步時，rsync會順帶更新此目錄。

                 then

                         rsync  -avzcR --password- file =${rsync_passwd_file} $( dirname  ${INO_FILE}) ${user}@${ip1}::${des} &&         

                         rsync  -avzcR --password- file =${rsync_passwd_file} $( dirname  ${INO_FILE}) ${user}@${ip2}::${des}

                 fi

         fi

done

 

 

 

附錄：

Rsync的命令格式能夠爲如下六種：

1 2 3 4 5 6

1  rsync  [OPTION]... SRC DEST 2  rsync  [OPTION]... SRC [USER@]HOST:DEST 3  rsync  [OPTION]... [USER@]HOST:SRC DEST 4  rsync  [OPTION]... [USER@]HOST::SRC DEST 5  rsync  [OPTION]... SRC [USER@]HOST::DEST 6  rsync  [OPTION]...  rsync : // [USER@]HOST[:PORT] /SRC  [DEST]

對應於以上六種命令格式，rsync有六種不一樣的工做模式：

　　1)拷貝本地文件。當SRC和DES路徑信息都不包含有單個冒號」:」分隔符時就啓動這種工做模式。如：rsync -a /data /backup

　　2)使用一個遠程shell程序(如rsh、ssh)來實現將本地機器的內容拷貝到遠程機器。當DST路徑地址包含單個冒號」:」分隔符時啓動該模式。如：rsync -avz *.c foo:src

　　3)使用一個遠程shell程序(如rsh、ssh)來實現將遠程機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號」:」分隔符時啓動該模式。如：rsync -avz foo:src/bar /data

　　4)從遠程rsync服務器中拷貝文件到本地機。當SRC路徑信息包含」::」分隔符時啓動該模式。如：rsync -av root@172.16.78.192::www /databack

　　rsync -vzrtopg --progress --delete ronghui@192.168.80.16::module_test /test2 --password-file=/etc/rsync_client.pwd

　　5)從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含」::」分隔符時啓動該模式。如：rsync -av /databack root@172.16.78.192::www

　　rsync -av --port=873 --progress --delete /test ronghui@192.168.80.140::backup --password-file=/etc/passwd.txt

　　6)列遠程機的文件列表。這相似於rsync傳輸，不過只要在命令中省略掉本地機信息便可。如：rsync -v rsync://172.16.78.192/www

rsync參數的具體解釋以下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61

- v , --verbose 詳細模式輸出 -q, --quiet 精簡輸出模式 -c, --checksum 打開校驗開關，強制對文件傳輸進行校驗 -a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD -r, --recursive 對子目錄以遞歸模式處理 -R, --relative 使用相對路徑信息 -b, --backup 建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。 --backup- dir  將備份文件(如~filename)存放在在目錄下。 -suffix=SUFFIX 定義備份文件前綴 -u, --update 僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件) -l, --links 保留軟鏈結 -L, --copy-links 想對待常規文件同樣處理軟鏈結 --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結 --safe-links 忽略指向SRC路徑目錄樹之外的鏈結 -H, --hard-links 保留硬鏈結 -p, --perms 保持文件權限 -o, --owner 保持文件屬主信息 -g, --group 保持文件屬組信息 -D, --devices 保持設備文件信息 -t, -- times  保持文件時間信息 -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間 -n, --dry-run現實哪些文件將被傳輸 -W, --whole- file  拷貝文件，不進行增量檢測 -x, --one- file -system 不要跨越文件系統邊界 -B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節 -e, --rsh=COMMAND 指定使用rsh、 ssh 方式進行數據同步 -- rsync -path=PATH 指定遠程服務器上的 rsync 命令所在路徑信息 -C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件 --existing 僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件 --delete 刪除那些DST中SRC沒有的文件 --delete-excluded 一樣刪除接收端那些被該選項指定排除的文件 --delete-after 傳輸結束之後再刪除 --ignore-errors 及時出現IO錯誤也進行刪除 --max-delete=NUM 最多刪除NUM個文件 --partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸 --force 強制刪除目錄，即便不爲空 --numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名 --timeout=TIME IP超時時間，單位爲秒 -I, --ignore- times  不跳過那些有一樣的時間和長度的文件 --size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間 --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0 -T --temp- dir =DIR 在DIR中建立臨時文件 --compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份 -P 等同於 --partial --progress 顯示備份過程 -z, --compress 對備份的文件在傳輸時進行壓縮處理 --exclude=PATTERN 指定排除不須要傳輸的文件模式 --include=PATTERN 指定不排除而須要傳輸的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 綁定到特定的地址 --config=FILE 指定其餘的配置文件，不使用默認的rsyncd.conf文件 --port=PORT 指定其餘的 rsync 服務端口 --blocking-io 對遠程shell使用阻塞IO -stats 給出某些文件的傳輸狀態 --progress 在傳輸時現實傳輸過程 --log- format =formAT 指定日誌文件格式 --password- file =FILE 從FILE中獲得密碼 --bwlimit=KBPS 限制I /O 帶寬，KBytes per second -h, --help 顯示幫助信息