rsync+inotify實時同步環境部署記錄

rsync+inotify實時同步環境部署記錄

 

隨着應用系統規模的不斷擴大，對數據的安全性和可靠性也提出的更好的要求，rsync在高端業務系統中也逐漸暴露出了不少不足。
#由默認的yes改成no，設置開機啓動rsync

啓動xineted服務
[root@bastion-IDC ~]# /etc/init.d/xinetd start

建立/etc/rsyncd.conf文件，並配置同步策略。添加以下代碼：
[root@bastion-IDC ~]# vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log          #日誌文件位置，啓動rsync後自動產生這個文件，無需提早建立
pidfile = /var/run/rsyncd.pid           #pid文件的存放位置
lock file = /var/run/rsync.lock        #支持max connections參數的鎖文件
secrets file = /etc/rsync.pass         #用戶認證配置文件，裏面保存用戶名稱和密碼，後面會建立這個文件
motd file = /etc/rsyncd.Motd          #rsync啓動時歡迎信息頁面文件位置（本身建立這個文件，內容隨便自定義）

[fangfull_upload]                            #自定義名稱
path = /home/backup/image-back/fangfull_upload           #rsync服務端數據目錄路徑，即同步到目標目錄後的存放路徑
comment = fangfull_upload                                             #模塊名稱與[fangfull_upload]自定義名稱相同
uid = nobody                                 #設置rsync運行的gid權限。
port=873                                    #默認的rsync端口
use chroot = no                          #默認爲true，修改成no或false，增長對目錄文件軟鏈接的備份
read only = no                            #設置rsync服務端文件爲讀寫權限
list = no                                      #不顯示rsync服務端資源列表
max connections = 200              #最大鏈接數
timeout = 600                           #設置超時時間
auth users = RSYNC_USER          #執行數據同步的用戶名，須要後面手動設置。能夠設置多個，用英文狀態下逗號隔開
hosts allow = 192.168.1.106        #容許進行數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開
hosts deny = 192.168.1.194       #禁止數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開#由默認的yes改成no，設置開機啓動rsync

啓動rsync服務
[root@static-img ~]# /etc/init.d/xinetd start
[root@static-img ~]# lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
xinetd 3268 root 5u IPv4 4139812 0t0 TCP *:rsync (LISTEN)

建立同步的密碼文件，這個文件名能夠跟服務端的認證文件不同，可是裏面的密碼必須一致！用於rsync同步命令中。不過，最好兩邊的文件設置成同樣，便於管理
[root@static-img ~]# vim /etc/rsync.pass
123456@rsync

設置rsync.pass密碼文件爲600權限
[root@static-img ~]# chmod 600 /etc/rsync.pass

#安裝編譯工具
[root@static-img ~]# cd /use/local/src
[root@static-img src]# wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
[root@static-img src]# tar zxvf inotify-tools-3.14.tar.gz
[root@static-img src]# cd inotify-tools-3.14
[root@static-img inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@static-img inotify-tools-3.14]# make && make install

發現已經成功安裝inotify-tools了
[root@static-img inotify-tools-3.14]# ll -d /usr/local/inotify/
drwxr-xr-x 6 root root 4096 Oct 26 12:01 /usr/local/inotify/

設置系統環境變量
[root@static-img ~]# vim /etc/profile
......
export PATH=$PATH:/usr/local/inotify/bin
[root@static-img ~]# source /etc/profile

添加庫文件
[root@static-img ~]# vim /etc/ld.so.conf
/usr/local/inotify/lib
[root@static-img ~]# ldconfig

修改inotify默認參數（inotify默認內核參數值過小）
查看系統默認參數值
[root@static-img ~]# sysctl -a | grep max_queued_events
fs.inotify.max_queued_events = 16384
[root@static-img ~]# sysctl -a | grep max_user_watches
fs.inotify.max_user_watches = 8192
[root@static-img ~]# sysctl -a | grep max_user_instances
fs.inotify.max_user_instances = 128

修改參數：
[root@static-img ~]# sysctl -w fs.inotify.max_queued_events="99999999"
[root@static-img ~]# sysctl -w fs.inotify.max_user_watches="99999999"
[root@static-img ~]# sysctl -w fs.inotify.max_user_instances="65535"

max_user_instances：
每一個用戶建立inotify實例最大值

4）接着執行同步操做：
分別在三臺源服務器上執行rsync首次全量同步的操做（加--delete參數，保持目標目錄和源目錄下文件絕對一致）
---------------------------------------------
在192.168.1.106服務器上
第一次全量同步：
[root@fangfull_web ~]# rsync -avH --port=873 --progress --delete /Data/fangfull_upload/ RSYNC_USER@192.168.1.5::fangfull_upload --password-file=/etc/rsync.pass
[root@fangfull_web ~]# rsync -avH --port=873 --progress --delete /Data/erp_upload/ RSYNC_USER@192.168.1.5::erp_upload --password-file=/etc/rsync.pass

待第一次rsync全量同步完成後，就進行rsync+inotify實時同步腳本操做。
實時同步腳本里添加的是--delete-before參數，而不是--delete參數(第一次全量同步時rsync用的參數)，兩者區別：
--delete參數：表示rsync同步前，暴力刪除目標目錄中的全部文件，而後再執行同步操做。
--delete-before參數：表示rsync同步前，會先對目標目錄進行一次掃描檢索，刪除目標目錄中對比源目錄的多餘文件，而後再執行同步操做。顯然比--delete參數安全些。
[root@fangfull_web1 ~]# cd /home/rsync/
[root@fangfull_web1 rsync]# cat rsync_fangfull_upload_inotify.sh
#!/bin/bash
SRCDIR=/Data/fangfull_upload/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=fangfull_upload
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done
[root@fangfull_web1 rsync]# cat rsync_erp_upload_inotify.sh
#!/bin/bash
SRCDIR=/Data/erp_upload/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=erp_upload
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done

而後啓動同步腳本，放在後臺執行！
[root@fangfull_web1 rsync]# nohup sh rsync_fangfull_upload_inotify.sh &
[root@fangfull_web1 rsync]# nohup sh rsync_erp_upload_inotify.sh &

檢查下是否腳本啓動成功了
[root@fangfull_web1 rsync]# ps -ef|grep inotify
root 11390 1 0 13:41 ? 00:00:00 sh rsync_erp_upload_inotify.sh
root 11392 11390 0 13:41 ? 00:00:00 sh rsync_erp_upload_inotify.sh
root 11397 1 0 13:41 ? 00:00:00 sh rsync_fangfull_upload_inotify.sh
root 11399 11397 0 13:41 ? 00:00:00 sh rsync_fangfull_upload_inotify.sh
root 21842 11702 0 17:22 pts/0 00:00:00 grep --color=auto inotify

最後進行測試：
好比在源目錄/Data/fangfull_upload中建立一個文件或目錄，會自動實時同步到目標機器192.168.1.5的目標目錄/home/backup/image-back/fangfull_upload中。

---------------------------------------------
在192.168.1.57服務器上
第一次全量同步：
[root@xqsj_web ~]# rsync -avH --port=873 --progress --delete /Data/xqsj_upload/ RSYNC_USER@192.168.1.5::xqsj_upload --password-file=/etc/rsync.pass
[root@xqsj_web ~]# rsync -avH --port=873 --progress --delete /Data/fanghu_upload_src/ RSYNC_USER@192.168.1.5::fanghu_upload_src --password-file=/etc/rsync.pass

rsync+inotify實時同步：
[root@xqsj_web1 ~]# cd /home/rsync/
[root@xqsj_web1 rsync]# cat rsync_xqsj_upload_inotify.sh
#!/bin/bash
SRCDIR=/Data/xqsj_upload/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=xqsj_upload
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done
[root@xqsj_web1 rsync]# cat rsync_fanghu_upload_src_inotify.sh
#!/bin/bash
SRCDIR=/Data/fanghu_upload_src/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=fanghu_upload_src
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done

而後啓動同步腳本，放在後臺執行！
[root@fangfull_web1 rsync]# nohup sh rsync_xqsj_upload_inotify.sh &
[root@fangfull_web1 rsync]# nohup rsync_fanghu_upload_src_inotify.sh &

最後進行測試：
好比在源目錄/Data/xqsj_upload中建立一個文件或目錄，會自動實時同步到目標機器192.168.1.5的目標目錄/home/backup/image-back/xqsj_upload中。

--------------------------------------------
在192.168.1.139服務器上
第一次全量同步：
[root@static-img ~]# rsync -avH --port=873 --progress --delete /Data/Static_img/webroot/ssapp-prod/ RSYNC_USER@192.168.1.5::ssapp-prod --password-file=/etc/rsync.pass
[root@static-img ~]# rsync -avH --port=873 --progress --delete /usr/local/nginx/html/ssapp.prod/ RSYNC_USER@192.168.1.5::ssapp.prod --password-file=/etc/rsync.pass

rsync+inotify實時同步：
[root@static-img ~]# cd /home/rsync/
[root@static-img rsync]# cat rsync_ssapp-prod_inotify.sh
#!/bin/bash
SRCDIR=/Data/Static_img/webroot/ssapp-prod/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=ssapp-prod
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done

[root@static-img rsync]# cat rsync_ssapp.prod_inotify.sh
#!/bin/bash
SRCDIR=/usr/local/nginx/html/ssapp.prod/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=ssapp.prod
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done

而後啓動同步腳本，放在後臺執行！
[root@fangfull_web1 rsync]# nohup sh rsync_ssapp-prod_inotify.sh &
[root@fangfull_web1 rsync]# nohup rsync_ssapp.prod_inotify.sh &

最後進行測試：
好比在源目錄/Data/Static_img/webroot/ssapp-prod中建立一個文件或目錄，會自動實時同步到目標機器192.168.1.5的目標目錄/home/backup/image-back/ssapp-prod中。

 

若是在同步過程當中，發現中途報錯！重複執行同步命令一直是報這個錯誤：
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1505)

最後發現緣由：
是由於在同步的時候，源目錄下有軟連接文件！
rsync同步軟連接文件，應該加參數-l

因此，最好在使用rsync同步命令的時候，後面跟-avpgolr參數組合（將上面的-avH改爲-avpgolr）-a：遞歸-v：打印詳細過程-p：保持文件屬性-g：文件所屬組不變-o：文件所屬者不變-l：軟鏈接屬性-r：同步目錄時的參數