rsync+inotify

rsync+inotify
在內核2.6.13起，加入了inotify支持
介紹：rsync掃描全部文件後對比，進行差量備份，inotify能夠監控文件系統添加，刪除修改，移動的各類事件。
在使用rsync首次全量同步後，結合inotify源目錄進行實時監控，當文件變更和新文件產生，就會同步到目標目錄下，高效使用

案例：（網站圖片備份方案）
分別將
192.168.133.1的/data/test1和/data/test2
192.168.133.2的/data/test3和/data/test4
實時同步到
192.168.133.3的/home/backup/image-back目錄下對應的test1，test2,test3,test4
1,2這兩臺服務器是源服務器，做爲rsync的客戶端，部署rsync+inotify
3是目標服務器，做爲rsync的服務端，部署rsync



詳細部署過程
第一部分：在目標服務器上部署rsync服務
在192.168.133.3中部署rsync服務端
1）關閉SELinux
cat /etc/selinux/config
SELINUX=disabled
setenforce 0

2)防火牆上容許以上2臺服務器訪問22端口和873端口
vi /etc/sysconfig/iptables
-A INPUT -s 192.168.133.1 -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A INPUT -s 192.168.133.1 -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT
省略。。。。。。
/etc/init.d/iptables restart

若是在host.allow裏面做了限制，一樣開放三臺服務器的權限
vim /etc/hosts.allow
sshd:192.168.133.1,192.168.133.2:allow
sshd:all:deny
cat /etc/hosts.deny
無內容

3)安裝部署rsync服務，CentOS中是以xinetd來管理Rsync服務的
yum install rsync xinetd
vim /etc/xinetd.d/rsync
disabled = no 　　　　　　　　　　默認的yes改成no，設置開機啓動rsync
/etc/init.d/xinetd start
vi /etc/rsyncd.conf
log file = /var/log/rsyncd.log          #日誌文件位置，啓動rsync後自動產生這個文件，無需提早建立
pidfile = /var/run/rsyncd.pid           #pid文件的存放位置
lock file = /var/run/rsync.lock            #支持max connections參數的鎖文件
secrets file = /etc/rsync.pass    用戶認證配置文件，裏面保存用戶名稱和密碼，後面會建立這個文件
motd file = /etc/rsyncd.Motd                rsync啓動時歡迎信息頁面文件位置（本身建立這個文件，內容隨便自定義）

[test1]                                    自定義名稱，最好用1，2的服務器目錄
path = /home/backup/image-back/test1    rsync服務端數據目錄路徑，即同步到目標目錄後的存放路徑
comment = test1                            和自定義名字相同
uid = nobody                #設置rsync運行的uid權限。這個要保證同步到目標目錄後的權限和源目錄一致，即都是nobody！
gid = nobody                   #設置rsync運行的gid權限。
port=873                       #默認的rsync端口
use chroot = no                 #默認爲true，修改成no或false，增長對目錄文件軟鏈接的備份
read only = no                  #設置rsync服務端文件爲讀寫權限
list = no                       #不顯示rsync服務端資源列表
max connections = 200           #最大鏈接數
timeout = 600                           #設置超時時間
auth users = RSYNC_USER       執行數據同步的用戶名，須要後面手動設置。能夠設置多個，用英文狀態下逗號隔開
hosts allow = 192.168.133.1     #容許進行數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開
hosts deny =                    #禁止數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開
                                （若是沒有禁止，就不用設置這一行)
[test2]
path = /home/backup/image-back/test2
comment = test2
uid = nobody
gid = nobody
port=873
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = RSYNC_USER
hosts allow = 192.168.133.1
同理，test3，test4 同樣配置，更改path，comment，注意可能gid和pid不一樣，hosts allow
test3和4，hosts allow改爲192.168.133.2


建立用戶認證文件， 設置文件權限，即rsyncd.conf和rsync.pass認證文件都是600權限！
vim /etc/rsync.pass
RSYNC_USER:123456@rsync
chmod 600 /etc/rsyncd.conf
chmod 600 /etc/rsync.pass
重啓rsync服務
/etc/init.d/xinetd restart
 lsof -i:873
 
 
4）最後，建立rsync同步過來後的目標目錄
cd /home/backup/image-back/
mkdir test1 test2 test3 test4
 ll
total 40
drwxr-xr-x. 8 nobody nobody 4096 Jun 12 17:25         test1
drwxrwxrwx. 584 nobody nobody 20480 Oct 26 13:41     test2
drwxr-xr-x. 11 nobody nobody 4096 Oct 26 14:23         test3
drwxr-xr-x. 10 nginx nginx 4096 Oct 26 13:44        test4




第二部分，在源服務器上192.168.133.1和2部署rsync客戶端和inotify監控

1）兩臺機器一樣操做
關閉selinux，作爲客戶端的rsync能夠不用在iptables裏開放873端口
vim /etc/selinux/config
SELINUX=disabled
 setenforce 0
2）兩臺機器一樣操做
安裝rsync
 yum install rsync xinetd
 vim /etc/xinetd.d/rsync
 disable = no   
 /etc/init.d/xinetd start
lsof -i:873
建立同步的密碼文件，這個文件名能夠跟服務端的認證文件不同，可是裏面的密碼必須一致！
用於rsync同步命令中。不過，最好兩邊的文件設置成同樣，便於管理
vim /etc/rsync.pass
123456@rsync
chmod 600 /etc/rsync.pass

查看服務器內核是否支持inotify，出現下面的內容，說明服務器內核支持inotify
 ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Oct 26 12:03 max_queued_events
-rw-r--r-- 1 root root 0 Oct 26 12:03 max_user_instances
-rw-r--r-- 1 root root 0 Oct 26 12:03 max_user_watches
Linux下支持inotify的內核最小爲2.6.13，能夠輸入命令：uname -a查看內核

下面開始安裝inotify-tools
yum install make gcc gcc-c++       
cd /use/local/src
wget https://sourceforge.net/projects/inotify-tools/files/latest/download --no-check-certificate
tar zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure --prefix=/usr/local/inotify
 make && make install
 
發現已經成功安裝inotify-tools了
ll -d /usr/local/inotify/
 drwxr-xr-x 6 root root 4096 Oct 26 12:01 /usr/local/inotify/
 
設置系統環境變量
vim /etc/profile
export PATH=$PATH:/usr/local/inotify/bin
source /etc/profile
 
 添加庫文件
vim /etc/ld.so.conf
/usr/local/inotify/lib

ldconfig
 
 修改inotify默認參數（inotify默認內核參數值過小）
查看系統默認參數值
 
[root@static-img ~]# sysctl -a | grep max_queued_events
fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
fs.inotify.max_user_instances = 128

修改參數：
[root@static-img ~]# sysctl -w fs.inotify.max_queued_events="99999999"
 sysctl -w fs.inotify.max_user_watches="99999999"
 sysctl -w fs.inotify.max_user_instances="65535"
 
 參數說明：
max_queued_events：
inotify隊列最大長度，若是值過小，會出現"** Event Queue Overflow **"錯誤，致使監控文件不許確
max_user_watches：
要同步的文件包含多少目錄，能夠用：find /data/test1    -type d | wc -l 統計這些源目錄下的目錄數，
必須保證max_user_watches值大於統計結果（這裏/data/test1爲同步的源文件目錄）
max_user_instances：
每一個用戶建立inotify實例最大值

4）接着執行同步操做
在192.168.133.1服務器上
 
第一次全量同步
rsync -avH --port=873 --progress --delete /data/test1 RSYNC_USER@192.168.133.3::test1
--password-file=/etc/rsync.pass
 
rsync -avH --port=873 --progress --delete /data/test2 RSYNC_USER@192.168.133.3::test2
--password-file=/etc/rsync.pass
 待第一次rsync全量同步完成後，就進行rsync+inotify實時同步腳本操做
rsync+inotify實時同步
cd /home/rsync/
cat rsync_test1_inotify.sh
cat rsync_test2_inotify.sh

而後啓動同步腳本，放在後臺執行
nohup sh rsync_test1_inotify.sh&
nohup sh rsync_test2_inotify.sh&

ps -ef查看程序進程pid
kill能夠殺死其進程

最後進行測試：
在源目錄/data/test1中建立一個文件或者目錄，會自動實時同步到目標機器192.168.133.3的目標目錄
/home/backup/image-back/test1中

若是在同步過程當中，發現中途報錯！重複執行同步命令一直是報這個錯誤：
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1505)

最後發現緣由：
是由於在同步的時候，源目錄下有軟連接文件！
rsync同步軟連接文件，應該加參數-l
最好在使用rsync同步命令的時候，後面跟-avpgolr參數組合

腳本文件rsync_test1_inotify.sh
#!/bin/bash
SRCDIR=/Data/test1
USER=RSYNC_USER
IP=192.168.133.3
DESTDIR=test1
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avpgorl    --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done




rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]
方法一：
將192.169.133.3服務端的rsyncd.conf配置文件的UID和gid分別改爲root，從新加載
service xinetd reload,再次執行同步，同步成功
####此種方法，執行完同步後，爲了安全，將UID和gid修改回來，或修改爲nobody

方法二：將須要同步的文件夾和下屬文件賦予777權限,再次執行同步，同步成功。