rsync+inotify實現多臺服務器之間數據實時同步

1.Inotify

    Inotify，它是一個內核用於通知用戶空間程序文件系統變化的機制。衆所周知，Linux 桌面系統與 MAC 或 Windows 相比有許多不如人意的地方，爲了改善這種情況，開源社區提出用戶態須要內核提供一些機制，以便用戶態可以及時地得知內核或底層硬件設備發生了什麼，從而可以更好地管理設備，給用戶提供更好的服務，如hotplug、udev 和 inotify 就是這種需求催生的。Hotplug 是一種內核向用戶態應用通報關於熱插拔設備一些事件發生的機制，桌面系統可以利用它對設備進行有效的管理，udev 動態地維護 /dev 下的設備文件，inotify 是一種文件系統的變化通知機制，如文件增長、刪除等事件能夠馬上讓用戶態得知，該機制是著名的桌面搜索引擎項目 beagle 引入的，並在 Gamin 等項目中被應用。

2.rsync

     rsync其實就是remote  rsync，它是一個遠程同步工具，兼具cp和scp的功能，rsync命令的使用幾乎和scp是同樣同樣的。rsync是經過超級守護進程xinetd進行觸發同步的。

 1）優勢：與cp和scp相比來講，rsync更快，更安全，支持增量備份。rsync在數據同步的過程當中，不像cp同樣所有都拷貝，而是先去比對特徵碼，只有不同的纔會去拷貝，若是同樣了，就不需再作多餘操做。經過使用rsync+crontab能夠解決對實時性要求不是過高的場景。

 2）缺點：在這個大數據年代，若是你的數據量很是大，你每作一次任務計劃，rsync都會先去遍歷目標目錄，把全部數據作一次特徵碼比對，而後進行差量傳輸，這個過程會是很漫長的，對於那些要求實時性更新比較高的企業來講，無疑是一場噩夢。可是若是可以出現一個工具可以實時的去監控咱們的文件系統，只有在數據改變時纔會觸發它去同步，那該有多好啊！爲了知足廣大需求者的心聲rsync+inotify組合就出現了

3.rsync+inotify 之推薦理由

 1）服務器性能：rsync+crontab會定時去檢查是否有文件更新，這勢必會形成服務器性能降低；而rsync+inotify組合是觸發式更新，只有在數據文件有變化時，纔會去更新，所以相對前者而言，是提升了服務器性能

 2）數據實時性：rsync+crontab是週期性任務計劃，不能保證數據的實時性；rsync+inotify組合是觸發式更新，只要有數據變化，就馬上同步更新

4.系統平臺環境

 一、操做系統：CentOS6.4-X86_64

 二、rsync客戶端（rsync+inotify）：172.16.150.150

 三、rsync服務端：172.16.251.93，172.16.251.194

   實驗拓撲

4.配置rsync服務端（172.16.251.9三、172.16.251.194）  

    配置rsync服務端：172.16.251.93

  1）檢查系統是否已經安裝rsync和xinetd超級守護進程，CentOS6.4默認已經安裝rsync，但未安裝xinetd

[root@nmshuishui www]#  rpm -qa | grep rsync

rsync-3.0.6-9.el6.x86_64

[root@nmshuishui www]#yum -y install xinetd rsync

  2）爲rsync服務提供配置文件

  vim /etc/rsyncd.conf

01.#Global Settings 全局配置 

02.uid =  nobody                         #運行rsync的用戶

03.gid =  nobody                         #運行rsync的用戶組

04.use chroot =  no                      #是否讓進程離開工做目錄

05.max connections =  5                  #最大併發鏈接數，0爲不限制

06.timeout =  600                        #超時時間

07.pid file = /var/run/rsyncd.pid        #指定rsync的pid存放路徑

08.lockfile =  /var/run/rsyncd.lock      #指定rsync的鎖文件存放路徑

09.log file = /var/log/rsyncd.log        #指定rsync的日誌存放路徑

10.#模塊配置

11.[web1]

12.path =  /var/www                      #認證的模塊名,在client端須要指定

13.ignore errors =  yes                  #忽略一些無關的I/O錯誤

14.read only = no                       #客戶端是否能拉（PULL）

15.write only =  no                      #客戶端是否能推（PUSH）

16.hosts allow =  172.16.150.150         #白名單，能夠訪問此模塊的主機

17.hosts deny =  *                       #黑名單，*表示任何主機

18.list = yes                           #客戶端請求是否能夠列出模塊列表

19.uid =  root                           #以root的身份去獲取文件

20.gid = root

21.auth users = web                      #認證此模塊的用戶名

22.secrets file = /etc/web.passwd       #指定存放「用戶名：密碼」格式的文

 3）建立同步目錄

[root@nmshuishui  ~]# mkdir /var/www

 4）配置rsync認證文件/etc/web.passwd

[root@nmshuishui ~]# echo "web:web" >  /etc/web.passwd

[root@nmshuishui  ~]# cat /etc/web.passwd

web:web

 5)修改/etc/web.passwd的權限爲600

[root@nmshuishui ~]# chmod 600  /etc/web.passwd

[root@nmshuishui  ~]# ll /etc/web.passwd

-rw------- 1 root root 10  Mar 27 22:31 /etc/web.passwd

 6）配置服務可以啓動

[root@nmshuishui ~]# chkconfig rsync on

[root@nmshuishui  ~]# service xinetd start

Starting  xinetd:                                           [  OK   ]

  配置rsync服務端：172.16.251.194

步驟同上

 1）檢查系統是否已經安裝rsync和xinetd超級守護進程

 2）爲rsync服務提供配置文件

  vim /etc/rsyncd.conf

 

01.#Global Settings 

02.uid = nobody

03.gid = nobody

04.use chroot = no

05.max connections = 5

06.timeout = 600

07.pid file = /var/run/rsyncd.pid

08.lockfile =  /var/run/rsyncd.lock

09.log file = /var/log/rsyncd.log

10.[web2]

11.path = /var/www

12.ignore errors =  yes

13.read only = no

14.write only = no

15.hosts allow =  172.16.150.150

16.hosts deny = *

17.list = yes

18.uid = root

19.gid = root

20.auth users = web

21.secrets file = /etc/web.passwd

 3）建立同步目錄

[root@shuishui  www]# mkdir /var/www

 4）配置rsync認證文件/etc/web.passwd

[root@shuishui www]# echo "web:web" >  /etc/web.passwd

[root@shuishui www]# cat /etc/web.passwd

web:web

 5)修改/etc/web.passwd的權限爲600

[root@shuishui www]# chmod 600  /etc/web.passwd

[root@shuishui www]# ll /etc/web.passwd

-rw------- 1 root root 10  Mar 29 15:21 /etc/web.passwd

 6）配置服務可以啓動

[root@nmshuishui ~]# chkconfig rsync on

[root@nmshuishui  ~]# service xinetd start

Starting  xinetd:                                           [  OK   ]

  配置rsync客戶端（172.16.150.150）

一、設置 rsync 客戶端的密碼文件，客戶端只須要設置 rsync 同步的密碼便可，不用設置用戶名（默認已經安裝了rsync）

[root@shuishui www]# echo web >  /etc/web.passwd

[root@shuishui www]# cat /etc/web.passwd

web

二、修改/etc/rsyncd.passwd的權限爲600

[root@shuishui www]# chmod 600  /etc/web.passwd

[root@shuishui  www]# ll /etc/web.passwd

-rw------- 1 root root 10  Mar 26 21:28 /etc/web.passwd

三、安裝inotify-tools

[root@shuishui www]# tar xf  inotify-tools-3.13.tar.gz

[root@shuishui www]# cd  inotify-tools-3.13

[root@shuishui www]# ./configure

[root@shuishui www]# make && make  install

  編寫rsync腳本，實現數據實時同步

一、在rsync客戶端（172.16.150.150）編寫rsync腳本

vim /var/www/rsync.sh

01.#!/bin/bash

02.src=/var/www/

03.des1=web1

04.des2=web2

05.host1=172.16.251.93

06.host2=172.16.251.194

07.user1=web

08.user2=web

09./usr/local/bin/inotifywait -mrq --timefmt  '%d/%m/%y %H:%M' --format '%T %w %f' -e modify,delete,create,attrib $src | while read file DATE TIME DIR;

10.do

11./usr/bin/rsync -vzrtopg --delete --progress $src  $user1@$host1::$des1 --password-file=/etc/web.passwd

12./usr/bin/rsync -vzrtopg --delete --progress $src  $user2@$host2::$des2 --password-file=/etc/web.passwd

13.echo "${files} was rsynced" >> /var/log/rsync.log 2>&1

14.done

 

二、給rsync.sh執行權限

[root@shuishui www]#  chmod +x rsync.sh

[root@shuishui  www]# ll rsync.sh

-rwxr-xr-x 1 root root  523 Mar 27 00:46 rsync.sh

三、把腳本加入到開機自動啓動文件

[root@shuishui  www]# echo "/var/www/rsync.sh &" >>  /etc/rc.local