rsync+inotify實現服務器之間文件實時同步

時間 2019-11-06

標籤 rsync+inotify rsync inotify 實現服務器之間文件實時同步欄目 Linux 简体版

原文原文鏈接

以前作了「ssh信任與scp自動傳輸腳本」的技術文檔，此方案是做爲公司裏備份的方法，但在實際的運行中，因爲主服務器在給備份服務器傳輸的時候，咱們的主服務器須要備份的文件是實時、不停的產生的，形成不知道主服務器給備份服務器傳輸了多少文件，磁盤空間就那麼大，作備份的緣由：一個是爲了保持文件，另一個是解決主服務器的磁盤飽滿問題，但因爲不知道備份服務器到底接收了多少文件，因此主服務器裏的文件不敢刪除（若是沒有備份的狀況下刪除，問題就嚴重了，我這個是政府的項目，服務器裏的文件都是重要的，刪錯了就走人~~~~(>_<)~~~~ ），因此我就採用了rsync+inotify的方式來實時同時服務器之間的文件，並且傳輸的過程是加密的，比scp安全多了（即便scp採用ssh信任，用密鑰，也不是萬無一失的）。html

如下是我給公司運維作的備份技術文檔，分享給你們，但願對你們有幫助。linux

先介紹一下rsync與inotify，都在在網上找的資料。先聲明下面的rsync與inotify介紹不是我本身寫的。nginx

一、rsyncgit

與傳統的cp、tar備份方式相比，rsync具備安全性高、備份迅速、支持增量備份等優勢，經過rsync能夠解決對實時性要求不高的數據備份需求，例如按期的備份文件服務器數據到遠端服務器，對本地磁盤按期作數據鏡像等。
隨着應用系統規模的不斷擴大，對數據的安全性和可靠性也提出的更好的要求，rsync在高端業務系統中也逐漸暴露出了不少不足，首先，rsync同步數據時，須要掃描全部文件後進行比對，進行差量傳輸。若是文件數量達到了百萬甚至千萬量級，掃描全部文件將是很是耗時的。並且正在發生變化的每每是其中不多的一部分，這是很是低效的方式。其次，rsync不能實時的去監測、同步數據，雖然它能夠經過linux守護進程的方式進行觸發同步，可是兩次觸發動做必定會有時間差，這樣就致使了服務端和客戶端數據可能出現不一致，沒法在應用故障時徹底的恢復數據。基於以上緣由，rsync+inotify組合出現了！github

二、inotifyweb

Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制，linux內核從2.6.13起，加入了Inotify支持，經過Inotify能夠監控文件系統中添加、刪除，修改、移動等各類細微事件，利用這個內核接口，第三方軟件就能夠監控文件系統下文件的各類變化狀況，而inotify-tools就是這樣的一個第三方軟件。
在上面章節中，咱們講到，rsync能夠實現觸發式的文件同步，可是經過crontab守護進程方式進行觸發，同步的數據和實際數據會有差別，而inotify能夠監控文件系統的各類變化，當文件有任何變更時，就觸發rsync同步，這樣恰好解決了同步數據的實時性問題。shell

具體你們能夠參照http://www.ibm.com/developerworks/cn/linux/l-ubuntu-inotify/index.html來進行學習。ubuntu

接下面咱們來開始進行rsync與inotify的安裝、配置、測試。安全

下面是2個服務器的結構，分別爲主機名、ip、狀態、內核、位數、同步的目錄，並將2臺服務器均是redhat5.4發行版本。bash

1、主服務器（server端，我這裏是server-a）

其中主服務器須要安裝rsync與inotify，主服務器做爲server，向備份服務器client傳輸文件

一、安裝rsync

[root@nginx ~]# cd /usr/local/src/  
[root@nginx src]# ll  
total 16  
drwxr-xr-x 2 root root 4096 Jan 26  2010 debug  
drwxr-xr-x 2 root root 4096 Jan 26  2010 kernels  
[root@nginx src]# wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz  
[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz  
[root@nginx src]# cd rsync-3.0.9  
[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync  
[root@nginx rsync-3.0.9]# make  
[root@nginx rsync-3.0.9]# make install

二、創建密碼認證文件

 [root@nginx rsync-3.0.9]# cd /usr/local/rsync/   
 [root@nginx rsync]# echo "123456" >/usr/local/rsync/rsync.passwd

其中rsync-pwd能夠本身設置密碼，rsync.passwd名字也能夠本身設置

[root@nginx rsync]# chmod 600 rsync.passwd

不管是爲了安全，仍是爲了不出現如下錯誤，密碼文件都須要給600權限

 password file must not be other-accessible  continuing without password file

三、安裝inotify

 [root@nginx rsync]# cd /usr/local/src/  
 [root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  
 [root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz  
 [root@nginx src]# cd inotify-tools-3.14  
 [root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify  
 [root@nginx inotify-tools-3.14]# make  
 [root@nginx inotify-tools-3.14]# make install

四、建立rsync複製腳本

此項功能主要是將server端的目錄/tmp裏的內容，若是修改了（不管是添加、修改、刪除文件）可以經過inotify監控到，並經過rsync實時的同步給client的/tmp裏，下面是經過shell腳本實現的。

#!/bin/bash  
host=192.168.1.51  
src=/tmp/         
des=apabi
user=root 
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src   
| while read files  
do  
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des  
echo "${files} was rsynced" >>/var/rsynctest/rsync.log 2>&1  
done

注意：通過1樓的提示，我發現若是把rsync.log的放到tmp（備份的目錄）或發送一直複製的問題，因此建議各位吧rsync的日誌放到其餘的目錄下（非備份目錄）。

其中host是client的ip，src是server端要實時監控的目錄，des是認證的模塊名，須要與client一致，user是創建密碼文件裏的認證用戶。

把這個腳本命名爲rsync.sh，放到監控的目錄裏，好比個人就放到/tmp下面，並給予764權限

 [root@nginx tmp]# chmod 764 rsync.sh

而後運行這個腳本

[root@nginx tmp]# sh /tmp/rsync.sh &

請記住，只有在備份服務器client端的rsync安裝並啓動rsync以後，在啓動rsync.sh腳本，不然有時候會滿屏出現：

rsync: failed to connect to 192.168.10.221: Connection refused (111)  
rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]

咱們還能夠把rsync.sh腳本加入到開機啓動項裏

[root@nginx tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local

2、備份服務器（client，我這裏爲client-b）

1、安裝rsync（備份服務器只安裝rsync）

[root@nginx-backup ~]# cd /usr/local/src/  
[root@nginx-backup src]# ll  
total 16  
drwxr-xr-x 2 root root 4096 Jan 26  2010 debug  
drwxr-xr-x 2 root root 4096 Jan 26  2010 kernels  
[root@nginx-backup src]# wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz  
[root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz  
[root@nginx-backup src]# cd rsync-3.0.9  
[root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync  
[root@nginx-backup rsync-3.0.9]# make  
[root@nginx-backup rsync-3.0.9]# make install

二、創建用戶與密碼認證文件

 [root@nginx-backup rsync-3.0.9]# echo "root:123456" > /usr/local/rsync/rsync.passwd

請記住，在server端創建的密碼文件，只有密碼，沒有用戶名；而在備份服務端client裏創建的密碼文件，用戶名與密碼都有。

[root@nginx-backup rsync]# chmod 600 rsync.passwd

須要給密碼文件600權限

三、創建rsync配置文件

uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[apabi]
path = /tmp/
comment = apabi file
ignore errors
read only = no
write only = no
hosts allow = 192.168.1.70
hosts deny = *
list = false
uid = root
gid = root
auth users = root
secrets file = /usr/local/rsync/rsync.passwd

其中 web是server服務端裏的認證模塊名稱，須要與主服務器裏的一致，以上的配置個人本身服務器裏的配置，以供參考。

把配置文件命名爲 rsync.conf，放到/usr/local/rsync/目錄裏

啓動 rsync

 [root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf

若是出現如下問題：

/usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory，

能夠採用下面方法解決

[root@nginx-backup rsync]# whereis libiconv.so.2  libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so

找到所需模塊所在的目錄，而後把此目錄添加到 /etc/ld.so.conf裏，並更新庫文件

[root@nginx-backup rsync]# echo "/usr/local/lib/" >> /etc/ld.so.conf   [root@nginx-backup rsync]# ldconfig

咱們能夠把 rsync腳本加入到開機啓動項裏

[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" >> /etc/rc.local

如今rsync與inotify在server端安裝完成，rsync在備份服務器client端也安裝完成

下面是server端的tmp文件狀況

下面是client端tmp的文件狀況

接下來咱們來作一下測試，在server裏建立個test-rsync文件，看看client是否能收到

在看client端是否有test-rsync文件，同時client端的tmp目錄文件是否與server端的文件徹底一致

能夠看到在client端，已經收到了test-rsync文件，並且client的tmp裏的文件與server裏tmp的文件徹底相同、文件數目一致。

如今rsync與inotify的搭建與配置完成了，並實現了服務器直接數據的實時同步；你們能夠根據本身的須要來進行相應的配置。

BTW：在rsync+inotify這種備份方法的時候，我公司遇到了一個問題，那就是主服務已經給備用服務同步完數據了，但主服務器磁盤看見滿了，須要把已經備份的文件刪除，但同時在備份服務器裏保留主服務器裏的文件，也就是說主服務器裏刪除文件的時候，備份服務器裏不跟着刪除文件，我查看了不少英文文檔，測試了不少遍，最後找到了一個解決方法，那就是在主服務器裏，把rsync.sh這個腳本里第9行的--delete參數給去掉，就能夠解決這個問題。

本文出自「吟―技術交流」博客，請務必保留此出處http://dl528888.blog.51cto.com/2382721/771533

參考：http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/

http://ixdba.blog.51cto.com/2895551/580280