利用ssh+rsync+inotify實現數據的異地實時同步

    在服務器中，一般結合計劃任務、shell腳原本執行本地備份。爲了進一步提升備份的可靠性，使用異地備份也是很是重要的，利用rsync工具，能夠實現快速、高效的異地備份。本篇博客將配置rsync+crond實現定時備份、配置ssh+rsync+inotify實現觸發式備份

rsync概述

   rsync（Remote Sync，遠程同步）是一個開源的快速備份工具，適用於異地備份、鏡像服務器等。做爲一種最經常使用的文件備份工具，每每是Linux和UNIX系統默認安裝的基本組件之一

具備如下特性：

（1）能夠在不一樣主機間鏡像同步整個目錄樹和文件系統

（2）能夠很容易作到保持原來文件的權限、時間、軟硬連接等

（3）支持增量備份

（3）無須特殊權限便可安裝

（4）優化的同步算法，傳輸前執行壓縮，文件傳輸效率高

（5）可使用 rsh、ssh 方式來傳輸文件

（6）支持匿名傳輸，以方便進行網站鏡象

1. 配置rsync同步源

    rsync做爲同步源時以守護進程運行，爲其餘客戶機提供備份源。須要創建rsync.conf，建立備份帳戶   

[root@localhost ~]# vim /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = yes                       //禁錮在源目錄
address = 192.168.1.1                  //監聽地址
port 873                               //監聽端口
log file = /var/log/rsyncd.log         //日誌文件位置
pid file = /var/run/rsyncd.pid         //進程ID存放位置
hosts allow = 192.168.1.0/24           //容許訪問的客戶機地址
[wwwroot]                                       //共享模塊名稱
    path = /var/www/html                        //源目錄的路徑
    comment = Document Root of www1.benet.com   //描述信息
    read only = yes                             //是否爲只讀
    dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z   //同步時不在壓縮的文件類型
    auth users = backuper                       //受權帳戶，若是採用匿名帳戶，能夠去掉
    secrets file = /etc/rsyncd_users.db         //存放受權帳戶信息的數據文件
    
[root@localhost ~]# vim /etc/rsyncd_users.db    //爲備份帳戶創建數據文件
backuper:123.abc                                //用：分隔帳戶和密碼，無需創建同名系統用戶
[root@localhost ~]# chmod 600 /etc/rsyncd_users.db  //修改權限，避免信息泄露
  
[root@localhost ~]# ls -ld /var/www/html/       //backuper備份用戶須要對源目錄擁有讀取權限
drwxr-xr-x. 3 root root 4096 1月   8 05:28 /var/www/html/
[root@localhost ~]# vim /etc/sysconfig/selinux   //關閉selinux
SELINUX=disabled
[root@localhost ~]# setenforce 0                 //當即生效
[root@localhost ~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT   //容許tcp873端口經過防火牆
[root@localhost ~]# rsync --daemon               //啓動rsync服務
[root@localhost ~]# netstat -anpt | grep rsync
tcp        0      0 192.168.1.1:873             0.0.0.0:*                   LISTEN      4734/rsync

[root@localhost ~]# kill $(cat /var/run/rsyncd.pid)   //若須要關閉rsync服務，可結束kill進程

2. 在發起端使用rsync備份

（1）rsync命令格式及經常使用備份選項

rsync  [選項]  原始位置   目標位置

    下面是rsync選項的詳細介紹，具體應根據實際需求進行選擇

-v, --verbose               詳細模式輸出

-q, --quiet                 精簡輸出模式

-c, --checksum              打開校驗開關，強制對文件傳輸進行校驗

-a, --archive               歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD

-r, --recursive             對子目錄以遞歸模式處理

-R, --relative              使用相對路徑信息

-b, --backup                建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。

--backup-dir                將備份文件(如~filename)存放在在目錄下。

-suffix=SUFFIX              定義備份文件前綴

-u, --update                僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件)

-l, --links                 保留軟連接

-L, --copy-links            想對待常規文件同樣處理軟鏈結

--copy-unsafe-links         僅僅拷貝指向SRC路徑目錄樹之外的鏈結

--safe-links                忽略指向SRC路徑目錄樹之外的鏈結

-H, --hard-links            保留硬鏈結

-p, --perms                 保持文件權限

-o, --owner                 保持文件屬主信息

-g, --group                 保持文件屬組信息

-D, --devices               保持設備文件信息

-t, --times                 保持文件時間信息

-S, --sparse                對稀疏文件進行特殊處理以節省DST的空間

-n, --dry-run               現實哪些文件將被傳輸

-W, --whole-file            拷貝文件，不進行增量檢測

-x, --one-file-system       不要跨越文件系統邊界

-B, --block-size=SIZE       檢驗算法使用的塊尺寸，默認是700字節

-e, --rsh=COMMAND           指定使用rsh、ssh方式進行數據同步

--rsync-path=PATH           指定遠程服務器上的rsync命令所在路徑信息

-C, --cvs-exclude           使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件

--existing                  僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件

--delete                    刪除那些DST中SRC沒有的文件

--delete-excluded           一樣刪除接收端那些被該選項指定排除的文件

--delete-after              傳輸結束之後再刪除

--ignore-errors             及時出現IO錯誤也進行刪除

--max-delete=NUM            最多刪除NUM個文件

--partial                   保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸

--force                     強制刪除目錄，即便不爲空

--numeric-ids               不將數字的用戶和組ID匹配爲用戶名和組名

--timeout=TIME IP           超時時間，單位爲秒

-I, --ignore-times          不跳過那些有一樣的時間和長度的文件

--size-only                 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間

--modify-window=NUM         決定文件是否時間相同時使用的時間戳窗口，默認爲0

-T --temp-dir=DIR           在DIR中建立臨時文件

--compare-dest=DIR          一樣比較DIR中的文件來決定是否須要備份

-P 等同於 --partial--progress               顯示備份過程

-z, --compress             對備份的文件在傳輸時進行壓縮處理

--exclude=PATTERN          指定排除不須要傳輸的文件模式

--include=PATTERN          指定不排除而須要傳輸的文件模式-

-exclude-from=FILE         排除FILE中指定模式的文件

--include-from=FILE        不排除FILE指定模式匹配的文件

--version                  打印版本信息

--address                  綁定到特定的地址

--config=FILE              指定其餘的配置文件，不使用默認的rsyncd.conf文件

--port=PORT                指定其餘的rsync服務端口

--blocking-io              對遠程shell使用阻塞IO

-stats                     給出某些文件的傳輸狀態

--progress                 在傳輸時現實傳輸過程

--log-format=formAT        指定日誌文件格式

--password-file=FILE       從FILE中獲得密碼

--bwlimit=KBPS             限制I/O帶寬，KBytes per second-h, 

--help                     顯示幫助信息

（2）配置源的表示方法

    rsync同步源的資源表示方法有兩種：

方法一：用戶名@主機地址::共享模塊名

方法二：rsync://用戶名@主機地址/共享模塊名

例如：執行如下操做將訪問同步源，並下載到本地目錄/root下進行備份

[root@localhost ~]# rsync -avz backuper@192.168.1.1::wwwroot /root   //兩種操做達成效果同樣
Password: 
[root@localhost ~]# rsync -avz rsync://backuper@192.168.1.1/wwwroot /root
Password:

配置rsync+crond定時備份

   在實際生產環境中，備份工做一般是按計劃重複執行的，能夠結合crond服務來按期執行備份計劃

案例：天天晚上23:30對源服務器的網站目錄作一次同步，同步到/myweb目錄下

    爲了在同步中不使用密碼，須要建立一個密碼文件

[root@localhost ~]# mkdir /myweb                  //建立備份文件夾
[root@localhost ~]# vim /etc/service.pass         //建立密碼文件
[root@localhost ~]# chmod 600 /etc/server.pass   //設置權限，防止泄露
[root@localhost ~]# crontab -e                    //設置定時任務計劃，每晚23:30進行同步
30 23 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.1.1::wwwroot /myweb
[root@localhost ~]# chkconfig crond on   //重啓crond服務
[root@localhost ~]# service crond restart
[root@localhost ~]# ls /myweb/           //驗證同步結果
index.html  index.php

配置ssh+rsync+inotify實時同步

    Linux內核從版本2.6.13開始提供inotify通知接口，用來監控文件系統的變更狀況，並做出通知響應，如文件的存取、刪除、移動、修改等。利用這一機制，能夠很是方便的實現文件異動告警、增量備份，並對文件或目錄的變更作出響應

    經過rsync工具與inotify機制相結合，能夠實現觸發式備份（實時同步）——只要原始位置的文檔發生變化，便可當即啓動增量備份操做，不然處於靜默狀態，避免了固定週期備份時存在的延遲性、週期過密等問題

1. 調整inotify內核參數

    Linux內核中，默認的inotify機制提供了三個調控參數，分別表示監控事件隊列、最多監控實例數、每一個實例最多監控文件數。當須要監控的目錄、文件數量過多時，建議加大這三個參數

[root@localhost ~]# cat /proc/sys/fs/inotify/max_queued_events 
16384                                               //監控事件隊列默認16384
[root@localhost ~]# cat /proc/sys/fs/inotify/max_user_instances 
128                                                 //最多監控實例數默認128
[root@localhost ~]# cat /proc/sys/fs/inotify/max_user_watches 
8192                                                //每一個實例最多監控文件數默認8192
[root@localhost ~]# vim /etc/sysctl.conf         //若是監控文件過多，建議加大數量 
fs.inotify.max_queued_events=16384               //添加三行
fs.inotify.max_user_instances=1024
fs.inotify.max_user_watches=1048576
[root@localhost ~]# sysctl -p                    //當即生效

2. 安裝inotify-tool

    使用inotify機制須要安裝inotify-tool，以便提供inotifywait、inotifywatch輔助工具程序，用來監控、彙總改動狀況。可從網站http://inotify-tool.sourceforge.net下載

[root@localhost ~]# tar zxf inotify-tools-3.14.tar.gz 
[root@localhost ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure && make && make install
[root@localhost inotify-tools-3.14]# cd ~
[root@localhost ~]# inotifywait -mrq -e modify,create,move,delete /var/www/html/ 
輸入命令後，切換終端向/var/www/html/目錄添加、移動文件，跟蹤屏幕輸出結果，信息以下：   
/var/www/html/ CREATE index.php         //建立index.php文件
/var/www/html/ MODIFY index.php         //修改index.php文件
/var/www/html/ MOVED_FROM index.php     //重命名index.php文件
/var/www/html/ MOVED_TO ysf.php         //更名爲ysf.php文件

上述命令中

inotifywait：可監控modify（修改）、create（建立）、move（移動）、delete（刪除）、attrib（屬性更改）等各類事件，一有變更當即輸出結果

inotifywatch：可用來收集文件系統變更狀況，並在運行結束後輸出彙總的變化狀況

-m  表示持續監控

-r  表示遞歸整個目錄

-q  表示簡化輸出信息

-e  用來指定監控哪些事件

3. 在rsync同步源啓用密鑰對驗證

[root@localhost html]# vim /etc/ssh/sshd_config   //修改sshd服務配置文件
PubkeyAuthentication yes                          //找到這兩項，去掉註釋
AuthorizedKeysFile      .ssh/authorized_keys
[root@localhost html]# service sshd reload        //重載服務

4. 在rsync發起端建立ssh密鑰對，並將公鑰導入到服務器公鑰文本     

[root@localhost ~]# ssh-keygen -t rsa         //使用RSA算法生成密鑰對
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):   
Enter passphrase (empty for no passphrase): 
Enter same passphrase again:                 //按三下Enter鍵，實現無口令登陸
[root@localhost ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.1    //將公鑰文件上傳到rsync同步源
The authenticity of host '192.168.1.1 (192.168.1.1)' can't be established.
RSA key fingerprint is e5:c6:c7:96:30:eb:04:00:da:e9:43:72:67:d7:ff:e3.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.1.1' (RSA) to the list of known hosts.
root@192.168.1.1's password:                                             //輸入同步源用戶密碼
Now try logging into the machine, with "ssh 'root@192.168.1.1'", and check in:
  .ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting
[root@localhost ~]# ssh root@192.168.1.1             //成功登陸sync同步源
[root@localhost ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:1C:B4:FB  
          inet addr:192.168.1.1  Bcast:192.168.1.255  Mask:255.255.255.0

5. 編寫觸發式同步腳本

[root@localhost ~]# vim rsync.sh               //編寫腳本，若進程已經存在，則忽略本次備份，避免併發執行rsync備份
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete /var/www/html/ root@192.168.1.1:/var/www/html"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done
[root@localhost ~]# chmod +x rsync.sh           //添加執行權限，而且服務器開機自動運行此腳本    
[root@localhost ~]# echo '/root/rsync.sh' >> /etc/rc.local

6. 驗證腳本是否正確

（1）執行腳本，並切換到本機/var/www/html目錄，執行增、刪、改等操做

（2）登陸到rsync同步源服務器，查看/var/www/html目錄下是否同步