RSYNC的介紹和配置

1、軟件介紹

能夠實現全量或增量的本地或遠程的數據鏡像同步，可跨平臺使用

         相似scp命令，可是功能優於scp，由於rsync能夠作增量備份

         在同步備份數據時，默認狀況下，rsync經過其獨特的「quick check」算法，它僅同步大小或者最後修改時間發生變化的文件或目錄，固然也能夠根據權限、屬主等屬性的變化同步，但須要指定響應的參數，甚至能夠實現指同步一根文件裏有變化的內容部分，

2、rsync特性：

         1）支持拷貝特殊文件，如連接、設備等

         2）能夠配出指定文件或目錄同步的功能，至關於tar（tar -X）的排除功能

         3）能夠作到保持原文件或目錄的權限時間、軟硬連接等全部屬性不變

         4）能夠實現增量同步，

         5）可使用rcp、rsh、ssh等方式配合傳輸文件（rsync自己是不加密的），

    6）能夠直接經過socket（進程方式）傳輸

          7）支持匿名的或認證的進程模式傳輸（無需系統用戶，使用虛擬用戶），能夠實現方便安全的進行數據備份及鏡像。

3、rsync的工做方式

         1）本地傳輸，相似cp

         2）藉助rcp或ssh等通道加密傳輸數據

         3）以守護進程（socket）的方式傳輸數據（這是rsync的重要的功能）

注意：在遠程同步任務中，負責發起rsync同步操做的客戶機稱爲發起端，而負責響應來自客戶機的rsync同步的服務器稱爲備份源。在這須要注意的是：在下行同步（下載）中，備份源負責提供原始位置，發起端應具備對該位置讀取權限；在上行同步（上傳）中，備份源負責提供文檔的目標位置，發起端應對·該位置有寫入權限

4、rsync的配置文件

1）默認rsync不存在配置文件，須要咱們手動建立 /etc/rsyncd.conf

2）配置文件中相關的配置參數

 全局配置的相關參數

port：指定後臺程序使用的端口號，默認爲873。

uid：指定該模塊傳輸文件時守護進程的uid，配合gid選項使用肯定文件的權限，默認值是" nobody" 。

gid：指定當該模塊傳輸文件時守護進程應該具備的gid。默認值爲" nobody" 。

max connections：指定該模塊的最大併發鏈接數量，超過限制的鏈接請求將被告知隨後再試。默認值是0，也就是沒有限制。

strict modes 設置是否監聽用戶密碼文件的權限，默認爲yes，監聽後密碼文件必須爲600

lock file：指定支持maxconnections參數的鎖文件，默認值是/var/run/rsyncd.lock。

motd file：指定一個消息文件，當客戶鏈接服務器時該文件的內容顯示給客戶，默認是沒有motd文件的。

log file：指定rsync的日誌文件，而不將日誌發送給syslog。

pid file：指定rsync的pid文件，一般指定爲"/var/run/rsyncd.pid"，存放進程ID的文件位置。

hosts allow = 單個IP地址或網絡地址 //容許訪問的客戶機地址

常見的模塊配置參數：

Comment：給模塊指定一個描述，該描述連同模塊名在客戶鏈接獲得模塊列表時顯示給客戶。默認沒有

Path：指定該模塊的供備份的目錄樹路徑，該參數是必須指定的。

read only ：yes爲只容許下載，no爲能夠下載和上傳文件到服務器

exclude：用來指定多個由空格隔開的多個文件或目錄(相對路徑)，將其添加到exclude列表中。這等同於在客戶端命令中使用—exclude或----filter來指定某些文件或目錄不下載或上傳(既不可訪問)

exclude from：指定一個包含exclude模式的定義的文件名，服務器從該文件中讀取exclude列表定義，每一個文件或目錄須要佔用一行

include： 用來指定不排除符合要求的文件或目錄。這等同於在客戶端命令中使用--include來指定模式，結合include和exclude能夠定義複雜的exclude/include規則。

include from：指定一個包含include模式的定義的文件名，服務器從該文件中讀取include列表定義。

ignore errors：指定rsyncd在判斷是否運行傳輸時的刪除操做時忽略server上的IO錯誤

ignorenonreadable：指定rysnc服務器徹底忽略那些用戶沒有訪問權限的文件

auth users：該選項指定由空格或逗號分隔的用戶名列表，只有這些用戶才容許鏈接該模塊。這裏的用戶和系統用戶沒有任何關係。若是" auth users" 被設置，那麼客戶端發出對該模塊的鏈接請求之後會被rsync請求challenged進行驗證身份這裏使用的challenge/response認證協議。用戶的名和密碼以明文方式存放在" secrets file" 選項指定的文件中。默認狀況下無需密碼就能夠鏈接模塊(也就是匿名方式)。

secrets file：該選項指定一個包含定義用戶名:密碼對的文件。只有在" auth users" 被定義時，該文件纔有做用。文件每行包含一個username:passwd對。通常來講密碼最好不要超過8個字符。沒有默認的secures file名，注意：該文件的權限必定要是600，不然客戶端將不能鏈接服務器。

hosts allow：指定哪些IP的客戶容許鏈接該模塊。定義能夠是如下形式：

單個IP地址，例如：192.167.0.1，多個IP或網段須要用空格隔開，

整個網段，例如：192.168.0.0/24，也能夠是192.168.0.0/255.255.255.0

"*"則表示全部，默認是容許全部主機鏈接。

hosts deny：指定不容許鏈接rsync服務器的機器，可使用hostsallow的定義方式來進行定義。默認是沒有hosts deny定義。

list：該選項設定當客戶請求可使用的模塊列表時，該模塊是否應該被列出。若是設置該選項爲false，能夠建立隱藏的模塊。默認值是true。

Timeout：經過該選項能夠覆蓋客戶指定的IP超時時間。經過該選項能夠確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位爲秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來講，一個理想的數字是600。

log format：經過該選項用戶在使用transfer logging能夠本身定製日誌文件的字段

dont compress：指定那些不進行壓縮處理再傳輸的文件，默認值是*.gz *.tgz *.zip *.z*.rpm *.deb *.iso *.bz2 *.tbz

3）配置文件案例：

#############################global########################
uid = fuzj
gid = fuzj
use chroot = no
max connections= 4
strict modes =yes
port = 873
pid file = /var/run/rsyncd.pid
lock file =/var/run/rsync.lock
log file =/var/log/rsyncd.log
 
#############################modules####################
[webroot]
path = /webroot
comment =webroot backup
ignore errors
read only = yes
list = no
auth users = fuzj
secrets file =/etc/rsync.passwd
hosts allow =192.168.255.101
host deny =0.0.0.0/0
timeout 600

5.rsync的管理

rsync有兩種管理方式：

一種是獨立運行於系統後臺，直接執行rsync –daemon ,便開始運行

一種是受xinetd管理，可是須要安裝xinetd軟件，而且修改/etc/xinetd.d/rsync中的disabled的值爲no

命令：sed -i -e 's/= yes/= no/g' /etc/xinetd.d/rsync

6.rsync的使用方法

工做方式一：本地傳輸

rsync  [OPTION...]  SRC... [DEST]

工做方式二：藉助rcp或ssh等通道加密傳輸數據

  Pull（拉）: rsync [OPTION...]  -e 「ssh -p22」[USER@]HOST:SRC... [DEST] 

  Push（推）: rsync [OPTION...] -e 「ssh -p 22」SRC... [USER@]HOST:DEST

注意：1、ssh必定要放在-p的前邊，不然報錯

         2、若是ssh的端口是22的話，能夠不指定-p

         3、這裏用的是系統用戶oldboy，所以使用的是單冒號，若是是虛擬用戶的話要用雙冒號。

工做方式三：以守護進程（socket）的方式傳輸數據

Pull（拉）: rsync [OPTION...][USER@]HOST::SRC... [DEST]

        rsync[OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

  Push（推）: rsync [OPTION...] SRC...[USER@]HOST::DEST

        rsync[OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 

rsync命令參數：經常使用的 -avz  --delete   

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑信息

-b, --backup 建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。

--backup-dir 將備份文件(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份文件前綴

-u, --update 僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件)

-l, --links 保留軟鏈結

-L, --copy-links 想對待常規文件同樣處理軟鏈結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結

--safe-links 忽略指向SRC路徑目錄樹之外的鏈結

-H, --hard-links 保留硬鏈結     -p, --perms 保持文件權限

-o, --owner 保持文件屬主信息     -g, --group 保持文件屬組信息

-D, --devices 保持設備文件信息    -t, --times 保持文件時間信息

-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間

-n, --dry-run現實哪些文件將被傳輸

-W, --whole-file 拷貝文件，不進行增量檢測

-x, --one-file-system 不要跨越文件系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步

--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息

-C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件

--existing 僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件

--delete 刪除那些DST中SRC沒有的文件

--delete-excluded 一樣刪除接收端那些被該選項指定排除的文件

--delete-after 傳輸結束之後再刪除

--ignore-errors 即便出現IO錯誤也進行刪除

--max-delete=NUM 最多刪除NUM個文件

--partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸

--force 強制刪除目錄，即便不爲空

--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名

--timeout=TIME IP超時時間，單位爲秒

-I, --ignore-times 不跳過那些有一樣的時間和長度的文件

--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間

--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0

-T --temp-dir=DIR 在DIR中建立臨時文件

--compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份

-P 等同於 --partial

--progress 顯示備份過程

-z, --compress 對備份的文件在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不須要傳輸的文件模式

--include=PATTERN 指定不排除而須要傳輸的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 綁定到特定的地址

--config=FILE 指定其餘的配置文件，不使用默認的rsyncd.conf文件

--port=PORT 指定其餘的rsync服務端口

--blocking-io 對遠程shell使用阻塞IO

-stats 給出某些文件的傳輸狀態

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日誌文件格式

--password-file=FILE 從FILE中獲得密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second      

-h, --help 顯示幫助信息

 

RSYNC的具體應用

1.本地複製文件和同步目錄

建立1.txt文件並複製到/tmp目錄下，
[root@localhost ~]# touch 1.txt
[root@localhost ~]# rsync 1.txt /tmp/
[root@localhost ~]# ls /tmp/
1.txt 
把/share/目錄下的文件同步到/tmp下
[root@localhost ~]# ls /share/
123.jpg  123.sh
[root@localhost ~]# rsync -r /share/ /tmp/
[root@localhost ~]# ls /tmp/
123.jpg  123.sh
注意：若/share後面不加/，表示把share目錄複製到/tmp下
[root@localhost ~]# rsync -r /share /tmp/ 
[root@localhost ~]# ls /tmp/
123.jpg  123.sh  share

2.遠程複製文件，至關於備份

1）把192.168.255.100上的webroot中全部文件拉回到本地
[root@localhost ~]# rsync -avz jeck@192.168.255.100::webroot/backup_dir/
Password: 
receiving incremental file list
./
1.jpg
1.sh
1.txtr
sent 117 bytes  received252 bytes  25.45 bytes/sec
total size is 0  speedupis 0.00
 
發現上面的還得手動輸入密碼，可使用--password-file來指定密碼文件，不須要再手動輸入
[root@localhost ~]# rsync -avz jeck@192.168.255.100::webroot/backup_dir/ --password-file=/etc/rsync.passwd 
receiving incremental file list
 
sent 57 bytes  received141 bytes  18.86 bytes/sec
total size is 0  speedupis 0.00
注意本次操做是在客戶端上，因此須要客戶端有密碼文件，文件中只須要填寫密碼便可，且權限600
加—delet能夠實現增量備份，如，刪除1.jpg，而後再同步，會發現只取回了1.jpg
[root@localhost ~]# rsync -avz --deletejeck@192.168.255.100::webroot /backup_dir/ --password-file=/etc/rsync.passwd 
receiving incremental file list
./
1.jpg
 
sent 79 bytes  received180 bytes  24.67 bytes/sec
total size is 0  speedupis 0.00
 
2）把本地（192.168.255，101）上的backup_dir文件推送到192.168.255.100的webroot裏，注意rsyncd.conf中的read only 爲no才能夠推送成功
rsync -avz --delete /backup_dir/ jeck@192.168.255.100::webroot --password-file=/etc/rsync.passwd

3.以守護進程（socket）的方式傳輸數據

拉取：
rsync –avz rsync://jeck@192.168.255.100::webroot/ /backup_dir/--password-file=/etc/rsync.passwd
推送命令:
rsync –avz  /backup_dir/rsync:// jeck@192.168.255.100::webroot/  --password-file=/etc/rsync.passwd

4.rsync實現無交互自動密碼驗證

1）SSH備份源無密碼驗證

對於ssh服務器來講，採用密鑰對驗證是避免交互式登陸的最佳方式，只要在客戶機中建立好無私鑰短語的密鑰對，再把公鑰分發給服務器上的備份用戶，就能夠實現無交互式登陸

[root@localhost ~]# ssh-keygen -t rsa                   建立公鑰和私鑰
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
04:07:8e:d5:48:36:13:61:7c:f4:f7:d4:e7:12:f4:9croot@localhost.localdomain
The key's randomart p_w_picpath is:
+--[ RSA 2048]----+
|     o%Bo     .  |
|     *o=o.   . +.|
|    . ... . . oE=|
|       .   . o o.|
|        S     o .|
|               . |
|                 |
|                 |
|                 |
+-----------------+
[root@localhost ~]# ssh-copy-id fuzj@192.168.255.100                    將公鑰拷貝至服務器
fuzj@192.168.255.100's password: 
Now try logging into the machine, with "ssh'fuzj@192.168.255.100'", and check in:
 
  .ssh/authorized_keys                     公鑰在服務器存放的位置
 
to make sure we haven't added extra keys that you weren'texpecting.
如今已經實現無交互密碼驗證登陸了

 

2）Rsync備份源的無交互驗證

rsync備份源的無交互驗證，對於rsync備份源來講，可以使用環境變量RSYNC_PASSWORD來存放密碼。執行 rsync備份任務時，會自動讀取該變量，並在須要時發送給rsync源服務器

[root@localhost ~]# export RSYNC_PASSWORD=fuzj
[root@localhost ~]# rsync -avzrsync://fuzj@192.168.255.100::webroot /backup_dir/
receiving incremental file list
 
sent 57 bytes  received141 bytes  18.86 bytes/sec
total size is 0  speedupis 0.00

3）使用密碼文件進行自動驗證

在服務器上rsync的配置文件須要使用secretsfile = /etc/rsync.passwd指定密碼文件的位置，在/etc/rsync.passwd中以username：password形式存儲密碼，並設置權限爲600；在客戶端上也須要建立密碼文件，可是密碼文件中只須要寫入密碼便可，不用寫username，權限一樣設置爲600

使用：在rsync命令後面用--password-file=密碼文件的方式進行指定便可。

5.rsync+inotify實現時時同步

         經過rsync能夠實現對遠程服務器數據的增量備份，可是rsync自身也有瓶頸，同步數據時，rsync採用核心算法歲目標文件進行對比，只進行差別同步，可是若是服務器的文件的數據十分龐大，千萬級的，那麼對比耗時就會很是長，而inotify的出現能夠解決這個缺點。

         inotify是一種細粒度的、異步的文件系統事件監控機制，linux內核從2.6.13起，加入了inotify支持，inotify能夠監控文件系統中添加、刪除、修改、移動等各類事件，

         inotify的實現是在rsync的基礎上實現的，要配置在rsync的服務端

 

1）inotify工做原理

         inotify監控文件系統是否有改動，一旦發現有改動則調用rsync進行數據同步

2）inotify的安裝

 查看系統是否支持
[root@localhost ~]# uname -r   
2.6.32-358.el6.x86_64
[root@localhost ~]# ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jun 3 17:01 max_queued_events
-rw-r--r-- 1 root root 0 Jun 3 17:01 max_user_instances
-rw-r--r-- 1 root root 0 Jun 3 17:01 max_user_watches
提示：當要監控的目錄、文件數量較多或者變化較頻繁時，建議加大這三個參數的值。例如可直接修改/etc/sysctl.conf配置文件，將管理隊列設爲32768，實例數設爲1024，監控數設爲1048576（建議大於監控目標的總文件數）。
[root@localhost ~]# echo "fs.inotify.max_queued_events =16384" >>/etc/sysctl.conf 
[root@localhost ~]# echo "fs.inotify.max_user_instances =1024" >>/etc/sysctl.conf           
[root@localhost ~]# echo "fs.inotify.max_user_watches =1048576" >>/etc/sysctl.conf          
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
error: "net.bridge.bridge-nf-call-ip6tables" is anunknown key
error: "net.bridge.bridge-nf-call-iptables" is anunknown key
error: "net.bridge.bridge-nf-call-arptables" is anunknown key
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
 
下載inotify軟件包，編譯安裝
wgethttp://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
tar zxf inotify-tools-3.14.tar.gz -C /usr/src/
cd /usr/src/inotify-tools-3.14/
./configure
make
make install

3）inotify的使用

 

時時監控/webroot中的文件變化，

執行inotifywait -mqr -e modify,create,move,delete,attrib /webroot/命令後，再另個終端中在/webroot裏建立文件，刪除等操做，會在打印出來

命令參數

-m， 即--monitor，表示始終保持事件監聽狀態。
-r， 即--recursive，表示遞歸查詢目錄。
-q， 即--quiet，表示打印出監控事件。

-e， 即--event，經過此參數能夠指定要監控的事件，常見的事件有modify、delete、create、attrib等

補充：--timefmt  用來指定-%T中所表現出來的時間格式。定義字符跟date命令中的同樣。如： %Y表示完整格式的年，%m月，%d日,%H時,%M分,%S秒。

--format  用來定義發生事件之後所發出的通知格式。如： %T 時間，%w事件目錄，%f事件文件，%e事件類型。

 

[root@localhost ~]# inotifywait -mqr -emodify,create,move,delete,attrib /webroot/
/webroot/ CREATE,ISDIR test1
/webroot/ ATTRIB 1.sh
/webroot/ CREATE sss
/webroot/ ATTRIB sss

 

4）rsync+inotify時時同步的腳本

注意：本腳本是基於ssh源來遠程同步，因此在運行腳本以前須要作好無交互式ssh密碼認證。只須要把本腳本在後臺時時運行便可。  sh rsync+inotify_backup.sh&

 

 

 

 

#!/bin/bash
 
BACKUP_DIR="/webroot/"
TARGET_DIR="/backup_dir/"
TARGET_HOST="192.168.255.101"
INOTIFY_CMD="/usr/local/bin/inotifywait -mrq   -e modify,create,move,delete,attrib$BACKUP_DIR "
RSYNC="/usr/bin/rsync"
BACKUP_WAY="-avz --delete"
BACKUP_USER="fuzj"
RSYNC_CMD="$RSYNC $BACKUP_WAY $BACKUP_DIR$BACKUP_USER@$TARGET_HOST:$TARGET_DIR "
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ `pgrep rsync | wc-l` -gt 0 ]
     then
         $RSYNC_CMD
    else
        echo "thersync no running"
    fi
done

 

下面是一個rsync客戶端定時去同步備份源的腳本

#!/bin/bash
 
SOURCE_HOST="192.168.255.100"
SOURCE_DIR="webroot"
LOCAL_DIR="/backup_dir"
BCAKUP_USER="fuzj"
USER_PASSWORD="fuzj"
BACKUP_WAY="-avz --delete"
RSYNC="/usr/bin/rsync"
export RSYNC_PASSWORD="$USER_PASSWORD"
$RSYNC $BACKUP_WAY $BACKUP_USER@$SOURCE_HOST::$SOURCE_DIR$LOCAL_DIR 
if [ $? -eq 0 ] 
then
    unset RSYNC_PASSWORD 
    echo "RSYNC backupsuccessfull"
else
    unset RSYNC_PASSWORD 
    echo "RSYNC backupfaild"
fi

以上兩個腳本僅供參考---