利用rsync備份生產應用(一)

rsync簡單介紹

    Rsync（remote synchronize）是一個遠程數據同步工具，可經過LAN/WAN快速同步多臺主機間的文件。Rsync使用所謂的「Rsync算法」來使本地和遠 程兩個主機之間的文件達到同步，這個算法只傳送兩個文件的不一樣部分，而不是每次都整份傳送，所以速度至關快。

   Rsync原本是用於替代rcp的一個工具，目前由rsync.samba.org維護，因此rsync.conf文件的格式相似於samba的主配 置文件。Rsync能夠經過rsh或ssh使用，也能以daemon模式去運行，在以daemon方式運行時Rsync server會打開一個873端口，等待客戶端去鏈接。鏈接時，Rsync server會檢查口令是否相符，若經過口令查覈，則能夠開始進行文件傳輸。第一次連通完成時，會把整份文件傳輸一次，之後則就只需進行增量備份。

rsync基本特色

1.能夠鏡像保存整個目錄樹和文件系統；
2.能夠很容易作到保持原來文件的權限、時間、軟硬連接等；
3.無須特殊權限便可安裝；
4.優化的流程，文件傳輸效率高；
5.可使用rsh、ssh等方式來傳輸文件，固然也能夠經過直接的socket鏈接；
6.支持匿名傳輸。

rsync同步算法

一、Rsync同步算法
Rsync只因此同步文件的速度至關快，是由於「Rsync同步算法」能在很短的時間內計算出須要備份的數據，關於Rsync的同步算法描述以下：

假定在1號和2號兩臺計算機之間同步類似的文件A與B，其中1號對文件A擁有訪問權，2號對文件B擁有訪問權。而且假定主機1號與2號之間的網絡帶寬很小。那麼rsync算法將經過下面的五個步驟來完成：

一、2號將文件B分割成一組不重疊的固定大小爲S字節的數據塊，最後一塊可能會比S 小。

二、2號對每個分割好的數據塊執行兩種校驗：一種是32位的滾動弱校驗，另外一種是128位的MD4強校驗

三、2號將這些校驗結果發給1號。

四、1號經過搜索文件A的全部大小爲S的數據塊(偏移量能夠任選，不必定非要是S的倍數)，來尋找與文件B的某一塊有着相同的弱校驗碼和強校驗碼的數據塊。這項工做能夠藉助滾動校驗的特性很快完成。

五、1號發給2號一串指令來生成文件A在2號上的備份。這裏的每一條指令要麼是對文件B經擁有某一個數據塊而不須重傳的證實，要麼是一個數據塊，這個數據塊確定是沒有與文件B的任何一個數據塊匹配上的。

rsync源碼安裝

[root@cdh-namenode rsync-3.1.2]# ./configure --prefix=/usr/loca/rsync-3.1.2
[root@cdh-namenode rsync-3.1.2]# make
[root@cdh-namenode rsync-3.1.2]# make install

安裝後信息(其中conf目錄及其文件須要手動添加)

[root@cdh-namenode rsync-3.1.2]# tree /usr/local/rsync-3.1.2/usr/local/rsync-3.1.2├── bin
│   └── rsync
├── conf
│   ├── rsyncd.conf
│   ├── rsyncd.motd
│   └── rsyncd.secrets    -->這裏權限須爲600
└── share
    └── man
        ├── man1
        │   └── rsync.1
        └── man5
            └── rsyncd.conf.56 directories, 6 files

rsyncd.conf配置文件詳解

rsyncd.conf:rsync以daemon模式運行時的配置文件名稱

rsync服務器配置(Daemon模式)

說明： 
1. rsync的配置文件爲rsyncd.conf，可使用–config選項指定要使用的配置文件。默認狀況下，並無提供該配置文件，須要手動建立。 
2. 該配置文件由兩部分組成，模塊和參數。 
3. 模塊的格式：[Module] 
4. 參數的格式：屬性 = 值 
5. 以#開頭的表示註釋。值的部分能夠是yes、no、0、一、true或false。

全局參數

motd file：指定motd（message of the day）的位置。當客戶端每一次鏈接時都會顯示該文件中的內容，沒有默認值。 
pid file：指定rsync的pid文件存儲位置。 
lock file：指定lock文件的位置，確保不會達到最大鏈接數。默認爲/var/run/rsyncd.lock
log file：指定rsync的log文件存儲位置。這個文件會在chroot函數被調用前打開
port：指定rsync監聽的端口。默認爲873
address：指定rsync監聽的地址。address = 0.0.0.0表示監聽在本機上的全部地址。 
syslog facility：指定rsync將log發送到syslog時的log級別。

模塊選項以下

comment：指定模塊的描述信息
path：指定模塊所映射的目錄路徑 
max connections：模塊所容許的最大鏈接數。若是是0則表示沒有限制，若是是負值則表示關閉該模塊。若是用於全局，則表示全部模塊的最大鏈接數。 
read only：是否容許客戶端上傳。yes表示不容許上傳，no表示容許上傳。默認爲yes。若是設置爲yes，則表示只能下載。 
write only：是否容許客戶端下載。yes表示不容許客戶端下載，no容許客戶端下載。默認爲no。若是設置爲yes，表示只能上傳。 
list：是否容許客戶端列出該模塊下的內容。yes容許，no不容許。 
uid：username或user ID。指定該模塊傳輸文件時（上傳或下載），守護進程應該具備的UID權限，默認爲nobody。當以root權限啓動服務時，uid和gid則表示修改上傳的文件的uid和gid。 
gid：groupname或group ID。指定該模塊傳輸文件時（上傳或下載），守護進程應該具備的GID權限，默認爲nobody。 
exclude：指定多個文件或目錄(相對路徑)不被同步,並將其添加到 exclude 列表中.多個文件(目錄)用空格分隔.做用等同於在客戶端命令中使用–exclude來指定模式. 
include：該選項針對於exclude,即同步exclude中的哪一個文件(目錄),並將其添加到include列表中，覆蓋了exclude指定的文件或目錄。多個文件(目錄)用空格分隔.做用等同於在客戶端命令中使用–include來指定模式. 
exclude from：和exclude的做用同樣，只不過是exclude是將排除的文件或目錄做爲value的，而exclude from則是將排除的文件和目錄寫在文件中的，一行一個文件或目錄。 
include from：和include的做用同樣，將包括的文件寫在文件中。

incoming chmod：修改服務器收到的文件的權限。如：incoming chmod = D2775,F664。（D表示目錄，F表示文件） 
outcoming chmod：修改服務器發送的文件的權限。 
auth users與secrets file：這兩個選項只能組合使用 
auth users指定由空格或逗號分隔的用戶名列表,只有這些用戶才容許鏈接該模塊,這裏的用戶和系統用戶沒有任何關係，用戶名和口令以明文方式存放在 secrets file 參數指定的文件中，格式爲username:password，經常使用的文件名爲：/etc/rsyncd.secrets，password不能超過8個字符。 
注意：secrets file文件的權限只能是啓動rsyncd服務的用戶具備rw權限，其餘用戶不能具備任何權限，即600. 
示例： 
auth users = joe:deny @guest:deny admin:rw @rsync:ro susan joe sam 
說明：用戶joe以及在guest組中的任何用戶將不能訪問指定的模塊。admin用戶將具備rw的權限（會忽略read only和write only的設置），rsync組中的用戶將具備ro的權限，以及susan、joe和sam將會獲取read only和write only的設置的權限。 
timeout：經過該選項能夠覆蓋客戶指定的IP超時時間。經過該選項能夠確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位爲秒，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來講，一個理想的數字是600。 
strict modes：指定是否檢測口令文件的權限.若爲 yes 則口令文件只能被 rsync 服務器運行身份的用戶訪問,其餘任何用戶不能夠訪問該文件，默認爲yes。也就是該文件的權限爲600或400。 
hosts allow：用一個主機列表指定哪些主機客戶容許鏈接該模塊.不匹配主機列表的主機將被拒絕.也就是說若是指定hosts allow那麼不在hosts allow指定中的主機都將都拒絕. 
hosts deny：用一個主機列表指定哪些主機不能鏈接rsync模塊.若是hosts allow和hosts deny同時指定一臺主機,則以hosts allow爲準.hosts allow和hosts deny的格式能夠是x.x.x.x或x.x.x.x/n 或x.x.x.x/x.x.x.x或*的形式，也能夠是主機名，要求可以被解析。 
ignore errors ：能夠忽略一些無關的IO錯誤 
use chroot：若爲 true,則 rsync 在傳輸文件以前首先 chroot 到 path 參數所指定的目錄下.這樣作的緣由是實現額外的安全防禦,可是缺點是須要 root 權限,而且不能備份指向 path 外部的符號鏈接所指向的目錄文件。 
transfer logging：該選項開啓則記錄下載和上傳操做。若是不配置該選項，則即便配置了log format時，也不會生效。 
log format經過該選項用戶在使用transfer logging能夠本身定製日誌文件的字段. 
其格式是一個包含格式定義符的字符串,但要注意log format使用要在transfer logging選項開啓的時候才能夠. 
經常使用的以下： 
%o表示服務端提供什麼操做,好比是接收send仍是發送recv 
%a表示客戶端的IP地址. 
%m表示服務端的模塊名稱 
%P表示服務端模塊指定的路徑. 
%t 當前時間 
%u 認證的用戶名(匿名時是null) 
%b 實際傳輸的字節數 
%f表示同步的文件. 
%l表示同步文件的大小. 
如：log format = [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l

生產應用rsyncd.conf配置文件

我是按照本身的需求來編寫rsyncd.conf文件的，首先我但願只有特定的網段能夠鏈接到個人rsync備份服務器進行備份，我兩個業務系統的文件要分兩個目錄進行存儲這樣方便管理，客戶端傳送過來的文件中排除特定文件後綴的文件，上傳到服務器的文件只有root用戶才能進行編輯修改其配置文件以下：

[root@cdh-namenode conf]# cat rsyncd.conf 
# Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help

# This line is required by the /etc/init.d/rsyncd script
#
#################### GLOBAL OPTIONS #######################################################
#
uid = root
gid = root

use chroot = no 

max connections = 200

# limit access to private LANs
hosts allow = 192.168.100.0/255.255.255.0
hosts deny = * 

# The default is for all modules to be read only
read only = no  
write only = no

incoming chmod = Du=rwx,Dgo=rx,Fu=rwx,Fgo=rx

pid file = /var/run/rsyncd.pid             

lock file = /var/run/rsyncd.lock

# This  parameter determines whether or not the permissions on the secrets file will be checked.  If 「strict modes」
# is true, then the secrets file must not be readable by any user ID other than the one that the  rsync  daemon  is running under.
strict modes = yes
secrets file = /usr/local/rsync-3.1.2/conf/rsyncd.secrets  

motd file = /usr/local/rsync-3.1.2/conf/rsyncd.motd 

log file = /var/log/rsyncd.log

transfer logging = yes 

log format = [time]:%t [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l 
syslog facility = local3
timeout = 300


###################################### MODULE OPTIONS ###############################################
[xn_backup]               
path = /home/fbackup/xn_backup                 
list=yes                                 
ignore errors                              
auth users = xn                          
comment = xn_backup home                  
exclude = upload/ log/ logs/ data/ temp/ tmp/ bak/ *.log *.out *.csv *.txt *.dat *.tar *.zip *.tar.gz *.CSV *.rpm *.tgz *.cap *.bin *.iso *.pcap *.gz *.csv.gz *.CSV.gz

[ot_backup]
path = /home/fbackup/ot_backup
list=yes
ignore errors
auth users = ot
comment = ot_backup home
exclude = upload/ log/ logs/ data/ temp/ tmp/ bak/ *.log *.out *.csv *.txt *.dat *.tar *.zip *.tar.gz *.CSV *.rpm *.tgz *.cap *.bin *.iso *.pcap

rsyncd.motd文件

[root@cdh-namenode conf]# cat rsyncd.motd 
+++++++++++++++++++++++++++
+      rsync backup       +
+++++++++++++++++++++++++++

rsyncd.secrets文件

[root@cdh-namenode conf]# ls -l rsyncd.secrets 
-rw-------. 1 root root 26 7月  19 11:55 rsyncd.secrets
[root@cdh-namenode conf]# cat rsyncd.secrets 
xn:redhat123
ot:redhat123

所有配置好了後，就能夠啓動rsync daemon服務了

[root@cdh-namenode conf]# /usr/local/rsync-3.1.2/bin/rsync --daemon --config=/usr/local/rsync-3.1.2/conf/rsyncd.conf
[root@cdh-namenode conf]# ps -ef|grep rsync
root     115113      1  0 12:10 ?        00:00:00 /usr/local/rsync-3.1.2/bin/rsync --daemon --config=/usr/local/rsync-3.1.2/conf/rsyncd.conf
root     123185  97353  0 12:55 pts/1    00:00:00 grep rsync
[root@cdh-namenode conf]#

從客戶端上小試牛刀一把(具體詳見續章利用rsync備份生產應用(二))

備份cdh-datanode1（192.168.100.101）上的/home目錄下的全部內容到rsync服務器(192.168.100.100)上

首先登陸到cdh-datandoe1上，切換到root用戶下在/etc/目錄下新建rsync.passwd文件，裏面填寫認證密碼，認證密碼先須要在服務端rsyncd.secrets上配置好，其文件權限須要設置爲600.

[root@cdh-datanode1 home]# ls -l /etc/rsync.passwd -rw-------. 1 root root 10 7月  19 12:00 /etc/rsync.passwd
[root@cdh-datanode1 home]# cat /etc/rsync.passwd 
 redhat123
[root@cdh-datanode1 home]#

備份文件到備份服務器(push)

經常使用需求：備份應用數據到統一備份服務器

[root@cdh-datanode1 home]# /usr/bin/rsync -azvP --password-file="/etc/rsync.passwd" /home/ xn@192.168.100.100::xn_backup/cdh-datanode1
+++++++++++++++++++++++++++
+      rsync backup       +
+++++++++++++++++++++++++++

sending incremental file list
created directory cdh-datanode1
./
kl/
kl/.bash_logout
100%    0.00kB/s    0:00:00 (xfer#1, to-check=73/76)
kl/.bash_profile
100%  171.88kB/s    0:00:00 (xfer#2, to-check=72/76)
kl/.bashrc
100%  121.09kB/s    0:00:00 (xfer#3, to-check=71/76)
kl/.gnome2/
kl/ss/
kl/ss/auditd
100%    3.41MB/s    0:00:00 (xfer#4, to-check=68/76)
kl/ss/blk-availability
100%    1.28MB/s    0:00:00 (xfer#5, to-check=67/76)
kl/ss/crond
100%    1.35MB/s    0:00:00 (xfer#6, to-check=66/76)
kl/ss/functions
100%    3.46MB/s    0:00:00 (xfer#7, to-check=65/76)
kl/ss/halt

從備份服務器下載文件(pull)

經常使用需求：某個應用服務器上的文件被誤刪了，如今須要恢復這個文件

客戶端模擬重要文件被誤刪

[root@cdh-datanode1 kl]# cd ss/
[root@cdh-datanode1 ss]# ls
auditd            functions  iptables  killall       mdmonitor   netfs    nfs-rdma  postfix  restorecond  rsyslog      saslauth
blk-availability  halt       jexec     lvm2-lvmetad  messagebus  network  ntpd      rdisc    rhnsd        salt-minion  single  
crond             ip6tables  kdump     lvm2-monitor  netconsole  newss    ntpdate   rdma     rhsmcertd    sandbox      ss
[root@cdh-datanode1 ss]# rm functions 
rm：是否刪除普通文件 "functions"？y
[root@cdh-datanode1 ss]# ls
auditd            ip6tables  killall       messagebus  newss     postfix      rhnsd        sandbox    sshd
blk-availability  iptables   lvm2-lvmetad  netconsole  nfs-rdma  rdisc        rhsmcertd    saslauthd  udev-post
crond             jexec      lvm2-monitor  netfs       ntpd      rdma         rsyslog      single
halt              kdump      mdmonitor     network     ntpdate   restorecond  salt-minion  ss
[root@cdh-datanode1 ss]# pwd
/home/kl/ss
[root@cdh-datanode1 ss]#

到備份服務器端查看備份的文件，查詢到後，直接在客戶端利用rsync進行備份還原

[root@cdh-namenode ss]# pwd
/home/fbackup/xn_backup/cdh-datanode1/kl/ss
[root@cdh-namenode ss]# ls
auditd            functions  iptables  killall       mdmonitor   netfs    nfs-rdma  postfix  restorecond  rsyslog      saslauthd  sshd
blk-availability  halt       jexec     lvm2-lvmetad  messagebus  network  ntpd      rdisc    rhnsd        salt-minion  single     udev-post
crond             ip6tables  kdump     lvm2-monitor  netconsole  newss    ntpdate   rdma     rhsmcertd    sandbox      ss
[root@cdh-namenode ss]#

在客戶端利用rsync進行備份還原，這裏有一點要很是注意的就是源路徑地址最後的/,加/表示同步數據的時候不包含ss目錄只同步ss目錄下面的文件，不加/表示包含ss目錄

[root@cdh-datanode1 ss]# /usr/bin/rsync -azvP --password-file="/etc/rsync.passwd" xn@192.168.100.100::xn_backup/cdh-datanode1/kl/ss/ /home/kl/ss/
+++++++++++++++++++++++++++
+      rsync backup       +
+++++++++++++++++++++++++++

receiving incremental file list
./
functions
100%   24.24MB/s    0:00:00 (xfer#1, to-check=65/70)

sent 64 bytes  received 8777 bytes  17682.00 bytes/sec
total size is 332288  speedup is 37.58
[root@cdh-datanode1 ss]# ls
auditd            halt       kdump         mdmonitor   network   ntpdate  restorecond  salt-minion  ss
blk-availability  ip6tables  killall       messagebus  newss     postfix  rhnsd        sandbox      sshd
crond             iptables   lvm2-lvmetad  netconsole  nfs-rdma  rdisc    rhsmcertd    saslauthd    udev-post
functions         jexec      lvm2-monitor  netfs       ntpd      rdma     rsyslog      single
[root@cdh-datanode1 ss]#