1、rsync 簡介html
Rsync(remote synchronize)是一個遠程數據同步工具,可經過LAN/WAN快速同步多臺主機間的文件,也可使用 Rsync 同步本地硬盤中的不一樣目錄。 linux
Rsync 是用於取代rcp的一個工具,Rsync使用所謂的 「Rsync 算法」 來使本地和遠程兩個主機之間的文件達到同步,這個算法只傳送兩個文件的不一樣部分,而不是每次都整份傳送,所以速度至關快。您能夠參考 How Rsync Works A Practical Overview 進一步瞭解 rsync 的運做機制。算法
Rsync支持大多數的類Unix系統,不管是Linux、Solaris仍是BSD上都通過了良好的測試。此外,它在windows平臺下也有相應的版本,比較知名的有cwRsync和Sync2NAS。vim
Rsync 的初始做者是 Andrew Tridgell 和 Paul Mackerras,它當前由 http://rsync.samba.org維護。windows
Rsync的基本特色以下:centos
1. 能夠鏡像保存整個目錄樹和文件系統;安全
2. 能夠很容易作到保持原來文件的權限、時間、軟硬連接等;服務器
3. 無須特殊權限便可安裝;微信
4. 優化的流程,文件傳輸效率高;併發
5. 可使用rcp、ssh等方式來傳輸文件,固然也能夠經過直接的socket鏈接;
6. 支持匿名傳輸,以方便進行網站鏡像。
在使用 rsync 進行遠程同步時,可使用兩種方式:遠程 Shell 方式(建議使用 ssh,用戶驗證由 ssh 負責)和 C/S 方式(即客戶鏈接遠程 rsync 服務器,用戶驗證由 rsync 服務器負責)。
不管本地同步目錄仍是遠程同步數據,首次運行時將會把所有文件拷貝一次,之後再運行時將只拷貝有變化的文件(對於新文件)或文件的變化部分(對於原有文件)。
rsync 在首次複製時沒有速度優點,速度不如 tar,所以當數據量很大時您能夠考慮先使用 tar 進行首次複製,而後再使用 rsync 進行數據同步。
2、系統環境
系統平臺:CentOS release 6.3 (Final)
rsync 版本:rsync-3.0.9-2.el6.rfx.x86_64.rpm
rsync 客戶端:TS-CLIENT (172.16.1.136)
3、服務器端安裝rsync服務
3.1. 檢查rsync 是否已經安裝
# rpm -qa|grep rsync
若已經安裝,則使用rpm -e 命令卸載。
3.2. 下載RPM包
# wget http://pkgs.repoforge.org/rsync/rsync-3.0.9-2.el6.rfx.x86_64.rpm
3.3. 安裝rsync
# rpm -ivh rsync-3.0.9-2.el6.rfx.x86_64.rpm
4、配置 rsync 服務
4.1. 配置 rsync 服務器的步驟
4.2. 以 xinetd 運行 rsync 服務
CentOS 默認以 xinetd 方式運行 rsync 服務。rsync 的 xinetd 配置文件
在 /etc/xinetd.d/rsync。要配置以 xinetd 運行的 rsync 服務須要執行以下的命令:
# chkconfig rsync on # service xinetd restart
管理員能夠修改 /etc/xinetd.d/rsync 配置文件以適合您的須要。例如,您能夠修改配置行
server_args = --daemon
在後面添加 rsync 的服務選項。
4.3. 獨立運行 rsync 服務
最簡單的獨立運行 rsync 服務的方法是執行以下的命令:
# /usr/bin/rsync --daemon
您能夠將上面的命令寫入 /etc/rc.local 文件以便在每次啓動服務器時運行 rsync 服務。固然,您也能夠寫一個腳本在開機時自動啓動 rysnc 服務。
4.4. 配置文件 rsyncd.conf
兩種 rsync 服務運行方式都須要配置 rsyncd.conf,其格式相似於 samba 的主配置文件。
配置文件 rsyncd.conf 默認在 /etc 目錄下。爲了將全部與 rsync 服務相關的文件放在單獨的目錄下,能夠執行以下命令:
# mkdir /etc/rsyncd # touch /etc/rsyncd/rsyncd.conf # ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf
配置文件 rsyncd.conf 由全局配置和若干模塊配置組成。配置文件的語法爲:
全局參數
在文件中 [module] 以外的全部配置行都是全局參數。固然也能夠在全局參數部分定義模塊參數,這時該參數的值就是全部模塊的默認值。
參數 | 說明 | 默認值 |
---|---|---|
address | 在獨立運行時,用於指定的服務器運行的 IP 地址。由 xinetd 運行時將忽略此參數,使用命令行上的 –address 選項替代。 | 本地全部IP |
port | 指定 rsync 守護進程監聽的端口號。 由 xinetd 運行時將忽略此參數,使用命令行上的–port 選項替代。 | 873 |
motd file | 指定一個消息文件,當客戶鏈接服務器時該文件的內容顯示給客戶。 | 無 |
pid file | rsync 的守護進程將其 PID 寫入指定的文件。 | 無 |
log file | 指定 rsync 守護進程的日誌文件,而不將日誌發送給 syslog。 | 無 |
syslog facility | 指定 rsync 發送日誌消息給 syslog 時的消息級別。 | daemon |
socket options | 指定自定義 TCP 選項。 | 無 |
模塊參數
模塊參數主要用於定義 rsync 服務器哪一個目錄要被同步。模塊聲明的格式必須爲 [module] 形式,這個名字就是在 rsync 客戶端看到的名字,相似於 Samba 服務器提供的共享名。而服務器真正同步的數據是經過 path 來指定的。能夠根據本身的須要,來指定多個模塊,模塊中能夠定義如下參數:
a. 基本模塊參數
參數 | 說明 | 默認值 |
---|---|---|
path | 指定當前模塊在 rsync 服務器上的同步路徑,該參數是必須指定的。 | 無 |
comment | 給模塊指定一個描述,該描述連同模塊名在客戶鏈接獲得模塊列表時顯示給客戶。 | 無 |
b. 模塊控制參數
參數 | 說明 | 默認值 |
---|---|---|
use chroot | 若爲 true,則 rsync 在傳輸文件以前首先 chroot 到 path 參數所指定的目錄下。這樣作的緣由是實現額外的安全防禦,可是缺點是須要 root 權限,而且不能備份指向 path 外部的符號鏈接所指向的目錄文件。 | true |
uid | 指定該模塊以指定的 UID 傳輸文件。 | nobody |
gid | 指定該模塊以指定的 GID 傳輸文件。 | nobody |
max connections | 指定該模塊的最大併發鏈接數量以保護服務器,超過限制的鏈接請求將被告知隨後再試。 | 0(沒有限制) |
lock file | 指定支持 max connections 參數的鎖文件。 | /var/run/rsyncd.lock |
list | 指定當客戶請求列出可使用的模塊列表時,該模塊是否應該被列出。若是設置該選項爲 false,能夠建立隱藏的模塊。 | true |
read only | 指定是否容許客戶上傳文件。若爲 true 則不容許上傳;若爲 false 而且服務器目錄也具備讀寫權限則容許上傳。 | true |
write only | 指定是否容許客戶下載文件。若爲 true 則不容許下載;若爲 false 而且服務器目錄也具備讀權限則容許下載。 | false |
ignore errors | 指定在 rsync 服務器上運行 delete 操做時是否忽略 I/O 錯誤。通常來講 rsync 在出現 I/O 錯誤時將將跳過 –delete 操做,以防止由於暫時的資源不足或其它 I/O 錯誤致使的嚴重問題。 | true |
ignore nonreadable | 指定 rysnc 服務器徹底忽略那些用戶沒有訪問權限的文件。這對於在須要備份的目錄中有些不該該被備份者得到的文件時是有意義的。 | false |
timeout | 該選項能夠覆蓋客戶指定的 IP 超時時間。從而確保 rsync 服務器不會永遠等待一個崩潰的客戶端。對於匿名 rsync 服務器來講,理想的數字是 600(單位爲秒)。 | 0 (未限制) |
dont compress | 用來指定那些在傳輸以前不進行壓縮處理的文件。該選項能夠定義一些不容許客戶對該模塊使用的命令選項列表。必須使用選項全名,而不能是簡稱。當發生拒絕某個選項的狀況時,服務器將報告錯誤信息而後退出。例如,要防止使用壓縮,應該是:」dont compress = *」。 | *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz |
c. 模塊文件篩選參數
參數 | 說明 | 默認值 |
---|---|---|
exclude | 指定多個由空格隔開的多個文件或目錄(相對路徑),並將其添加到 exclude 列表中。這等同於在客戶端命令中使用 –exclude 來指定模式。 | 空 |
exclude from | 指定一個包含 exclude 規則定義的文件名,服務器從該文件中讀取 exclude 列表定義。 | 空 |
include | 指定多個由空格隔開的多個文件或目錄(相對路徑),並將其添加到 include 列表中。這等同於在客戶端命令中使用 –include 來指定模式 。 | 空 |
include from | 指定一個包含 include 規則定義的文件名,服務器從該文件中讀取 include 列表定義。 | 空 |
d. 模塊用戶認證參數
參數 | 說明 | 默認值 |
---|---|---|
auth users | 指定由空格或逗號分隔的用戶名列表,只有這些用戶才容許鏈接該模塊。這裏的用戶和系統用戶沒有任何關係。用戶名和口令以明文方式存放在 secrets file 參數指定的文件中。 | (匿名方式) |
secrets file | 指定一個 rsync 認證口令文件。只有在 auth users 被定義時,該文件才起做用。 | 空 |
strict modes | 指定是否監測口令文件的權限。若爲 true 則口令文件只能被 rsync 服務器運行身份的用戶訪問,其餘任何用戶不能夠訪問該文件。 | true |
username:passwd
e. 模塊訪問控制參數
參數 | 說明 | 默認值 |
---|---|---|
hosts allow | 用一個主機列表指定哪些主機客戶容許鏈接該模塊。不匹配主機列表的主機將被拒絕。 | * |
hosts deny | 用一個主機列表指定哪些主機客戶不容許鏈接該模塊。 | 空 |
客戶主機列表定義能夠是如下形式:
f. 模塊日誌參數
參數 | 說明 | 默認值 |
---|---|---|
transfer logging | 使 rsync 服務器將傳輸操做記錄到傳輸日誌文件。 | false |
log format | 指定傳輸日誌文件的字段。 | 」%o %h [%a] %m (%u) %f %l」 |
設置了」log file」參數時,在日誌每行的開始會添加」%t [%p]「。
5、rsync 服務器應用案例
5.1. 在服務器端TS-DEV上配置rsync 服務
a. 編輯配置文件
# vi /etc/rsyncd/rsyncd.conf
# Minimal configuration file for rsync daemon # See rsync(1) and rsyncd.conf(5) man pages for help # This line is required by the /etc/init.d/rsyncd script
# GLOBAL OPTIONS uid = root gid = root
use chroot = no
read only = yes #limit access to private LANs hosts allow=172.16.0.0/255.255.0.0 192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 hosts deny=*
max connections = 5
pid file = /var/run/rsyncd.pid
secrets file = /etc/rsyncd/rsyncd.secrets
#lock file = /var/run/rsync.lock
motd file = /etc/rsyncd/rsyncd.motd #This will give you a separate log file log file = /var/log/rsync.log #This will log every file transferred - up to 85,000+ per user, per sync transfer logging = yes log format = %t %a %m %f %b syslog facility = local3 timeout = 300
# MODULE OPTIONS [davidhome] path = /home/david/ list=yes ignore errors auth users = david comment = David home exclude = important/ [chinatmp] path = /tmp/china/ list=no ignore errors auth users = china comment = tmp_china
b. 創建/etc/rsyncd/rsyncd.secrets文件
# vim /etc/rsyncd/rsyncd.secrets
david:asdf #格式 用戶名:口令
china:jk #該用戶不要求是系統用戶
c. 爲了密碼的安全性,咱們把權限設爲600
# chown root:root /etc/rsyncd/rsyncd.secrets
# chmod 600 /etc/rsyncd/rsyncd.secrets
d. 創建鏈接到服務器的客戶端看到的歡迎信息文件/etc/rsyncd/rsyncd.motd
# vim /etc/rsyncd/rsyncd.motd
+++++++++++++++++++++++++++
+ David Camp +
+++++++++++++++++++++++++++
e. 啓動rsync
# /etc/init.d/xinetd restart
f. 查看873端口是否起來
# netstat -an | grep 873
若是rsync啓動成功的話能夠看到873端口已經在監聽了。
g. 服務器端文件詳細
5.2. 客戶端配置
a. 客戶端安裝rsync
# yum -y install rsync
b. 經過rsync客戶端來同步數據
場景一:
# rsync -avzP david@172.16.1.135::davidhome /tmp/david/
Password: 這裏要輸入david的密碼,是服務器端提供的,在前面的例子中,咱們用的是 asdf,輸入的密碼並不顯示出來;輸好後就回車;
注: 這個命令的意思就是說,用david 用戶登陸到服務器上,把davidhome數據,同步到本地目錄/tmp/david/上。固然本地的目錄是能夠你本身定義的,好比 dave也是能夠的;當你在客戶端上,當前操做的目錄下沒有davidhome這個目錄時,系統會自動爲你建立一個;當存在davidhome這個目錄中,你要注意它的寫權限。
說明:
-a 參數,至關於-rlptgoD,-r 是遞歸 -l 是連接文件,意思是拷貝連接文件;-p 表示保持文件原有權限;-t 保持文件原有時間;-g 保持文件原有用戶組;-o 保持文件原有屬主;-D 至關於塊設備文件;
-z 傳輸時壓縮;
-P 傳輸進度;
-v 傳輸時的進度等信息,和-P有點關係,本身試試。能夠看文檔;
場景二:
# rsync -avzP --delete david@172.16.1.135::davidhome /tmp/david/
這回咱們引入一個 –delete 選項,表示客戶端上的數據要與服務器端徹底一致,若是 /tmp/david/目錄中有服務器上不存在的文件,則刪除。最終目的是讓/tmp/david/目錄上的數據徹底與服務器上保持一致;用的時候要當心點,最好不要把已經有重要數所據的目錄,當作本地更新目錄,不然會把你的數據所有刪除;
場景三:
# rsync -avzP --delete --password-file=/tmp/rsync.password david@172.16.1.135::davidhome /tmp/david/
此次咱們加了一個選項 –password-file=rsync.password ,這時當咱們以david用戶登陸rsync服務器同步數據時,密碼將讀取 /tmp/rsync.password 這個文件。這個文件內容只是david用戶的密碼。咱們要以下作;
# touch /tmp/rsync.password
# chmod 600 /tmp/rsync.password
# echo "asdf"> /tmp/rsync.password
# rsync -avzP --delete --password-file=/tmp/rsync.password david@172.16.1.135::davidhome /tmp/david/
注: 這樣就不須要密碼了;其實這是比較重要的,由於服務器經過crond 計劃任務仍是有必要的;
5.3. rsync 客戶端自動與服務器同步數據
編輯crontab
# crontab -e
加入以下代碼:
10 0 * * * rsync -avzP --delete --password-file=/tmp/rsync.password david@172.16.1.135::davidhome /tmp/david/
表示天天0點10分執行後面的命令。
6、錯誤分析
rsync: opendir "." (in xxxxxxx) failed: Permission denied (13)
解決辦法:
一、將 selinux 對 rsync 的限制所有去掉:
# /usr/sbin/setsebool -P rsync_disable_trans 1
# service xinetd restart
二、狠一點,禁止整個 selinux :
# vim /etc/selinux/config
將其中的 SELINUX=enforcing 修改成 SELINUX=disabled
保存退出後,重啓機器。
至此,rsync服務器配置完畢。
7、參考
關於rsync 命令的使用,請參考:http://www.howtocn.org/rsync:use_rsync
關於rsync 服務的詳細說明,請參考:http://www.howtocn.org/rsync:use_rsync_server
David Camp
系統運維技術分享:296513821
咱們永遠相信,分享是一種美德 | We Believe, Great People Share Knowledge...