Linux-Rsync服務器/客戶端搭建實戰

1、需求

　　每晚彙總各機器的操做日誌，同步到主服務器進行日誌分析。

2、基礎知識

　　rsync 分爲服務器端、客戶端，服務器端搭建比客戶端辛苦一些（也是很簡單）。

　　rsync 服務器是指以 deamon 方式運行 rsync 服務的服務器，須要打開 rsync deamon 和啓動 xinetd 服務。默認端口873。

　　rsync 客戶端是發起 rsync 鏈接的服務器，安裝rsync便可。

　　rsync 客戶端發起鏈接後，rsync 服務器會檢查 rsync 客戶端提交 rsync 服務器內建的戶名和密碼是否正確，若是經過認證檢測，則開始文件傳輸，傳輸的過程是按要求先比對文件的大小、屬性、權限、MD5值等信息，若是兩端文件信息不一致，則按要求同步文件的區別塊。

3、安裝

　　大多數Linux操做系統都自帶 rsync 服務，若是想升級可使用 yum 等，也可使用源碼包本身安裝。

wget https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz
tar -xzf rsync-3.1.2.tar.gz
cd rsync-3.1.2

./configure --prefix=/usr/local/rsyncd
make && make install

4、服務端配置

　　rsync 配置文件安裝完有時候並不存在，沒必要驚慌，能夠手動建立。建立配置文件目錄及文件以下:

　　| - /etc/rsyncd（文件夾）

　　　　| - rsyncd.conf（rsync 服務器的配置文件）

　　　　| - rsyncd.secrets（用戶密碼文件，客戶端使用其中的帳號密碼訪問，須要 600 權限）

　　　　| - rsyncd.motd（自定義用戶登陸後顯示的服務器信息，即 messageoftoday，）

mkdir /etc/rsyncd

touch /etc/rsyncd/rsyncd.conf
touch /etc/rsyncd/rsyncd.secrets
touch /etc/rsyncd/rsyncd.motd

chmod 600 /etc/rsyncd/rsyncd.secrets

　　/etc/rsyncd/rsyncd.conf 

pid file = /var/run/rsyncd.pid #進程 pid 文件所在位置
port = 873 #指定監聽端口，默認是873，能夠本身指定
address = 192.168.1.171 #服務器監聽的IP地址，可省略

uid = root #守護進程所屬的uid，默認是nobody，可能會碰到文件或目錄權限問題，此處偷懶用的 root
gid = root #守護進程的gid

#chroot，即改變程序執行時所參考的根目錄位置，在傳輸文件以前，服務器守護程序在將chroot 到文件系統中的目錄中
#這樣作的好處是可能保護系統被安裝漏洞侵襲的可能。缺點是須要超級用戶權限。另外對符號連接文件，將會排除在外
#也就是說，你在 rsync服務器上，若是有符號連接，你在備份服務器上運行客戶端的同步數據時，只會把符號連接名同步下來，並不會同步符號連接的內容
use chroot = yes

read only = no #只讀選擇，只讓客戶端從服務器上讀取文件
write only = yes #只寫選擇，只讓客戶端到服務器上寫入

#容許訪問的IP，能夠指定單個IP，也能夠指定整個網段，能提升安全性。格式是 ip 與 ip 之間、ip 和網段之間、網段和網段之間要用空格隔開；
hosts allow = 192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 

max connections = 5 #客戶端最多鏈接數

#當用戶登陸時會看到這個信息。好比顯示當前時間、公告等
motd file = /etc/rsyncd/rsyncd.motd

log file = /var/log/rsync.log #rsync 服務器的日誌；
transfer logging = yes #記錄傳輸文件的日誌
log format = %t %a %m %f %b #日誌格式
syslog facility = local3 #日誌級別

#經過該選項能夠覆蓋客戶指定的IP超時時間。能夠確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位爲秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來講，一個理想的數字是600。
timeout = 300 

#模塊定義
#主要是定義服務器哪一個目錄要被同步。
#每一個模塊都要以[name]形式。這個名字就是在 rsync 客戶端看到的名字。
#可是服務器真正同步的數據是經過 path 指定的。能夠依次建立多個模塊。
#每一個模塊要指定認證用戶、密碼文件，但排除並非必須的。
[ logs ] #模塊名，如下配置都屬於此模塊
path = /var/log #文件目錄所在位置
list = no #當查看服務器上提供了哪些目錄時是否列出來，no比較安全
ignore errors #忽略I/O錯誤

#指定由空格或逗號分隔的用戶名列表，只有這些用戶才容許鏈接該模塊。這裏的用戶和系統用戶沒有任何關係，是 rsyncd.secrets 中的用戶名！
#若是"auth users"被設置，那麼客戶端發出對該模塊的鏈接請求之後會被rsync請求challenged進行驗證身份。
#這裏使用的 challenge/response 認證協議。
#用戶的名和密碼以明文方式存放在"secrets file"選項指定的文件中。默認狀況下無需密碼就能夠鏈接模塊(也就是匿名方式)。
auth users = zhangzk
secrets file = /etc/rsyncd/rsyncd.secrets #密碼文件

exclude = error_log httpd.pid #忽略的文件或目錄
comment this is my log #本模塊註釋，可選

 　　/etc/rsyncd/rsyncd.secrets 密碼文件，用戶名稱與密碼以冒號分隔，多個用戶名和密碼能夠多行

zhangzk:239fjdalk@893246dasaATDFBSad
zhangab:669fjbalk@8sadf$3246dasaATDFBSaf

　　/etc/rsyncd/rsyncd.motd 登陸公告

++++++++++++++++++++++++++++++
+ John ABC  rsync  2008-2099 +
++++++++++++++++++++++++++++++

5、啓動服務端

　　啓動服務端有兩種方式。

　　1.直接使用 --daemon 參數 

/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf

　　2.xinet方式

　　　　1).修改 /etc/services，加入如下內容，若是已經有能夠不加，若是端口改了，須要改掉 873 端口爲指定端口

rsync　　873/tcp　　# rsync 
rsync　　873/udp　　# rsync

　　　　2).修改 /etc/xinetd.d/rsync，主要是要打開rsync這個daemon, 一旦有rsync client要鏈接時, xinetd會把它轉介給 rsyncd(port 873)。

service rsync
{
    disable = no
    socket_type     = stream
    wait            = no
    user            = root
    server          = /usr/bin/rsync
    server_args     = --daemon --config=/etc/rsyncd/rsynd.conf
    log_on_failure  += USERID
}

　　　　3).重啓 xinetd

service xinetd restart

 

6、客戶端配置

　　建立密碼文件，/etc/rsyncd/rsyncd.pass，並修改成 600 權限

touch /etc/rsyncd/rsyncd.pass
chmod 600 /etc/rsyncd/rsyncd.pass

　　/etc/rsyncd/rsyncd.pass 其內密碼須要和服務端內/etc/rsyncd/rsyncd.pass指定用戶的密碼保持一致

239fjdalk@893246dasaATDFBSad  

7、客戶端向服務端傳輸文件，若是是 873 端口，能夠把 --port 去掉

rsync -vzrtopg --delete --progress /var/log/access.log zhangzk@192.168.1.100::logs  --password-file=/etc/rsyncd/rsyncd.pass --port=873

　　如有須要也能夠從服務端拉取文件，須要把服務器的 /etc/rsyncd/rsyncd.conf 中的 write only = yes 給去掉

#拉取整個目錄
rsync -vzrtopg --delete --progress  --password-file=/etc/rsyncd/rsyncd.pass --port=873 zhangzk@192.168.1.100::logs  /var/log

#拉取單個文件
rsync -vzrtopg --delete --progress  --password-file=/etc/rsyncd/rsyncd.pass --port=873 zhangzk@192.168.1.100::logs/a.log  /var/log

8、附贈 /etc/init.d/rsync

#!/bin/bash 

# chkconfig:   - 85 15
# description: rsync

status1=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') 
pidfile="/var/run/rsyncd.pid" 
start_rsync="rsync --daemon --config=/etc/rsyncd/rsyncd.conf" 

function rsyncstart() { 
    if [ "${status1}X" == "X" ]; then 
        rm -f $pidfile       
        ${start_rsync}   
        status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') 
        if [  "${status2}X" != "X"  ]; then 
            echo "rsync service start.......OK" 
        fi 
    else 
        echo "rsync service is running !"    
    fi 
} 

function rsyncstop() { 
    if [ "${status1}X" != "X" ]; then 
        kill -9 $(cat $pidfile) 
        status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') 
        if [ "${statusw2}X" == "X" ]; then 
            echo "rsync service stop.......OK" 
        fi 
    else 
        echo "rsync service is not running !"    
    fi 
} 

function rsyncstatus() { 
    if [ "${status1}X" != "X" ]; then 
        echo "rsync service is running !"   
      
    else 
         echo "rsync service is not running !"  
    fi 
} 

function rsyncrestart() { 
    if [ "${status1}X" == "X" ]; then 
               echo "rsync service is not running..." 
               rsyncstart 
        else 
               rsyncstop 
               rsyncstart    
        fi       
}  

case $1 in 
        "start") 
               rsyncstart 
                ;; 
        "stop") 
               rsyncstop 
                ;; 
        "status") 
               rsyncstatus 
               ;; 
        "restart") 
               rsyncrestart 
               ;; 
        *) 
          echo 
                echo  "Usage: $0 start|stop|restart|status" 
          echo 
esac

9、附贈配置參數

全局參數
在文件中[module]以前的全部參數都是全局參數，固然也能夠在全局參數部分定義模塊參數，這時候該參數的值就是全部模塊的默認值。

port
指定後臺程序使用的端口號，默認爲873。

motd file
"motd file"參數用來指定一個消息文件，當客戶鏈接服務器時該文件的內容顯示給客戶，默認是沒有motd文件的。

log file
"log file"指定rsync的日誌文件，而不將日誌發送給syslog。好比可指定爲「/var/log/rsyncd.log」。

pid file
指定rsync的pid文件，一般指定爲「/var/run/rsyncd.pid」。

syslog facility
指定rsync發送日誌消息給syslog時的消息級別，常見的消息級別是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默認值是daemon。

模塊參數
主要是定義服務器哪一個目錄要被同步。其格式必須爲「[module]」形式，這個名字就是在rsync 客戶端看到的名字，其實有點象Samba服務器提供的共享名。而服務器真正同步的數據是經過 path 來指定的。咱們能夠根據本身的須要，來指定多個模塊，模塊中能夠定義如下參數：

comment
給模塊指定一個描述，該描述連同模塊名在客戶鏈接獲得模塊列表時顯示給客戶。默認沒有描述定義。

path
指定該模塊的供備份的目錄樹路徑，該參數是必須指定的。

use chroot
如 果"use chroot"指定爲true，那麼rsync在傳輸文件之前首先chroot到path參數所指定的目錄下。這樣作的緣由是實現額外的安全防禦，可是缺 點是須要以roots權限，而且不能備份指向外部的符號鏈接所指向的目錄文件。默認狀況下chroot值爲true。

uid
該選項指定當該模塊傳輸文件時守護進程應該具備的uid，配合gid選項使用能夠肯定哪些能夠訪問怎麼樣的文件權限，默認值是"nobody"。

gid
該選項指定當該模塊傳輸文件時守護進程應該具備的gid。默認值爲"nobody"。

max connections
指定該模塊的最大併發鏈接數量以保護服務器，超過限制的鏈接請求將被告知隨後再試。默認值是0，也就是沒有限制。

list
該選項設定當客戶請求可使用的模塊列表時，該模塊是否應該被列出。若是設置該選項爲false，能夠建立隱藏的模塊。默認值是true。

read only
該選項設定是否容許客戶上載文件。若是爲true那麼任何上載請求都會失敗，若是爲false而且服務器目錄讀寫權限容許那麼上載是容許的。默認值爲true。

exclude
用來指定多個由空格隔開的多個文件或目錄(相對路徑)，並將其添加到exclude列表中。這等同於在客戶端命令中使用--exclude來指定模式，一個 模塊只能指定一個exclude選項。可是須要注意的一點是該選項有必定的安全性問題，客戶頗有可能繞過exclude列表，若是但願確保特定的文件不能 被訪問，那就最好結合uid/gid選項一塊兒使用。

exclude from
指定一個包含exclude模式的定義的文件名，服務器從該文件中讀取exclude列表定義。

include
用來指定不排除符合要求的文件或目錄。這等同於在客戶端命令中使用--include來指定模式，結合include和exclude能夠定義複雜的exclude/include規則。

include from
指定一個包含include模式的定義的文件名，服務器從該文件中讀取include列表定義。

auth users
該選項指定由空格或逗號分隔的用戶名列表，只有這些用戶才容許鏈接該模塊。這裏的用戶和系統用戶沒有任何關係。若是"auth users"被設置，那麼客戶端發出對該模塊的鏈接請求之後會被rsync請求challenged進行驗證身份這裏使用的 challenge/response認證協議。用戶的名和密碼以明文方式存放在"secrets file"選項指定的文件中。默認狀況下無需密碼就能夠鏈接模塊(也就是匿名方式)。

secrets file
該選項指定一個包含定義用戶名:密碼對的文件。只有在"auth users"被定義時，該文件纔有做用。文件每行包含一個username:passwd對。通常來講密碼最好不要超過8個字符。沒有默認的 secures file名，須要限式指定一個(例如：/etc/rsyncd.passwd)。注意：該文件的權限必定要是600，不然客戶端將不能鏈接服務器。

strict modes
該選項指定是否監測密碼文件的權限，若是該選項值爲true那麼密碼文件只能被rsync服務器運行身份的用戶訪問，其餘任何用戶不能夠訪問該文件。默認值爲true。

hosts allow
該選項指定哪些IP的客戶容許鏈接該模塊。客戶模式定義能夠是如下形式：
單個IP地址，例如：192.167.0.1
整個網段，例如：192.168.0.0/24，也能夠是192.168.0.0/255.255.255.0
多個IP或網段須要用空格隔開，「*」則表示全部，默認是容許全部主機鏈接。

hosts deny
指定不容許鏈接rsync服務器的機器，可使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義。

ignore errors
指定rsyncd在判斷是否運行傳輸時的刪除操做時忽略server上的IO錯誤，通常來講rsync在出現IO錯誤時將將跳過--delete操做，以防止由於暫時的資源不足或其它IO錯誤致使的嚴重問題。

ignore nonreadable
指定rysnc服務器徹底忽略那些用戶沒有訪問權限的文件。這對於在須要備份的目錄中有些文件是不該該被備份者獲得的狀況是有意義的。

lock file
指定支持max connections參數的鎖文件，默認值是/var/run/rsyncd.lock。

transfer logging
使rsync服務器使用ftp格式的文件來記錄下載和上載操做在本身單獨的日誌中。

log format
經過該選項用戶在使用transfer logging能夠本身定製日誌文件的字段。其格式是一個包含格式定義符的字符串，可使用的格式定義符以下所示：

%h 遠程主機名
%a 遠程IP地址
%l 文件長度字符數
%p 該次rsync會話的進程id
%o 操做類型："send"或"recv"
%f 文件名
%P 模塊路徑
%m 模塊名
%t 當前時間
%u 認證的用戶名(匿名時是null)
%b 實際傳輸的字節數
%c 當發送文件時，該字段記錄該文件的校驗碼

默認log格式爲："%o %h [%a] %m (%u) %f %l"，通常來講,在每行的頭上會添加"%t [%p] "。在源代碼中同時發佈有一個叫rsyncstats的perl腳本程序來統計這種格式的日誌文件。

timeout
經過該選項能夠覆蓋客戶指定的IP超時時間。經過該選項能夠確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位爲秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來講，一個理想的數字是600。

refuse options
經過該選項能夠定義一些不容許客戶對該模塊使用的命令參數列表。這裏必須使用命令全名，而不能是簡稱。但發生拒絕某個命令的狀況時服務器將報告錯誤信息而後退出。若是要防止使用壓縮，應該是："dont compress = *"。

dont compress
用來指定那些不進行壓縮處理再傳輸的文件，默認值是*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

10、附贈rsync命令

    -v, --verbose 詳細模式輸出
    -q, --quiet 精簡輸出模式
    -c, --checksum 打開校驗開關，強制對文件傳輸進行校驗
    -a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD
    -r, --recursive 對子目錄以遞歸模式處理
    -R, --relative 使用相對路徑信息
    -b, --backup 建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。
    --backup-dir 將備份文件(如~filename)存放在在目錄下。
    -suffix=SUFFIX 定義備份文件前綴
    -u, --update 僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件)
    -l, --links 保留軟鏈結
    -L, --copy-links 想對待常規文件同樣處理軟鏈結
    --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結
    --safe-links 忽略指向SRC路徑目錄樹之外的鏈結
    -H, --hard-links 保留硬鏈結
    -p, --perms 保持文件權限
    -o, --owner 保持文件屬主信息
    -g, --group 保持文件屬組信息
    -D, --devices 保持設備文件信息
    -t, --times 保持文件時間信息
    -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間
    -n, --dry-run現實哪些文件將被傳輸
    -W, --whole-file 拷貝文件，不進行增量檢測
    -x, --one-file-system 不要跨越文件系統邊界
    -B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節
    -e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
    --rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息
    -C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件
    --existing 僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件
    --delete 刪除那些DST中SRC沒有的文件
    --delete-excluded 一樣刪除接收端那些被該選項指定排除的文件
    --delete-after 傳輸結束之後再刪除
    --ignore-errors 及時出現IO錯誤也進行刪除
    --max-delete=NUM 最多刪除NUM個文件
    --partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸
    --force 強制刪除目錄，即便不爲空
    --numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名
    --timeout=TIME IP超時時間，單位爲秒
    -I, --ignore-times 不跳過那些有一樣的時間和長度的文件
    --size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間
    --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0
    -T --temp-dir=DIR 在DIR中建立臨時文件
    --compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份
    -P 等同於 --partial
    --progress 顯示備份過程
    -z, --compress 對備份的文件在傳輸時進行壓縮處理
    --exclude=PATTERN 指定排除不須要傳輸的文件模式
    --include=PATTERN 指定不排除而須要傳輸的文件模式
    --exclude-from=FILE 排除FILE中指定模式的文件
    --include-from=FILE 不排除FILE指定模式匹配的文件
    --version 打印版本信息
    --address 綁定到特定的地址
    --config=FILE 指定其餘的配置文件，不使用默認的rsyncd.conf文件
    --port=PORT 指定其餘的rsync服務端口
    --blocking-io 對遠程shell使用阻塞IO
    -stats 給出某些文件的傳輸狀態
    --progress 在傳輸時現實傳輸過程
    --log-format=formAT 指定日誌文件格式
    --password-file=FILE 從FILE中獲得密碼
    --bwlimit=KBPS 限制I/O帶寬，KBytes per second
    -h, --help 顯示幫助信息

 

[完]