三種主要數據傳輸方式:
node
1.單主機本地目錄間數據傳輸(相似cp)算法
Local: rsync [OPTION...] SRC... [DEST]
2.藉助rcp,ssh等通道來傳輸數據(相似scp)shell
Access via remote shell: Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
3.守護進程(socket)的方式傳輸數據vim
Access via rsync daemon: Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
選項:
安全
經常使用: -z, --compress 對備份的文件在傳輸時進行壓縮處理。 -v, --verbose 詳細模式輸出。 -a, --archive 歸檔模式,表示以遞歸方式傳輸文件,並保持全部文件屬性,等於-rlptgoD。 --bwlimit=KBPS 限制I/O帶寬,KBytes per second。 -P 等同於 --partial, --progress 顯示備份進度。 -e, --rsh=command 指定使用rsh、ssh方式進行數據同步。例:rsync -avzP -e 'ssh -p 22'/etc/ root@192.168.197.129:/tmp/ --exclude=PATTERN 指定排除不須要傳輸的文件模式。可指定屢次 --exclude-from=FILE 排除FILE中指定模式的文件。 --delete 刪除那些DST中SRC沒有的文件。 -h, --help 顯示幫助信息。 -q, --quiet 精簡輸出模式。 -c, --checksum 打開校驗開關,強制對文件傳輸進行校驗。 -r, --recursive 對子目錄以遞歸模式處理。 -R, --relative 使用相對路徑信息。 -b, --backup 建立備份,也就是對於目的已經存在有一樣的文件名時,將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。 --backup-dir 將備份文件(如~filename)存放在在目錄下。 -suffix=SUFFIX 定義備份文件前綴。 -u, --update 僅僅進行更新,也就是跳過全部已經存在於DST,而且文件時間晚於要備份的文件,不覆蓋更新的文件。 -l, --links 保留軟鏈結。 -L, --copy-links 想對待常規文件同樣處理軟鏈結。 --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結。 --safe-links 忽略指向SRC路徑目錄樹之外的鏈結。 -H, --hard-links 保留硬鏈結。 -p, --perms 保持文件權限。 -o, --owner 保持文件屬主信息。 -g, --group 保持文件屬組信息。 -D, --devices 保持設備文件信息。 -t, --times 保持文件時間信息。 -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間。 -n, --dry-run現實哪些文件將被傳輸。 -w, --whole-file 拷貝文件,不進行增量檢測。 -x, --one-file-system 不要跨越文件系統邊界。 -B, --block-size=SIZE 檢驗算法使用的塊尺寸,默認是700字節。 --rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息。 -C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件,用來排除那些不但願傳輸的文件。 --existing 僅僅更新那些已經存在於DST的文件,而不備份那些新建立的文件。 --delete-excluded 一樣刪除接收端那些被該選項指定排除的文件。 --delete-after 傳輸結束之後再刪除。 --ignore-errors 及時出現IO錯誤也進行刪除。 --max-delete=NUM 最多刪除NUM個文件。 --partial 保留那些因故沒有徹底傳輸的文件,以是加快隨後的再次傳輸。斷電續傳,未傳輸完成的文件爲隱藏文件。 --force 強制刪除目錄,即便不爲空。 --numeric-ids 不將數字的用戶和組id匹配爲用戶名和組名。 --timeout=time ip超時時間,單位爲秒。 -I, --ignore-times 不跳過那些有一樣的時間和長度的文件。 --size-only 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間。 --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口,默認爲0。 -T --temp-dir=DIR 在DIR中建立臨時文件。 --compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份。 --include=PATTERN 指定不排除而須要傳輸的文件模式。 --include-from=FILE 不排除FILE指定模式匹配的文件。 --version 打印版本信息。 --address 綁定到特定的地址。 --config=FILE 指定其餘的配置文件,不使用默認的rsyncd.conf文件。 --port=PORT 指定其餘的rsync服務端口。 --blocking-io 對遠程shell使用阻塞IO。 -stats 給出某些文件的傳輸狀態。 --progress 在傳輸時現實傳輸過程。 --log-format=formAT 指定日誌文件格式。 --password-file=FILE 從FILE中獲得密碼。
使用示例:bash
本機把AAA目錄下的內容拷貝到BBB目錄下,要求保留文件原有屬性,刪除BBB目錄下AAA沒有的內容。服務器
將本機文件dbfile發送到主機172.16.1.1的backup下,限速2m。ssh
rsync -avzP -e 'ssh -p 22' --bwlimit=204 dbfile 172.16.1.1:/backup
3.把主機opt目錄複製到本機tmp目錄下
socket
rsync -avzP root@node2:/opt /tmp/
Rsync服務配置:
ide
①rsyncd.conf配置文件經常使用參數說明
rsyncd.conf參數 | 參數說明 |
---|---|
uid=rsync | #rsync使用的用戶。 |
gid=rsync | #rsync使用的用戶組(用戶所在的組) |
use chroot=no | #默認yes,daemon會在客戶端傳輸文件前「chroot to the path」。這是一種安全配置 |
max connections=200 | #設置最大鏈接數,默認0,意思無限制,負值爲關閉這個模塊 |
timeout=400 | #默認爲0,表示no timeout,建議300-600(5-10分鐘) |
pid file | #rsync daemon啓動後將其進程pid寫入此文件。若是這個文件存在,rsync不會覆蓋該文件,而是會終止 |
lock file | #指定lock文件用來支持「max connections」參數,使得總鏈接數不會超過限制 |
log file | #不設或者設置錯誤,rsync會使用rsyslog輸出相關日誌信息 |
ignore errors | #忽略I/O錯誤 |
read only=false | #指定客戶端是否能夠上傳文件,默認對全部模塊爲true |
list=false | #是否容許客戶端能夠查看可用模塊列表,默認爲能夠 |
hosts allow | #指定能夠聯繫的客戶端主機名或和ip地址或地址段,默認狀況沒有此參數,即均可以鏈接 |
hosts deny | #指定不能夠聯繫的客戶端主機名或ip地址或地址段,默認狀況沒有此參數,即均可以鏈接 |
auth users | #指定以空格或逗號分隔的用戶可使用哪些模塊,用戶不須要在本地系統中存在。默認爲全部用戶無密碼訪問 |
secrets file | #指定用戶名和密碼存放的文件,格式;用戶名;密碼,密碼不超過8位 |
[node2] | #這裏就是模塊名稱,需用中括號擴起來,起名稱沒有特殊要求,但最好是有意義的名稱,便於之後維護。可多段 |
path | #這個模塊中,daemon使用的文件系統或目錄,目錄的權限要注意和配置文件中的權限一致,不然會遇到讀寫的問題 |
②安裝前準備
服務端node1安裝rsync 建立rsync用戶:useradd -M -s /sbin/nologin rsync 建立共享目錄:mkdir /data/local_data_backup/ 更改共享目錄屬組:chown -R rsync /data/local_data_backup/ 建立虛擬用戶密碼:echo "rsync_backup:123456" >/etc/rsync.password chmod 600 /etc/rsync.password
③編輯服務端配置文件
vim /etc/rsyncd.conf uid = rsync gid = rsync use chroot = no max connections = 200 timeout = 300 port = 873 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log igonre errors read only = false list = false #exclude = lost+found/ 指定目錄下某內容不發佈 hosts allow = 0.0.0.0/8 hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 [node2] path = /data/local_data_backup/ ##啓動服務:rsync --daemon
④客戶端node2配置
服務端node2安裝rsync 建立密碼文件:echo "123456" > /etc/rsync.password 更改密碼文件權限:chmod 600 /etc/rsync.password
⑤測試,注意操做都在客戶端進行
客戶端指定任意目錄內容推送到服務器端rsync指定目錄下。 rsync -avz /tmp/ rsync_backup@192.168.1.1::node2 --password-file=/etc/rsync.password 將rsync服務器端指定目錄下任意內容同步到客戶端 rsync -avzP rsync_backup@192.168.1.1::node2/test.tar.gz /tmp/ --password-file=/etc/rsync.password
⑥附Rsyncd服務腳本:
#!/bin/bash # chkconfig:35 13 91 # description:This is Rsync service management shell script # Source function library . /etc/rc.d/init.d/functions start(){ rsync --daemon if [ $? -eq 0 -a `ps -ef|grep -v grep|grep rsync|wc -l` -gt 0 ];then action "Starting Rsync:" /bin/true sleep 1 else action "Starting Rsync:" /bin/false sleep 1 fi } stop(){ pkill rsync;sleep 1;pkill rsync if [ `ps -ef|grep -v grep|grep "rsync --daemon"|wc -l` -lt 1 ];then action "Stopping Rsync: " /bin/true sleep 1 else action "Stopping Rsync:" /bin/true sleep 1 fi } case "$1" in start) start; ;; stop) stop; ;; restart) stop; start; ;; *) echo $"Usage: $0 {start|stop|restart}" ;; esac