rsync 的使用方法

rsync 的命令格式

rsync [OPTION]... SRC DEST

推薦在 SSH 的基礎上使用rsync。能夠事先在~/.ssh/config中加入配置,這樣遠端能夠寫做SSH配置名:路徑html

目錄SRC是否以斜槓結尾,會影響同步的結果:linux

  • 以斜槓結尾:目錄DEST裏面有 [目錄SRC自己]
  • 不以斜槓結尾:目錄DEST裏面有 [目錄SRC裏面的文件]

目錄DEST是否以斜槓結尾,對同步的結果沒有任何影響。算法

轉載注:shell

若是你是一位運維工程師,你極可能會面對幾十臺、幾百臺甚至上千臺服務器,除了批量操做外,環境同步、數據同步也是必不可少的技能。bash

說到「同步」,不得不提的利器就是rsync,今天就來講說我從這個工具中看到的同步的藝術。服務器

不帶任何選項

咱們常常這樣使用rsync網絡

$ rsync main.c machineB:/home/userB

只要目的端的文件內容和源端不同,就會觸發數據同步,rsync會確保兩邊的文件內容同樣。運維

rsync不會同步文件的 modify time ,凡有數據同步的文件,目的端的文件的 modify time 老是會被修改成最新時刻的時間。ssh

rsync不會太關注目的端文件的 rwx 權限,若是目的端沒有此文件,那麼權限會保持與源端一致;若是目的端有此文件,則權限不會隨着源端變動。ide

只要rsync有對源文件的讀權限,且對目標路徑有寫權限,rsync就能確保目的端文件同步到和源端一致。

rsync只能以登錄目的端的帳號來建立文件,它沒有能力保持目的端文件的輸主和屬組和源端一致。除非你使用 root 權限,纔有資格要求屬主一致、屬組一致。

-t 選項

咱們常常這樣使用-t選項:

$ rsync -t main.c machineB:/home/userB

使用-t選項後,rsync總會想着一件事,那就是將源文件的 modify time 同步到目標機器。

帶有-t選項的rsync,會變得更聰明些,它會在同步前先對比兩邊文件的時間戳和文件大小,若是一致,則就認爲兩邊文件同樣,對此文件就再也不採起更新動做了。

由於rsync的聰明,也會反被聰明誤。若是目的端的文件的時間戳、大小和源端徹底一致,可是內容恰巧不一致時,rsync是發現不了的。這就是傳說中的「坑」!

對於rsync自做聰明的狀況,解決辦法就是使用-I選項。

-I 選項

咱們常常這樣使用-I選項:

$ rsync -I main.c machineB:/home/userB

-I選項會讓rsync變得很乖很老實,它會挨個文件去發起數據同步。

-I選項能夠確保數據的一致性,代價即是速度上會變慢,由於咱們放棄了 quick check 策略。 quick check 策略,就是先查看文件的時間戳和文件大小,依次先排除一批認爲相同的文件。

不管狀況如何,目的端的文件的 modify time 總會被更新到當前時刻。

-v 選項

這個選項,簡單易懂,就是讓rsync輸出更多的信息,咱們能夠舉一個例子:

$ rsync -vI main.c machineB:/home/userB                                                   
main.c

sent 81 bytes  received 42 bytes  246.00 bytes/sec
total size is 11  speedup is 0.09

你增長越多的v,就能夠得到越多的日誌信息。

$ rsync -vvvvt abc.c machineB:/home/userB 
cmd= machine=machineB user= path=/home/userB
cmd[0]=ssh cmd[1]=machineB cmd[2]=rsync cmd[3]=--server cmd[4]=-vvvvte. cmd[5]=. cmd[6]=/home/userB 
opening connection using: ssh machineB rsync --server -vvvvte. . /home/userB 
note: iconv_open("ANSI_X3.4-1968", "ANSI_X3.4-1968") succeeded.
(Client) Protocol versions: remote=28, negotiated=28
(Server) Protocol versions: remote=30, negotiated=28
[sender] make_file(abc.c,*,2)
[sender] flist start=0, used=1, low=0, high=0
[sender] i=0  abc.c mode=0100664 len=11 flags=0
send_file_list done
file list sent
send_files starting
server_recv(2) starting pid=31885
recv_file_name(abc.c)
received 1 names
[receiver] i=0   abc.c mode=0100664 len=11
recv_file_list done
get_local_name count=1 /home/userB
recv_files(1) starting
generator starting pid=31885 count=1
delta transmission enabled
recv_generator(abc.c,0)
abc.c is uptodate
generate_files phase=1
send_files phase=1
recv_files phase=1
generate_files phase=2
send files finished
total: matches=0  hash_hits=0  false_alarms=0 data=0
generate_files finished
recv_files finished
client_run waiting on 14318

sent 36 bytes  received 16 bytes  104.00 bytes/sec
total size is 11  speedup is 0.21
_exit_cleanup(code=0, file=main.c, line=1031): entered
_exit_cleanup(code=0, file=main.c, line=1031): about to call exit(0)

-z 選項

這是個壓縮選項,只要使用了這個選項,rsync就會把發向對端的數據先進行壓縮再傳輸。對於網絡環境較差的狀況下建議使用。

通常狀況下,-z的壓縮算法會和 gzip 的同樣。

-r 選項

咱們在第一次使用rsync時,每每會遇到這樣的囧境:

$ rsync superman machineB:/home/userB
skipping directory superman

若是你不額外告訴rsync你須要它幫你同步文件夾的話,它是不會主動承擔的,這也正是rsync的懶惰之處。

因此,若是你真的想同步文件夾,那就要加上-r選項,即 recursive(遞歸的、循環的),像這樣:

$ rsync -r superman machineB:/home/userB

咱們在上面的講解中說過,若是時間戳和文件大小徹底一致,只有文件內容不一樣,且你沒有使用-I選項的話,那麼,rsync是不會進行數據同步的。

那麼,提個問題:「由於在Linux的世界裏,文件夾也是文件,若是這類文件(文件夾)也只有內容不一樣,而時間戳和文件大小都相同,rsync會發現麼?」

實驗你們能夠本身動手作,結論在這裏告訴你們:

對於文件夾,rsync是會明察秋毫的,只要你加了-r選項,它就會恪盡職守的進入到文件夾裏去檢查,而不會只對文件夾自己作 quick check 的。

-l 選項

若是咱們要同步一個軟連接文件,你猜rsync會提示什麼?

$ ll
total 128
-rw-rw-r--  1 userA userA 11 Dec 26 07:00 abc.c
lrwxrwxrwx  1 userA userA  5 Dec 26 11:35 softlink -> abc.c
$ rsync softlink machineB:/home/userB
skipping non-regular file "softlink"

嗯,你猜對了,rsync又無情地拒絕了咱們。它一旦發現某個文件是軟連接,就會無視它,除非咱們增長-l選項。

$ rsync -l softlink machineB:/home/userB

使用了-l選項後,rsync會徹底保持軟連接文件類型,原本來本的將軟連接文件複製到目的端,而不會 follow link 到指向的實體文件。

若是我恰恰就想讓rsync採起 follow link 的方式,那就用-L選項就能夠了。你能夠本身試試效果。

-p 選項

這個選項的全名是 perserve permissions,顧名思義,就是保持權限。

若是你不使用此選項的話,rsync是這樣來處理權限問題的:

  • 若是目的端沒有此文件,那麼在同步後會將目的端文件的權限保持與源端一致;
  • 若是目的端已存在此文件,那麼只會同步文件內容,權限保持原有不變。

若是你使用了-p選項,則不管如何,rsync都會讓目的端保持與源端的權限一致的。

-g 和 -o 選項

這兩個選項是一對,用來保持文件的屬組(group)和屬主(owner),做用應該很清晰明瞭。不過要注意的一點是,改變屬主和屬組,每每只有管理員權限才能夠。

-D選項

-D選項,原文解釋是 preserve devices (root only),從字面意思看,就是保持設備文件的原始信息。因爲博主沒有實際體驗過它的好處,因此沒有太多發言權。

-a 選項

-a選項是rsync裏比較霸道的一個選項,由於你使用-a選項,就至關於使用了-rlptgoD這一坨選項。以一敵七,惟-a選項也。(在看了前文以後,你應該能夠很輕鬆的理解這七個選項的做用了。)

-a選項的學名應該叫作 archive option,中文叫作歸檔選項。使用-a選項,就代表你但願採起遞歸方式來同步,且儘量的保持各個方面的一致性。

可是-a選項也有阿克琉斯之踵,那就是-a沒法同步「硬連接」狀況。若是有這方面需求,要加上-H選項。

-delete 選項

若是源端沒有此文件,那麼目的端也別想擁有,刪除之。

-delete選項必須和-r選項搭配使用。

-delete-excluded 選項

專門指定一些要在目的端刪除的文件。

-delete-excluded選項必須和-r選項搭配使用。

-delete-after 選項

默認狀況下,rsync是先清理目的端的文件再開始數據同步;若是使用此選項,則rsync會先進行數據同步,都完成後再刪除那些須要清理的文件。

-delete-after選項必須和-r選項搭配使用。

-n 選項

看到這麼多 delete,你是否有點肝顫? 的確,在rsync的官方說明裏也有這麼一句話:

This option can be dangerous if used incorrectly! 
 
It is a very good idea to run first using the dry run option (-n) to see what files would be deleted to make sure important files aren't listed.

從這句話裏,咱們學到了一個小技巧,那就是-n選項,它是一個嚇唬人的選項,它會用受影響的文件列表來警告你,但不會真的去執行,這就讓咱們有了確認的機會和迴旋的餘地。咱們看看實際用法吧:

$ rsync -n --delete -r . machineB:/home/userB/
deleting superman/xxx
deleting main.c
deleting acclink

-exclude 和 -exclude-from 選項

若是你不但願同步一些東西到目的端的話,可使用-exclude選項來隱藏,rsync仍是很重視你們隱私的,你能夠屢次使用-exclude選項來設置不少的「隱私」。

若是你要隱藏的隱私太多的話,在命令行選項中設置會比較麻煩,rsync仍是很體貼,它提供了-exclude-from選項,讓你能夠把隱私一一列在一個文件裏,而後讓rsync直接讀取這個文件就行了。

-include 和 -include-from 選項

這兩個選項的做用是:從新加入已經被-exclude-exclude-from選項排除的文件。

-include選項能夠被屢次使用。-include-from選項用於指定文件中讀取文件列表。

請注意 exclude 和 include 的前後順序。先 exclude 再 include。

-partial 選項

這就是傳說中的斷點續傳功能。默認狀況下,rsync會刪除那些傳輸中斷的文件,而後從新傳輸。但在一些特別狀況下,咱們不但願重傳,而是續傳。

咱們在使用中,常常會看到有人會使用-P選項,這個選項實際上是爲了偷懶而設計的。之前人們老是要手動寫-partial -progress,以爲太費勁了,倒不如用一個新的選項來代替,因而-P應運而生了。有些讀者會問-partial我知道做用了,可-progress是幹什麼用的呢?爲何不少人要使用它呢,它有那麼大的吸引力?

真有……

-progress 選項

使用這個選項,rsync會顯示出傳輸進度信息,有什麼用呢,rsync給了一個頗有意思的解釋:

This gives a bored user something to watch.

好了,寫了這麼多,你們看的已經很乏味了,去實際用用-progress解解悶,是個不錯的選擇。^_^

PS:後續會講解有關rsync-exclude的 PATTERN 語法。

謝謝!

轉載注:

所有參數

-v, --verbose          詳細模式輸出。
-q, --quiet            精簡輸出模式。
-c, --checksum         打開校驗開關,強制對文件傳輸進行校驗。
-a, --archive          歸檔模式,表示以遞歸方式傳輸文件,並保持全部文件屬性,等於 -rlptgoD。
-r, --recursive        對子目錄以遞歸模式處理。
-R, --relative         使用相對路徑信息。
-b, --backup           建立備份,也就是對於目的已經存在有一樣的文件名時,將老的文件從新命名爲 ~filename。可使用 --suffix 選項來指定不一樣的備份文件前綴。
--backup-dir           將備份文件(~filename)存放在在目錄下。
-suffix=SUFFIX         定義備份文件前綴。
-u, --update           僅僅進行更新,也就是跳過全部已經存在於 DST,而且文件時間晚於要備份的文件。(不覆蓋更新的文件。)
-l, --links            保留軟鏈結。
-L, --copy-links       想對待常規文件同樣處理軟鏈結。
--copy-unsafe-links    僅僅拷貝指向 SRC 路徑目錄樹之外的鏈結。
--safe-links           忽略指向 SRC 路徑目錄樹之外的鏈結。
-H, --hard-links       保留硬鏈結。
-p, --perms            保持文件權限。
-o, --owner            保持文件屬主信息。
-g, --group            保持文件屬組信息。
-D, --devices          保持設備文件信息。
-t, --times            保持文件時間信息。
-S, --sparse           對稀疏文件進行特殊處理以節省 DST 的空間。
-n, --dry-run          顯示哪些文件將被傳輸(新增、修改和刪除)。
-W, --whole-file       拷貝文件,不進行增量檢測。
-x, --one-file-system  不要跨越文件系統邊界。
-B, --block-size=SIZE  檢驗算法使用的塊尺寸,默認是 700 字節。
-e, --rsh=COMMAND      指定使用 rsh, ssh 方式進行數據同步。
--rsync-path=PATH      指定遠程服務器上的 rsync 命令所在路徑信息。
-C, --cvs-exclude      使用和 CVS 同樣的方法自動忽略文件,用來排除那些不但願傳輸的文件。
--existing             僅僅更新那些已經存在於 DST 的文件,而不備份那些新建立的文件。
--delete               刪除那些 DST 中 SRC 沒有的文件。
--delete-excluded      一樣刪除接收端那些被該選項指定排除的文件。
--delete-after         傳輸結束之後再刪除。
--ignore-errors        即便出現 IO 錯誤也進行刪除。
--max-delete=NUM       最多刪除 NUM 個文件。
--partial              保留那些因故沒有徹底傳輸的文件,以便實現斷點續傳。
--force                強制刪除目錄,即便不爲空。
--numeric-ids          不將數字的用戶和組 ID 匹配爲用戶名和組名。
--timeout=TIME         IP 超時時間,單位爲秒。
-I, --ignore-times     不跳過那些有一樣的時間和長度的文件。
--size-only            當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間。
--modify-window=NUM    決定文件是否時間相同時使用的時間戳窗口,默認爲 0。
-T --temp-dir=DIR      在 DIR 中建立臨時文件。
--compare-dest=DIR     一樣比較 DIR 中的文件來決定是否須要備份。
--progress             顯示傳輸過程。
-P                     等同於 -partial -progress。
-z, --compress         對備份的文件在傳輸時進行壓縮處理。
--exclude=PATTERN      指定排除不須要傳輸的文件模式。
--include=PATTERN      指定不排除而須要傳輸的文件模式。
--exclude-from=FILE    排除 FILE 中指定模式的文件。
--include-from=FILE    不排除 FILE 指定模式匹配的文件。
--version              打印版本信息。
--address              綁定到特定的地址。
--config=FILE          指定其餘的配置文件,不使用默認的 rsyncd.conf 文件。
--port=PORT            指定其餘的 rsync 服務端口。
--blocking-io          對遠程 shell 使用阻塞 IO。
--stats                給出某些文件的傳輸狀態。
--log-format=formAT    指定日誌文件格式。
--password-file=FILE   從 FILE 中獲得密碼。
--bwlimit=KBPS         限制 I/O 帶寬,KBytes per second。
-h, --help             顯示幫助信息。
相關文章
相關標籤/搜索