rsync詳解

  • 說到「同步」,不得不提的利器就是rsync,今天就來講說我從這個工具中看到的同步的藝術。linux

    [不帶任何選項]算法

    咱們常常這樣使用rsync:網絡

    $ rsync main.c machineB:/home/userB

    1 只要目的端的文件內容和源端不同,就會觸發數據同步,rsync會確保兩邊的文件內容同樣。
    2 但rsync不會同步文件的「modify time」,凡有數據同步的文件,目的端的文件的「modify time」老是會被修改成最新時刻的時間。
    3 rsync不會太關注目的端文件的rwx權限,若是目的端沒有此文件,那麼權限會保持與源端一致;若是目的端有此文件,則權限不會隨着源端變動。
    4 只要rsync有對源文件的讀權限,且對目標路徑有寫權限,rsync就能確保目的端文件同步到和源端一致。
    5 rsync只能以登錄目的端的帳號來建立文件,它沒有能力保持目的端文件的輸主和屬組和源端一致。(除非你使用root權限,纔有資格要求屬主一致、屬組一致)ssh

    [-t選項]ide

    咱們常常這樣使用-t選項:工具

    $ rsync -t main.c machineB:/home/userB

    1 使用-t選項後,rsync總會想着一件事,那就是將源文件的「modify time」同步到目標機器。post


    2 帶有-t選項的rsync,會變得更聰明些,它會在同步前先對比兩邊文件的時間戳和文件大小,若是一致,則就認爲兩邊文件同樣,對此文件就再也不採起更新動做了。
    3 由於rsync的聰明,也會反被聰明誤。若是目的端的文件的時間戳、大小和源端徹底一致,可是內容恰巧不一致時,rsync是發現不了的。這就是傳說中的「坑」!
    4 對於rsync自做聰明的狀況,解決辦法就是使用-I選項。
    ui

    [-I選項]idea

    咱們常常這樣使用-I選項:spa

    $ rsync -I main.c machineB:/home/userB

    1 -I選項會讓rsync變得很乖很老實,它會挨個文件去發起數據同步。
    2 -I選項能夠確保數據的一致性,代價即是速度上會變慢,由於咱們放棄了「quick check」策略。(quick check策略,就是先查看文件的時間戳和文件大小,依次先排除一批認爲相同的文件)
    3 不管狀況如何,目的端的文件的modify time總會被更新到當前時刻。

    【-v選項】

    這個選項,簡單易懂,就是讓rsync輸出更多的信息,咱們能夠舉一個例子:

    $ rsync -vI main.c machineB:/home/userB                                                   
    main.c
    
    sent 81 bytes  received 42 bytes  246.00 bytes/sec
    total size is 11  speedup is 0.09

    你增長越多的v,就能夠得到越多的日誌信息。

    $ rsync -vvvvt abc.c machineB:/home/userB 
    cmd= machine=machineB user= path=/home/userB
    cmd[0]=ssh cmd[1]=machineB cmd[2]=rsync cmd[3]=--server cmd[4]=-vvvvte. cmd[5]=. cmd[6]=/home/userB 
    opening connection using: ssh machineB rsync --server -vvvvte. . /home/userB 
    note: iconv_open("ANSI_X3.4-1968", "ANSI_X3.4-1968") succeeded.
    (Client) Protocol versions: remote=28, negotiated=28
    (Server) Protocol versions: remote=30, negotiated=28
    [sender] make_file(abc.c,*,2)
    [sender] flist start=0, used=1, low=0, high=0
    [sender] i=0  abc.c mode=0100664 len=11 flags=0
    send_file_list done
    file list sent
    send_files starting
    server_recv(2) starting pid=31885
    recv_file_name(abc.c)
    received 1 names
    [receiver] i=0   abc.c mode=0100664 len=11
    recv_file_list done
    get_local_name count=1 /home/userB
    recv_files(1) starting
    generator starting pid=31885 count=1
    delta transmission enabled
    recv_generator(abc.c,0)
    abc.c is uptodate
    generate_files phase=1
    send_files phase=1
    recv_files phase=1
    generate_files phase=2
    send files finished
    total: matches=0  hash_hits=0  false_alarms=0 data=0
    generate_files finished
    recv_files finished
    client_run waiting on 14318
    
    sent 36 bytes  received 16 bytes  104.00 bytes/sec
    total size is 11  speedup is 0.21
    _exit_cleanup(code=0, file=main.c, line=1031): entered
    _exit_cleanup(code=0, file=main.c, line=1031): about to call exit(0)

    [-z選項]

    這是個壓縮選項,只要使用了這個選項,rsync就會把發向對端的數據先進行壓縮再傳輸。對於網絡環境較差的狀況下建議使用。

    通常狀況下,-z的壓縮算法會和gzip的同樣。

    [-r選項]

    咱們在第一次使用rsync時,每每會遇到這樣的囧境:

    $ rsync superman machineB:/home/userB
    skipping directory superman

    若是你不額外告訴rsync你須要它幫你同步文件夾的話,它是不會主動承擔的,這也正是rsync的懶惰之處。

    因此,若是你真的想同步文件夾,那就要加上-r選項,即recursive(遞歸的、循環的),像這樣:

    $  rsync -r superman machineB:/home/userB

    咱們在上面的講解中說過,若是時間戳和文件大小徹底一致,只有文件內容不一樣,且你沒有使用-I選項的話,那麼,rsync是不會進行數據同步的。

    那麼,提個問題:「由於在Linux的世界裏,文件夾也是文件,若是這類文件(文件夾)也只有內容不一樣,而時間戳和文件大小都相同,rsync會發現麼?」

    實驗你們能夠本身動手作,結論在這裏告訴你們:

    對於文件夾,rsync是會明察秋毫的,只要你加了-r選項,它就會恪盡職守的進入到文件夾裏去檢查,而不會只對文件夾自己作「quick check」的。

    [-l選項]

    若是咱們要同步一個軟連接文件,你猜rsync會提示什麼?

    $ ll
    total 128
    -rw-rw-r--  1 userA userA 11 Dec 26 07:00 abc.c
    lrwxrwxrwx  1 userA userA  5 Dec 26 11:35 softlink -> abc.c
    $ rsync softlink machineB:/home/userB
    skipping non-regular file "softlink"

    嗯,你猜對了,rsync又無情地拒絕了咱們。它一旦發現某個文件是軟連接,就會無視它,除非咱們增長-l選項。

    $ rsync -l softlink machineB:/home/userB

    使用了-l選項後,rsync會徹底保持軟連接文件類型,原本來本的將軟連接文件複製到目的端,而不會「follow link」到指向的實體文件。

    若是我恰恰就想讓rsync採起follow link的方式,那就用-L選項就能夠了。你能夠本身試試效果。

    [-p選項]

    這個選項的全名是「perserve permissions」,顧名思義,就是保持權限。

    若是你不使用此選項的話,rsync是這樣來處理權限問題的:

    1 若是目的端沒有此文件,那麼在同步後會將目的端文件的權限保持與源端一致;
    2 若是目的端已存在此文件,那麼只會同步文件內容,權限保持原有不變。

    若是你使用了-p選項,則不管如何,rsync都會讓目的端保持與源端的權限一致的。

    [-g選項和-o選項]

    這兩個選項是一對,用來保持文件的屬組(group)和屬主(owner),做用應該很清晰明瞭。不過要注意的一點是,改變屬主和屬組,每每只有管理員權限才能夠。

    [-D選項]

    -D選項,原文解釋是「preserve devices(root only)」,從字面意思看,就是保持設備文件的原始信息。因爲博主沒有實際體驗過它的好處,因此沒有太多發言權。

    [-a選項]

    1 -a選項是rsync裏比較霸道的一個選項,由於你使用-a選項,就至關於使用了-rlptgoD這一坨選項。以一敵七,惟-a選項也。(在看了前文以後,你應該能夠很輕鬆的理解這七個選項的做用了)
    2 -a選項的學名應該叫作archive option,中文叫作歸檔選項。使用-a選項,就代表你但願採起遞歸方式來同步,且儘量的保持各個方面的一致性。
    3 可是-a選項也有阿克琉斯之踵,那就是-a沒法同步「硬連接」狀況。若是有這方面需求,要加上-H選項。

    [–delete選項、–delete-excluded選項和–delete-after選項]

    三個選項都是和「刪除」有關的:

    1 –delete:若是源端沒有此文件,那麼目的端也別想擁有,刪除之。(若是你使用這個選項,就必須搭配-r選項一塊兒)
    2 –delete-excluded:專門指定一些要在目的端刪除的文件。
    3 –delete-after:默認狀況下,rsync是先清理目的端的文件再開始數據同步;若是使用此選項,則rsync會先進行數據同步,都完成後再刪除那些須要清理的文件。

    看到這麼多delete,你是否有點肝顫? 的確,在rsync的官方說明裏也有這麼一句話:

    This option can be dangerous if used incorrectly!  
    It is a very good idea to run first using the dry  run  option
    (-n) to see what files would be deleted to make sure 
    important files aren't listed.

    從這句話裏,咱們學到了一個小技巧,那就是-n選項,它是一個嚇唬人的選項,它會用受影響的文件列表來警告你,但不會真的去刪除,這就讓咱們有了確認的機會和迴旋的餘地。咱們看看實際用法吧:

    $ rsync -n --delete -r . machineB:/home/userB/
    deleting superman/xxx
    deleting main.c
    deleting acclink

    [–exclude選項和–exclude-from選項]

    若是你不但願同步一些東西到目的端的話,可使用–exclude選項來隱藏,rsync仍是很重視你們隱私的,你能夠屢次使用–exclude選項來設置不少的「隱私」。

    若是你要隱藏的隱私太多的話,在命令行選項中設置會比較麻煩,rsync仍是很體貼,它提供了–exclude-from選項,讓你能夠把隱私一一列在一個文件裏,而後讓rsync直接讀取這個文件就行了。

    [–partial選項]

    這就是傳說中的斷點續傳功能。默認狀況下,rsync會刪除那些傳輸中斷的文件,而後從新傳輸。但在一些特別狀況下,咱們不但願重傳,而是續傳。

    咱們在使用中,常常會看到有人會使用-P選項,這個選項實際上是爲了偷懶而設計的。之前人們老是要手動寫–partial –progress,以爲太費勁了,倒不如用一個新的選項來代替,因而-P應運而生了。有些讀者會問–partial我知道做用了,可–progress是幹什麼用的呢?爲何不少人要使用它呢,它有那麼大的吸引力?(真有…)

    [–progress選項]

    使用這個選項,rsync會顯示出傳輸進度信息,有什麼用呢,rsync給了一個頗有意思的解釋:

    This gives a bored user something to watch.

    好了,寫了這麼多,你們看的已經很乏味了,去實際用用–progress解解悶,是個不錯的選擇 ^_^

    PS:後續會講解有關rsync的–exclude的PATTERN語法。

    謝謝!

    做者 rocrocket 於 9:09 下午

    文章標籤: linuxrsync五分鐘同步命令

 

  • 通常我最經常使用的就是rsync -avH –progress, 由於最容易記,av和H…

相關文章
相關標籤/搜索