Windows下基於cwRsync的文件同步

最近一個項目採用IIS+.Net平臺，使用了2臺服務器實現負載均衡（相關負載均衡文章參考：http://www.toxingwang.com/linux-unix/haandclusters 中lvs部分或http://www.toxingwang.com/?s=nginx&x=0&y=0 中Nginx等相關文章，對於有錢的公司且追求簡單的公司，也能夠採用硬件負載均衡，這些不在本文討論範圍），之前在linux下實現負載均衡，主要有以下兩個問題：

如何實現用戶回話保持？

可使用Session共享和會話保持兩種方式。

如何實現實現用戶上傳文件能在多臺服務器上訪問？

可使用共享存儲（如NFS、iSCSI、GFS2等）或文件同步（rsync+sersync+inotify）等。

在IIS+.Net平臺下，一樣面臨上述兩個問題，關於IIS下Session共享問題在前文已經討論。今天討論第二個如何實現多臺服務器訪問的都是一樣的數據。

站點邏輯架構以下：

架構說明：

前端負載均衡在調度上，實現基於Request Method調度，若是Request Method是Post，則調度到APP1上，而其餘請求則基於最少鏈接等方法調度。這樣就實現了用戶上傳是老是訪問APP1，而APP2的數據徹底與APP1同步。

同步使用cwRsync實現。因爲windows沒有inotify功能，所以只能實現定時同步，我實際中採用每分鐘同步一次（考慮到用戶上傳的速度實際遠低於內網1GB網速，所以此方案是可行的）。具體實現過程以下：

一、軟件準備：

客戶端版本：cwRsync 4.0.5 Installer（最新版5.22，根據須要選擇）

服務器版本：cwRsyncServer 4.0.5 Installer（最新版5.22，根據須要選擇）

二、 安裝：

在APP1（暫且定義爲主服務器）上安裝cwRsyncServer；Windows下軟件的安裝很簡單，安裝cwRsync時，只需記住以下的密碼便可，其餘默認：

在APP2上安裝cwRsync客戶端版本。一樣所有默認便可。

三、配置：

3.1 、服務器端配置

在cwRsync的安裝目錄下（默認路徑：C:\Program Files (x86)\ICW），能夠找到一個rsyncd.conf的配置文件，先備份一個，而後再修改。

use chroot = false

strict modes = false

hosts allow = *

log file = rsyncd.log

uid = 0  ##指定uid爲0，不指定將沒法使用

gid = 0

#定義須要同步的路徑，名稱任意，方便本身識別就好

[bbsapp]

path = /cygdrive/d/APPSYSTEM/bbs/   #表示路徑：d:＼APPSYSTEM\bbs

read only = false

ignore errors

transfer logging = yes

hosts allow = 192.168.18.0/255.255.255.0

auth users = SvcCWRSYNC   #認證帳戶，安裝時的那個帳戶

secrets file = rsync.password  #密碼文件

在上述安裝目錄下建立一個密碼文件rsync.password，內容以下：

SvcCWRSYNC:pw123456

說明：冒號前面爲上述帳戶名，冒號後面爲安裝時提示的那個密碼，也能夠在安裝時指定。

配置完畢後，便可重啓cwRsync服務了，以下：

3.二、客戶端配置

進入客戶端的默認安裝目錄C:\Program Files (x86)\cwRsync，新建一個密碼文件rsync.password，將上述用戶的密碼寫入這個文件（僅僅是密碼）。注意該文件的權限必須全部者爲administrator，且權限爲600（即只有管理員有權限），不然同步時會報以下錯誤：

password file must be owned by root when running as root

而後在任意位置建立一個批處理，命令內容以下：

cd /d "C:\Program Files (x86)\cwRsync\bin"

rsync -avz --delete-after --ignore-errors --progress --password-file=」/cygdrive/c/ Program Files (x86)/cwRsync/rsync.password」 SvcCWRSYNC@app1_IP::bbsapp /cygdrive/d/APPSYSTEM/bbs

在計劃任務中調用此批處理，並設定爲每分鐘一次便可。

四、cwRsync客戶端命令詳解：

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑信息

-b, --backup 建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。

--backup-dir 將備份文件(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份文件前綴

-u, --update 僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件)

-l, --links 保留軟鏈結

-L, --copy-links 想對待常規文件同樣處理軟鏈結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結

--safe-links 忽略指向SRC路徑目錄樹之外的鏈結

-H, --hard-links 保留硬鏈結

-p, --perms 保持文件權限

-o, --owner 保持文件屬主信息

-g, --group 保持文件屬組信息

-D, --devices 保持設備文件信息

-t, --times 保持文件時間信息

-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間

-n, --dry-run現實哪些文件將被傳輸

-W, --whole-file 拷貝文件，不進行增量檢測

-x, --one-file-system 不要跨越文件系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步

--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息

-C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件

--existing 僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件

--delete 刪除那些DST中SRC沒有的文件

--delete-excluded 一樣刪除接收端那些被該選項指定排除的文件

--delete-after 傳輸結束之後再刪除

--ignore-errors 及時出現IO錯誤也進行刪除

--max-delete=NUM 最多刪除NUM個文件

--partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸

--force 強制刪除目錄，即便不爲空

--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名

--timeout=TIME IP超時時間，單位爲秒

-I, --ignore-times 不跳過那些有一樣的時間和長度的文件

--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間

--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0

-T --temp-dir=DIR 在DIR中建立臨時文件

--compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份

-P 等同於 --partial

--progress 顯示備份過程

-z, --compress 對備份的文件在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不須要傳輸的文件模式

--include=PATTERN 指定不排除而須要傳輸的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 綁定到特定的地址

--config=FILE 指定其餘的配置文件，不使用默認的rsyncd.conf文件

--port=PORT 指定其餘的rsync服務端口

--blocking-io 對遠程shell使用阻塞IO

-stats 給出某些文件的傳輸狀態

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日誌文件格式

--password-file=FILE 從FILE中獲得密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second

-h, --help 顯示幫助信息

五、問題點：

5.一、服務沒法啓動：

服務器在乎外重啓後，RsyncServer服務不能啓動，提示「本地計算機上的reyncserver服務啓動後又中止了」，方法是將安裝目錄下的rsyncd.pid文件刪除或更名便可，再從新啓動RsyncServer服務，OK，成功了，rsyncd.pid文件會自動從新生成。

5.二、提示「password file must be owned by root when running as root」

客戶端使用命令同步時，提示上述錯誤，緣由爲密碼文件權限不對，文件屬主（全部者）必須爲administrator，且權限爲600（即只有管理員有權限）。

六、排除

兩臺服務器上，有些緩存目錄或臨時文件，以及特定配置多是不須要同步的，所以須要進行排除。因此必須在server的配置文件中添加排除同步的文件，這就須要用到了exclude這個參數。

6.一、目錄排除

exclude這個參數能夠在client上面使用，也能夠直接在server上面的進行配置。下面的例子是在server的rsyncd.conf文件上面配置的。

案例：config文件目錄下有test一、test2和test3這三個目錄，這三個目錄當中都有一個test.txt文件。下面經過不一樣的配置信息來實現不一樣的同步要求。

ENVISION——config——test1——test.txt

||———test2——test.txt

||———test3——test.txt

經過exclude關鍵字實現test1目錄的例外

[config]

path

= /cygdrive/d/ENVISION/

config

#exclude

from =

rsync.exclude

exclude

= test1/read only = falsetransfer logging = yeslock file = rsyncd.lock

經過exclude from關鍵字實現test2和test3目錄的例外

[config]

path

= /cygdrive/d/ENVISION/

config

exclude

from =

rsync.exclude

#exclude

= test1/read only = falsetransfer logging = yeslock file = rsyncd.lock

其中rsync.excluede文件跟rsyncd.conf在同一目錄下，其中的文件內容是，其中「/」很是重要。

test2/test3/

6.二、文件排除

exclude和exclude from不只僅指限制與目錄，也可使指定的文件名。

在test1目錄下添加一個文件test2.txt，而後進行以下配置

[config]

path

= /cygdrive/d/ENVISION/

config

exclude

from =

rsync.exclude

exclude

= test1/

test.txt

read only

= falsetransfer logging = yeslock file = rsyncd.lock

再次執行同步命令，會發現test1/test2.txt會被同步，而test1/test.txt不會被同步。

更多內容，請訪問個人獨立博客：http://www.toxingwang.com/