Rsync、Inotify-tools簡介

Rsync簡介

rsync，remote synchronize顧名思意就知道它是一款實現遠程同步功能的軟件，它在同步文件的同時，能夠保持原來文件的權限、時間、軟硬連接等附加信息。rsync是用 「rsync 算法」提供了一個客戶機和遠程文件服務器的文件同步的快速方法，並且能夠經過ssh方式來傳輸文件，這樣其保密性也很是好，另外它仍是免費的軟件。

地址：http://rsync.samba.org/ftp/rsync/src/

安裝

CentOS系統默認已經安裝rsync

[root@localhost ~]# rpm -qa|grep -i rsync
rsync-3.0.6-12.el6.x86_64
[root@localhost ~]# rpm -e --nodeps $(rpm -qa|grep -i rsync)
[root@localhost ~]# rpm -qa|grep -i rsync
[root@localhost ~]# cd /usr/local/src/
[root@localhost src]# tar -zxvf rsync-3.1.2.tar.gz         #yum install -y rsync
[root@localhost src]# cd rsync-3.1.2
[root@localhost rsync-3.1.2]# ./configure --prefix=/app/rsync
[root@localhost rsync-3.1.2]# make && make install

配置

同步目的端須要配置，數據源端無需配置。

[root@localhost rsync-3.1.2]# vim /etc/rsyncd.conf
[global]                        #全局配置
uid = nobody
gid = nobody
use chroot = no
timeout =300
port = 873
max connections = 30
pid file = /var/runn/rsyncd.pid
lock file = /var/runn/rsync.lock
log file = /var/log/rsyncd.log
log format = %t %a %u %m %f %b    #日誌的格式 %h 遠程主機名
                       %a 遠程IP地址
                       %l 文件長度字符數
                       %p 該次rsync會話的進程id
                       %o 操做類型："send"或"recv"
                       %f 文件名
                       %P 模塊路徑
                       %m 模塊名
                       %t 當前時間
                        %u 認證的用戶名(匿名時是null)
                        %b 實際傳輸的字節數
                       %c 當發送文件時，該字段記錄該文件的校驗碼
                       默認log格式爲："%o %h [%a] %m (%u) %f %l"，通常來講,在每行的頭上會添加"%t [%p] "
[app_rsync_server]                # 要同步的模塊名
path = /app/rsync_server
comment = server                  #這個名名稱無所謂  
read only = no                    # no客戶端可上傳文件,yes只讀
write only = no                    # no客戶端可下載文件,yes不能下載
list = no                        #是否提供資源列表
ignore errors                    #忽略一些無關的IO錯誤
hosts allowd = 10.15.43.0/24         #多個IP或網段須要用空格隔開，「*」則表示全部，默認是容許全部主機鏈接
hosts deny = *
auth users = rsync                #登錄系統使用的用戶名，沒有默認爲匿名
secrets file = /etc/rsyncd.secret    #密碼文件存放的位置
[root@localhost rsync-3.1.2]# vim /etc/rsyncd.secret
rsync:123456
[root@localhost rsync-3.1.2]# chmod 600 /etc/rsyncd.secret

ignore errors

        這個選項最好加上，不然再不少crontab的時候每每發生錯誤你也未可知，由於你不可能每天去看每時每刻去看log，不加上這個出現錯誤的概率相對會很高，由於任何大點的項目和系統，磁盤IO都是一個瓶頸。

啓動與關閉

daemon方式啓動

[root@localhost rsync-3.1.2]# /app/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf
[root@localhost rsync-3.1.2]# netstat -anotp|grep :873
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      9622/rsync          off (0.00/0/0)
tcp        0      0 :::873                      :::*                        LISTEN      9622/rsync          off (0.00/0/0)
[root@localhost rsync-3.1.2]# pkill rsync
[root@localhost rsync-3.1.2]# netstat -anotp|grep :873
[root@localhost rsync-3.1.2]#

利用xinetd控制rsync啓動

[root@localhost rsync-3.1.2]# vim /etc/xinetd.d/rsync 

# default: off
# description: The rsync server is a good addition to an ftp server, as it \
#       allows crc checksumming etc.
service rsync
{
        disable = no                #將yes改成no
        flags           = IPv6
        socket_type     = stream
        wait            = no
        user            = root
        server          = /app/rsync/bin/rsync  #修改成rsync程序路徑
        server_args     = --daemon
        log_on_failure  += USERID
}
[root@localhost rsync-3.1.2]# /etc/init.d/xinetd restart

客戶端配置和測試

客戶端（數據源端）無需配置rsync配置文件/etc/rsyncd.conf，只須要安裝並啓動rsync和建一個和服務端同樣的密碼的密碼文件

客戶端

[root@localhost ~]# yum -y install rsync xinetd
[root@localhost ~]# vim /etc/xinetd.d/rsync
service rsync
{
        disable = no   #修改成no
        flags           = IPv6
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/bin/rsync
        server_args     = --daemon
        log_on_failure  += USERID
}
[root@localhost ~]# echo 123456 > /etc/rsyncd.secret
[root@localhost ~]# chmod 600 /etc/rsyncd.secret
[root@localhost rsync_client]# touch file{1..8}
[root@localhost rsync_client]# rsync -avH --port=873 --progress --delete  /app/rsync_client/ rsync@10.15.43.100::app_rsync_server --password-file=/etc/rsyncd.secret
sending incremental file list
./
file1
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=7/9)
file2
           0 100%    0.00kB/s    0:00:00 (xfer#2, to-check=6/9)
file3
           0 100%    0.00kB/s    0:00:00 (xfer#3, to-check=5/9)
file4
           0 100%    0.00kB/s    0:00:00 (xfer#4, to-check=4/9)
file5
           0 100%    0.00kB/s    0:00:00 (xfer#5, to-check=3/9)
file6
           0 100%    0.00kB/s    0:00:00 (xfer#6, to-check=2/9)
file7
           0 100%    0.00kB/s    0:00:00 (xfer#7, to-check=1/9)
file8
           0 100%    0.00kB/s    0:00:00 (xfer#8, to-check=0/9)

sent 404 bytes  received 163 bytes  1134.00 bytes/sec
total size is 0  speedup is 0.00
[root@localhost rsync_client]#

Rsync參數：

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗

-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理

-R, --relative 使用相對路徑信息

-b, --backup 建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。

--backup-dir 將備份文件(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份文件前綴

-u, --update 僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件)

-l, --links 保留軟鏈結

-L, --copy-links 想對待常規文件同樣處理軟鏈結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結

--safe-links 忽略指向SRC路徑目錄樹之外的鏈結

H, --hard-links 保留硬鏈結

-p, --perms 保持文件權限

-o, --owner 保持文件屬主信息

-g, --group 保持文件屬組信息

-D, --devices 保持設備文件信息

-t, --times 保持文件時間信息

-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間

-n, --dry-run現實哪些文件將被傳輸

-W, --whole-file 拷貝文件，不進行增量檢測

-x, --one-file-system 不要跨越文件系統邊界

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步

--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息

-C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件

--existing 僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件

--delete 刪除那些DST中SRC沒有的文件

--delete-excluded 一樣刪除接收端那些被該選項指定排除的文件

 --exclude-from=文件名 排除文件中指定模式的文件，不傳送，一行一個目錄，使用相對路徑

--delete-after 傳輸結束之後再刪除

--ignore-errors 及時出現IO錯誤也進行刪除

--max-delete=NUM 最多刪除NUM個文件

--partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸

--force 強制刪除目錄，即便不爲空

--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名

--timeout=TIME IP超時時間，單位爲秒

-I, --ignore-times 不跳過那些有一樣的時間和長度的文件

--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間

--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0

-T --temp-dir=DIR 在DIR中建立臨時文件

--compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份

-P 等同於 --partial

--progress 顯示備份過程

-z, --compress 對備份的文件在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不須要傳輸的文件模式

--include=PATTERN 指定不排除而須要傳輸的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 綁定到特定的地址

--config=FILE 指定其餘的配置文件，不使用默認的rsyncd.conf文件

--port=PORT 指定其餘的rsync服務端口

--blocking-io 對遠程shell使用阻塞IO

-stats 給出某些文件的傳輸狀態

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日誌文件格式

--password-file=FILE 從FILE中獲得密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second

-h, --help 顯示幫助信息

錯誤

@ERROR: Unknown module 'app_rsync_server'

rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]

檢查/etc/rsyncd.conf文件中hosts allowd項，刪除了hosts deny項重啓後恢復

inotify簡介

            Inotify是一種強大的、細粒度的、異步的文件系統事件監控機制，Linux內核從2.6.13起，加入了對Inotify的支持，inotify-tools是用c編寫的，除了要求內核支持inotify外，不依賴於其餘。inotify-tools提供兩種工具，一是inotifywait，它是用來監控文件或目錄的變化，二是inotifywatch，它是用來統計文件系統訪問的次數。經過Inotify能夠監控文件系統中的添加、刪除、修改、移動等各類事件.

安裝

        見CentOS6.8使用Rsync+Inotify-tools實現數據實時同步

配置

      Rsync+Inotify-tools實現數據實時同步實現經過腳原本實現

[root@localhost inotify]# cat rsync.sh 
#!/bin/bash
src_dir="/app/rsync_server/"
dst_dir="app_rsync_client"
exclude_dir="/app/inotify/exclude.list"
rsync_user="rsync"
rsync_passwd="/etc/passwd.txt"
dst_ip="10.15.43.228 10.10.2.84"
rsync_command(){
                  rsync -avH --port=873 --progress --delete --exclude-from=$exclude_dir $src_dir $rsync_user@$ip::$dst_dir --password-file=$rsync_passwd
}
for ip in $dst_ip;do
     rsync_command     
done
    /app/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $src_dir \
| while read file;do
   for ip in $dst_ip;do
       rsync_command
       echo "${file} was rsynced" >> /tmp/rsync.log 2>&1
   done
 done        
[root@localhost inotify]# chmod +x rsync.sh
[root@localhost inotify]# touch /app/inotify/exclude.list
[root@localhost inotify]# vim /etc/rc.d/rc.local
nohup /bin/sh /app/inotify/rsync.sh &
[root@localhost inotify]# nohup /bin/sh /app/inotify/rsync.sh &

inotifywait

語法：

inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]

參數：

-h,--help輸出幫助信息

@排除不須要監視的文件，能夠是相對路徑，也能夠是絕對路徑。

--fromfile 從文件讀取須要監視的文件或排除的文件，一個文件一行，排除的文件以@開頭。

-m, --monitor保持一直監聽，無限期地執行。默認的行爲是接收到一個事情後當即退出。

-d, --daemon跟--monitor同樣，除了是在後臺運行，須要指定--outfile把事情輸出到一個文件。也意味着使用了--syslog。

-o, --outfile 輸出事情到一個文件而不是標準輸出。

-s, --syslog輸出錯誤信息到系統日誌

-r, --recursive監視一個目錄下的全部子目錄。

-q, --quiet指定一次，不會輸出詳細信息，指定二次，除了致命錯誤，不會輸出任何信息。

--exclude 正則匹配須要排除的文件，大小寫敏感。

--excludei 正則匹配須要排除的文件，忽略大小寫。

-t , --timeout 設置超時時間，若是爲0，則無限期地執行下去。

-e , --event 指定監視的事件。

-c, --csv輸出csv格式。

--timefmt 指定時間格式，用於--format選項中的%T格式。

                "%」後面的大小寫表明不一樣的格式，如%y表示2位的年,%Y表示4位的年

%y年 %m月 %d日 %H小時 %M分鐘 %S 秒

--format 指定輸出格式。

                %w 表示發生事件的目錄

                %f 表示發生事件的文件

                %e 表示發生的事件

                %Xe 事件以「X"分隔

                %T 使用由--timefmt定義的時間格式

inotifywatch

語法：

inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ ... ]

參數：

-h, --help輸出幫助信息

-v, --verbose輸出詳細信息

@排除不須要監視的文件，能夠是相對路徑，也能夠是絕對路徑。

--fromfile 從文件讀取須要監視的文件或排除的文件，一個文件一行，排除的文件以@開頭。

-z, --zero輸出表格的行和列，即便元素爲空

--exclude 正則匹配須要排除的文件，大小寫敏感。

--excludei 正則匹配須要排除的文件，忽略大小寫。

-r, --recursive監視一個目錄下的全部子目錄。

-t , --timeout 設置超時時間

-e , --event 監聽指定的事件。

-a , --ascending 以指定事件升序排列。

-d , --descending 以指定事件降序排列。

可監聽事件

access文件讀取

modify文件更改。

attrib文件屬性更改，如權限，時間戳等。

close_write以可寫模式打開的文件被關閉，不表明此文件必定已經寫入數據。

close_nowrite以只讀模式打開的文件被關閉。

close文件被關閉，無論它是如何打開的。

open文件打開。

moved_to一個文件或目錄移動到監聽的目錄，即便是在同一目錄內移動，此事件也觸發。

moved_from一個文件或目錄移出監聽的目錄，即便是在同一目錄內移動，此事件也觸發。

move包括moved_to和 moved_from

move_self文件或目錄被移除，以後再也不監聽此文件或目錄。

create文件或目錄建立

delete文件或目錄刪除

delete_self文件或目錄移除，以後再也不監聽此文件或目錄

unmount文件系統取消掛載，以後再也不監聽此文件系統。