linux實踐——實現inotify+rsync實時同步系統

一、檢測分發服務器系統是否知足需求，要求內核大於2.3

 uname -r #查看系統內核
 ll /proc/sys/fs/inotify/

　　

如圖則知足需求。

二、在分發服務器下載最新版並編譯安裝

cd  #回到用戶目錄
wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  #下載最新版
tar zxvf inotify-tools-3.14.tar.gz  #解壓到當前目錄
cd inotify-tools-3.14 #進入目錄
./configure --prefix=/alidata/server/inotify/ #編譯配置，這裏是指定位置（你的文件目錄）
make #編譯
make install #安裝
make clean #從源文件夾清除二進制對象等 
cd /alidata/server/inotify/bin
./inotifywait --help  #查看是否安裝完成通常有錯誤上面幾個步驟會有提示
./inotifywait -mrq --format '%Xe %w%f' -e modify,create,delete,attrib /alidata/tmp/ #m是開啓監測,r遞歸目錄,/alidata/tmp監測的目錄
touch /alidata/tmp/test1 #新開個tty建立個文件會有以下圖輸出


#爲方便使用能夠選擇設置
#設置系統環境變量，添加軟鏈接
#echo "PATH=$PATH:/alidata/server/inotify/bin" >>/etc/profile.d/inotify.sh 
#source /etc/profile.d/inotify.sh #使設置當即生效
#echo "/alidata/server/inotify/lib" >/etc/ld.so.conf.d/inotify.conf && ldconfig
#ln -s /alidata/server/inotify/include /usr/include/inotify

　　

至此已經能夠檢測到分發服務器文件改動了。

三、編譯安裝rsync到內容分發服務器在這裏充當客戶端的角色

wget https://download.samba.org/pub/rsync/src/rs
tar zxvf rsync-3.1.2.tar.gz
cd rsync-3.1.2
 ./configure  --prefix=/alidata/server/rsync
make
make install

 接下來就是文件同步，檢測到文件變更後主動向目標服務器推送，詳情後面說。

四、編譯安裝rsync到目標服務器並啓用服務

wget https://download.samba.org/pub/rsync/src/rs
tar zxvf rsync-3.1.2.tar.gz
cd rsync-3.1.2
 ./configure  --prefix=/alidata/server/rsync
make
make install

 　　添加主配置文件：　　

nano /etc/rsyncd.conf

　　複製如下代碼

uid = root
gid = root
port = 873
use chroot = no
hosts allow = *
max connections = 3
motd file = /alidata/passwd/rsync/rsyncd.mot #問候語
pid file = /alidata/server/rsync/rsyncd.pid
lock file = /alidata/server/rsync/rsync.lock
log file = /alidata/log/rsync/rsyncd.log
transfer logging = yes #傳輸日誌
ignore errors #忽略錯誤

[netho]
path = /alidata/tmp/rsynctest #同步路徑
auth users = netho　　#使用用戶必須是服務器真實用戶
secrets file = /alidata/passwd/rsync/rsyncd.pass #用戶認證文件
list = no
read only = no #只讀

　　創建認證文件，我使用的是apache的認證工具生成的密碼複雜一點嘛（嫌麻煩直接手動輸入echo woshimima >/alidata/passwd/rsync/rsyncd.pass）

mkdir -p /alidata/passwd/rsycn 
htpasswd -cb /alidata/passwd/rsync/rsyncd.pass netho Netho123456789
chmod 600 /alidata/passwd/rsync/rsyncd.pass    #爲何要這一步呢？和strict modes =yes/no有關係麼，沒時間實驗了，擦

　　設定rsyncd.motd 文件;　 　

nano /alidata/passwd/rsync/rsyncd.mot

　　複製如下代碼

++++++++++++++++++++++++++++++++++++++++++++++
　　Welcome to use the  rsync services!
           2002------2009
　　++++++++++++++++++++++++++++++++++++++++++++++

啓動rsync服務：

cd /alidata/server/rsync/bin
./rsync  --daemon --config=/etc/rsyncd.conf &

打開指定端口

ufw allow 873/tcp

測試連接

ps -ef |grep rsync #進程
netstat -anop | grep rsync #端口信息
./rsync -rdt rsync://127.0.0.1:873/ #看到下圖咱們設置的歡迎信息（mot）說明啓動成功服務正常

　　

　　怎麼中止？？？我也不知道啦^_^ 

爲了方便咱們使用腳原本管理將其加入service

touch /etc/init.d/rsyncd
chmod +x /etc/init.d/rsyncd
nano /etc/init.d/rsyncd

　複製如下代碼

#!/bin/bash 
# description: rsync server
# processname: rsyncd
 
status1=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') 
pidfile="/alidata/server/rsync/rsyncd.pid" 
rsync="/alidata/server/rsync/bin/rsync"
start_rsync="${rsync} --daemon --config=/etc/rsyncd.conf" 
 
function rsyncstart() { 
 
    if [ "${status1}X" == "X" ];then
        ${start_rsync}    
        status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') 
         
        if [  "${status2}X" != "X"  ];then 
             
            echo "rsync service start.......OK" 
             
        fi 
 
    else 
 
        echo "rsync service is running !"    
 
    fi 
} 
 
function rsyncstop() { 
 
    if [ "${status1}X" != "X" ];then 
     
        kill -9 $(cat $pidfile)
        rm -f $pidfile
 
        status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') 
 
        if [ "${statusw2}X" == "X" ];then 
             
            echo "rsync service stop.......OK" 
        fi 
    else 
 
        echo "rsync service is not running !"    
 
    fi 
} 
 
 
function rsyncstatus() { 
 
 
    if [ "${status1}X" != "X" ];then 
 
        echo "rsync service is running !"   
     
    else 
 
         echo "rsync service is not running !"  
 
    fi 
 
} 
 
function rsyncrestart() { 
 
    if [ "${status1}X" == "X" ];then
 
          echo "rsync service is not running..." 
 
          rsyncstart 
 
      else
 
          rsyncstop
          rsync --daemon --config=/usr/local/server/rsync/etc/rsyncd.conf
          status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep')          
 
        if [  "${status2}X" != "X"  ];then              
    
            echo "rsync service start.......OK"       
 
        else 
 
            echo "rsync service is not running !" 
 
        fi
 
    fi  
}  
 
case "$1" in 
 
        "start") 
               rsyncstart 
                ;; 
 
        "stop") 
               rsyncstop 
                ;; 
 
        "status") 
               rsyncstatus 
               ;; 
 
        "restart") 
               rsyncrestart
               ;; 
 
        *) 
          echo 
                echo  "Usage: $0 start|stop|restart|status" 
          echo 
esac
exit 0

備份

#! /bin/sh

### BEGIN INIT INFO
# Provides:          rsyncd
# Required-Start:    $remote_fs $syslog
# Required-Stop:     $remote_fs $syslog
# Should-Start:      $named
# Default-Start:     2 3 4 5
# Default-Stop:
# Short-Description: fast remote file copy program daemon
# Description:       rsync is a program that allows files to be copied to and
#                    from remote machines in much the same way as rcp.
#                    This provides rsyncd daemon functionality.
### END INIT INFO

set -e

# /etc/init.d/rsync: start and stop the rsync daemon

DAEMON=/usr/bin/rsync
RSYNC_ENABLE=false
RSYNC_OPTS=''
RSYNC_DEFAULTS_FILE=/etc/default/rsync
RSYNC_CONFIG_FILE=/etc/rsyncd.conf
RSYNC_PID_FILE=/var/run/rsync.pid
RSYNC_NICE_PARM=''
RSYNC_IONICE_PARM=''

test -x $DAEMON || exit 0

. /lib/lsb/init-functions

if [ -s $RSYNC_DEFAULTS_FILE ]; then
    . $RSYNC_DEFAULTS_FILE
    case "x$RSYNC_ENABLE" in
        xtrue|xfalse)   ;;
        xinetd)         exit 0
                        ;;
        *)              log_failure_msg "Value of RSYNC_ENABLE in $RSYNC_DEFAULTS_FILE must be either 'true' or 'false';"
                        log_failure_msg "not starting rsync daemon."
                        exit 1
                        ;;
    esac
    case "x$RSYNC_NICE" in
        x[0-9])         RSYNC_NICE_PARM="--nicelevel $RSYNC_NICE";;
        x1[0-9])        RSYNC_NICE_PARM="--nicelevel $RSYNC_NICE";;
        x)              ;;
        *)              log_warning_msg "Value of RSYNC_NICE in $RSYNC_DEFAULTS_FILE must be a value between 0 and 19 (inclusive);"
                        log_warning_msg "ignoring RSYNC_NICE now."
                        ;;
    esac
    case "x$RSYNC_IONICE" in
        x-c[123]*)      RSYNC_IONICE_PARM="$RSYNC_IONICE";;
        x)              ;;
        *)              log_warning_msg "Value of RSYNC_IONICE in $RSYNC_DEFAULTS_FILE must be -c1, -c2 or -c3;"
                        log_warning_msg "ignoring RSYNC_IONICE now."
                        ;;
    esac
fi

export PATH="${PATH:+$PATH:}/usr/sbin:/sbin"

rsync_start() {
    if [ ! -s "$RSYNC_CONFIG_FILE" ]; then
        log_failure_msg "missing or empty config file $RSYNC_CONFIG_FILE"
        log_end_msg 1
        exit 0
    fi
    # See ionice(1)
    if [ -n "$RSYNC_IONICE_PARM" ] && [ -x /usr/bin/ionice ] &&
        /usr/bin/ionice "$RSYNC_IONICE_PARM" true 2>/dev/null; then
        /usr/bin/ionice "$RSYNC_IONICE_PARM" -p$$ > /dev/null 2>&1
    fi
    if start-stop-daemon --start --quiet --background \
        --pidfile $RSYNC_PID_FILE --make-pidfile \
        $RSYNC_NICE_PARM --exec $DAEMON \
        -- --no-detach --daemon --config "$RSYNC_CONFIG_FILE" $RSYNC_OPTS
    then
        rc=0
        sleep 1
        if ! kill -0 $(cat $RSYNC_PID_FILE) >/dev/null 2>&1; then
            log_failure_msg "rsync daemon failed to start"
            rc=1
        fi
    else
        rc=1
    fi
    if [ $rc -eq 0 ]; then
        log_end_msg 0
    else
        log_end_msg 1
        rm -f $RSYNC_PID_FILE
    fi
} # rsync_start


case "$1" in
  start)
        if "$RSYNC_ENABLE"; then
            log_daemon_msg "Starting rsync daemon" "rsync"
            if [ -s $RSYNC_PID_FILE ] && kill -0 $(cat $RSYNC_PID_FILE) >/dev/null 2>&1; then
                log_progress_msg "apparently already running"
                log_end_msg 0
                exit 0
            fi
            rsync_start
        else
            if [ -s "$RSYNC_CONFIG_FILE" ]; then
                [ "$VERBOSE" != no ] && log_warning_msg "rsync daemon not enabled in $RSYNC_DEFAULTS_FILE, not starting..."
            fi
        fi
        ;;
  stop)
        log_daemon_msg "Stopping rsync daemon" "rsync"
        start-stop-daemon --stop --quiet --oknodo --pidfile $RSYNC_PID_FILE
        log_end_msg $?
        rm -f $RSYNC_PID_FILE
        ;;

  reload|force-reload)
        log_warning_msg "Reloading rsync daemon: not needed, as the daemon"
        log_warning_msg "re-reads the config file whenever a client connects."
        ;;

  restart)
        set +e
        if $RSYNC_ENABLE; then
            log_daemon_msg "Restarting rsync daemon" "rsync"
            if [ -s $RSYNC_PID_FILE ] && kill -0 $(cat $RSYNC_PID_FILE) >/dev/null 2>&1; then
                start-stop-daemon --stop --quiet --oknodo --pidfile $RSYNC_PID_FILE || true
                sleep 1
            else
                log_warning_msg "rsync daemon not running, attempting to start."
                rm -f $RSYNC_PID_FILE
            fi
            rsync_start
        else
            if [ -s "$RSYNC_CONFIG_FILE" ]; then
                [ "$VERBOSE" != no ] && log_warning_msg "rsync daemon not enabled in $RSYNC_DEFAULTS_FILE, not starting..."
            fi
        fi
        ;;

  status)
        status_of_proc -p $RSYNC_PID_FILE "$DAEMON" rsync
        exit $? # notreached due to set -e
        ;;
  *)
        echo "Usage: /etc/init.d/rsync {start|stop|reload|force-reload|restart|status}"
        exit 1
esac

exit 0

　　設置開機啓動

echo "/etc/init.d/rsyncd start" >>/etc/rc.local

　　 

五、目標服務器配好之後，在內容分發服務器上編寫監控文件變化啓動同步的腳本rstnc-inotify.sh

#!/bin/bash
server=/alidata/server/
rsync=${server}rsync/bin/rsync
inotify=${server}inotify/bin
src=/alidata/tmp/mubiao/
log=/alidata/log/rsync-inotify.log
# 須要同步的源路徑
des=netho
# 目標服務器上配置中[]裏的名稱。
rsync_passwd_file=/alidata/passwd/rsync/rsyncd.pass
# rsync驗證的密碼文件
ip=127.0.0.1
# 目標服務器1
ip1=192.168.0.19
# 目標服務器2
user=netho
# rsync --daemon定義的驗證用戶名
cd ${src}
# 此方法中，因爲rsync同步的特性，這裏必需要先cd到源目錄，
# inotify再監聽 ./ 才能rsync同步後目錄結構一致，

${inotify}/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file
# 把監控到有發生更改的文件路徑列表循環
do
        INO_EVENT=$(echo $file | awk '{print $1}')
      # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT
        INO_FILE=$(echo $file | awk '{print $2}')
      # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE
        echo "-------------------------------$(date)------------------------------------">> ${log} 2>&1
        echo $file >> ${log} 2>&1
        # 增長、修改、寫入完成、移動進事件
        # 增、改放在同一個判斷，由於他們都確定是針對文件的操做，即便是新建目錄，要同步的也只是一個空目錄，不會影響速度。
        if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]
        # 判斷事件類型
        then
                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO' >> ${log} 2>&1
                # ${rsync} -avzcR --port 3375  --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                # INO_FILE變量表明路徑哦  -c校驗文件內容
                ${rsync} -avzcR --port 3375 --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip}::${des}
                # 仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變liang
                # 即每次只針對性的同步發生改變的文件的目錄(只同步目標文件的方法在生產環境的某些極端環境下會漏文件
                #如今能夠在不漏文件下也有不錯的速度 作到平衡) 而後用-R參數把源的目錄結構遞歸到目標後面 保證目錄結構一致性
        fi
        #刪除、移動出事件
        if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
        then
                echo 'DELETE or MOVED_FROM' >> ${log} 2>&1
                #${rsync} -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                ${rsync} -avzR --delete --port 3375 --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip}::${des}
                # 看rsync命令 若是直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 因此這裏同步的源是被刪文件或目錄的上一級路徑，
　　　　　　　　# 並加上--delete來刪除目標上有而源中沒有的文件，這裏不能作到指定文件刪除，若是刪除的路徑越靠近根，則同步的目錄月多，同步刪除的操做就越花時間。這裏有更好方法的同窗，歡迎交流。
        fi
        #修改屬性事件 指 touch chgrp chmod chown等操做
        if [[ $INO_EVENT =~ 'ATTRIB' ]]
        then
                echo 'ATTRIB'
                if [ ! -d "$INO_FILE" ]                 # 若是修改屬性的是目錄 則不一樣步，由於同步目錄會發生遞歸掃描，等此目錄下的文件發生同步時，rsync會順帶更新此目錄。
                then
                        # ${rsync} -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                        ${rsync} -avzcR --port 3375 --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip}::${des}
                fi
        fi
done

　　　　參考http://www.ttlsa.com/web/let-infotify-rsync-fast/

chmod +x ./rsync-inotify.sh #賦予執行權限
./rsync-inotify.sh & #後臺執行
echo  "/alidata/netho/rsync-inotify.sh &">>/etc/rc.local

　　爲防止腳本出現問題設置定時方案

crontab -e * */2 * * * rsync -avz --password-file=你的路徑 /同步路徑/ user@ip::方括號裏的名稱 

　　

 

 

 

附：

rsync 的命令格式能夠爲如下六種：

　　rsync [OPTION]... SRC DEST

　　rsync [OPTION]... SRC [USER@]HOST:DEST

　　rsync [OPTION]... [USER@]HOST:SRC DEST

　　rsync [OPTION]... [USER@]HOST::SRC DEST

　　rsync [OPTION]... SRC [USER@]HOST::DEST

　　rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

　　對應於以上六種命令格式， rsync 有六種不一樣的工做模式：

　　1) 拷貝本地文件。當 SRC 和 DES 路徑信息都不包含有單個冒號 ":" 分隔符時就啓動這種工做模式。

　　2) 使用一個遠程 shell 程序 ( 如 rsh 、 ssh) 來實現將本地機器的內容拷貝到遠程機器。當 DST 路徑地址包含單個冒號 ":" 分隔符時啓動該模式。

　　3) 使用一個遠程 shell 程序 ( 如 rsh 、 ssh) 來實現將遠程機器的內容拷貝到本地機器。當 SRC 地址路徑包含單個冒號 ":" 分隔符時啓動該模式。

　　4) 從遠程 rsync 服務器中拷貝文件到本地機。當 SRC 路徑信息包含 "::" 分隔符時啓動該模式。

　　5) 從本地機器拷貝文件到遠程 rsync 服務器中。當 DST 路徑信息包含 "::" 分隔符時啓動該模式。

　　6) 列遠程機的文件列表。這相似於 rsync 傳輸，不過只要在命令中省略掉本地機信息便可。

參數說明

-v, --verbose  詳細模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗
-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD
-r, --recursive 對子目錄以遞歸模式處理
-R, --relative 使用相對路徑信息
-b, --backup 建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結
-L, --copy-links 想對待常規文件同樣處理軟鏈結
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結
--safe-links 忽略指向SRC路徑目錄樹之外的鏈結
-H, --hard-links 保留硬鏈結     -p, --perms 保持文件權限
-o, --owner 保持文件屬主信息     -g, --group 保持文件屬組信息
-D, --devices 保持設備文件信息    -t, --times 保持文件時間信息
-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間
-n, --dry-run現實哪些文件將被傳輸
-W, --whole-file 拷貝文件，不進行增量檢測
-x, --one-file-system 不要跨越文件系統邊界
-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節
-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件
--existing 僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件
--delete 刪除那些DST中SRC沒有的文件
--delete-excluded 一樣刪除接收端那些被該選項指定排除的文件
--delete-after 傳輸結束之後再刪除
--ignore-errors 及時出現IO錯誤也進行刪除
--max-delete=NUM 最多刪除NUM個文件
--partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸
--force 強制刪除目錄，即便不爲空
--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名
--timeout=TIME IP超時時間，單位爲秒
-I, --ignore-times 不跳過那些有一樣的時間和長度的文件
--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間
--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0
-T --temp-dir=DIR 在DIR中建立臨時文件
--compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份
-P 等同於 --partial
--progress 顯示備份過程
-z, --compress 對備份的文件在傳輸時進行壓縮處理
--exclude=PATTERN 指定排除不須要傳輸的文件模式
--include=PATTERN 指定不排除而須要傳輸的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其餘的配置文件，不使用默認的rsyncd.conf文件
--port=PORT 指定其餘的rsync服務端口
--blocking-io 對遠程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態
--progress 在傳輸時現實傳輸過程
--log-format=formAT 指定日誌文件格式
--password-file=FILE 從FILE中獲得密碼
--bwlimit=KBPS 限制I/O帶寬，KBytes per second      -h, --help 顯示幫助信息

rsync client配置