Rsync+sersync同步配置

時間  2019-11-08
標籤 rsync+sersync rsync sersync 同步 配置 欄目 Linux 简体版
原文   原文鏈接

源服務器：10.11.244.3php

目標服務器：10.11.11.108linux

# 前言：nginx

 

## 1、爲何要用Rsync+sersync架構?git

 

一、sersync是基於Inotify開發的，相似於Inotify-tools的工具github

 

二、sersync能夠記錄下被監聽目錄中發生變化的（包括增長、刪除、修改）具體某一個文件或某一個目錄的名字，而後使用rsync同步的時候，只同步發生變化的這個文件或者這個目錄。web

 

## 2、Rsync+Inotify-tools與Rsync+sersync這兩種架構有什麼區別？算法

 

### 一、Rsync+Inotify-toolsshell

 

（1）：Inotify-tools只能記錄下被監聽的目錄發生了變化（包括增長、刪除、修改），並無把具體是哪一個文件或者哪一個目錄發生了變化記錄下來；express

 

（2）：rsync在同步的時候，並不知道具體是哪一個文件或者哪一個目錄發生了變化，每次都是對整個目錄進行同步，當數據量很大時，整個目錄同步很是耗時（rsync要對整個目錄遍歷查找對比文件），所以，效率很低。服務器

 

### 二、Rsync+sersync

 

（1）：sersync能夠記錄下被監聽目錄中發生變化的（包括增長、刪除、修改）具體某一個文件或某一個目錄的名字；

 

（2）：rsync在同步的時候，只同步發生變化的這個文件或者這個目錄（每次發生變化的數據相對整個同步目錄數據來講是很小的，rsync在遍歷查找比對文件時，速度很快），所以，效率很高。

 

小結：當同步的目錄數據量不大時，建議使用Rsync+Inotify-tools；當數據量很大（幾百G甚至1T以上）、文件不少時，建議使用Rsync+sersync。

 

1、firewwall的放行和Selinux關閉

# firewall-cmd --zone=public --add-port=883/tcp --permanent

# firewall-cmd --reload

# sed -i "s/SELINUXTYPE=targeted/SELINUX=disabled/g"

# setenforce 0

至關於

# vi /etc/selinux/config #編輯防火牆配置文件

 

#SELINUX=enforcing #註釋掉

 

#SELINUXTYPE=targeted #註釋掉

 

SELINUX=disabled #增長

 

:wq! #保存，退出

 

setenforce 0 #當即生效

 

2、目標服務器和源服務器安裝

一、安裝rsync服務與xinetd服務

yum install -y rsync xinetd

 

二、rsync開機啓動

添加rsync開機啓動

# cat /etc/xinetd.d/rsync

# default: off

# # description: The rsync server is a good addition to an ftp server, as it \

# #       allows crc checksumming etc.

service rsync

{

        disable = no

        flags           = IPv6

        socket_type     = stream

        wait            = no

        user            = root

        server          = /usr/bin/rsync

        server_args     = --daemon

        log_on_failure  += USERID

}

 

三、目標服務器操做配置狀況：

假設同步的目錄以下：

# ls

bmw_m  ftp  Solr  special  upload

$ cat /etc/rsyncd.conf

# /etc/rsyncd: configuration file for rsync daemon mode

# # See rsyncd.conf man page for more options.

# # configuration example:

# uid = nobody

uid = root

# gid = nobody

gid = root

# # use chroot = yes

use chroot = no

# max connections = 4

list = no

log file = /data/var/logs/rsync/rsyncd.log

# pid file = /var/run/rsyncd.pid

# exclude = lost+found/

# transfer logging = yes

# timeout = 900

# ignore nonreadable = yes

 # dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

 

# [ftp]

 #        path = /home/ftp

 #        comment = ftp export area

#

secrets file =/etc/rsync.pas

 

[ftp1]

path = /data/ftp

comment = ftp1

ignore errors

read only = no

list = no

max connections = 200

timeout = 600

auth users = rsync

#secrets file =/etc/rsync.pas

hosts allow = 10.11.244.3

 

[upload]

path = /data/upload

comment = upload

ignore errors

read only = no

list = no

max connections = 200

timeout = 600

auth users = rsync

#secrets file =/etc/rsync.pas

hosts allow = 10.11.244.3

 

[Solr]

path = /data/Solr

comment = Solr

ignore errors

read only = no

list = no

max connections = 200

timeout = 600

auth users = rsync

#secrets file =/etc/rsync.pas

hosts allow = 10.11.244.3

 

[special]

path = /data/special

comment = special

ignore errors

read only = no

list = no

max connections = 200

timeout = 600

auth users = rsync

#secrets file =/etc/rsync.pas

hosts allow = 10.11.244.3

 

[bmw_m]

path = /data/bmw_m

comment = bmw_m

ignore errors

read only = no

list = no

max connections = 200

timeout = 600

auth users = rsync

#secrets file =/etc/rsync.pas

hosts allow = 10.11.244.3

2）、建立用於存放同步的用戶及密碼的文件/etc/rsync.pas，並將此文件權限修改成600

# echo "rsync:sHA4HnrrAm" >> /etc/rsync.pas

# chmod 600 /etc/rsync.pas

 

3）、建立同步的目錄/data/ftp

mkdir /data/webdata

 

4）、目標服務器啓動rsync與xinetd服務

systemctl start xinetd

systemctl enable xinetd

rsync --daemon --config=/etc/rsyncd.conf

四、源服務器rsync.conf的配置

# cat /etc/rsyncd.conf

uid = root

gid = root

use chroot = no

list = no

log file = /data/var/logs/rsync/rsyncd.log

 

[ftp1]

path = /data/ftp

comment = ftp1

ignore errors

 

[upload]

path = /data/upload

comment = upload

ignore errors

 

[Solr]

path = /data/Solr

comment = Solr

ignore errors

 

[special]

path = /data/special

comment = special

ignore errors

 

[bmw_m]

path = /data/bmw_m

comment = bmw_m

ignore errors

建立密碼文件跟目標服務器同樣，不過這個文件只要保存密碼便可，不須要保存用戶名，權限也是600

# echo "sHA4HnrWSAm" >> /etc/rsync.pas

# chmod 600 /etc/rsync.pas

啓動rsync與xinetd服務

# systemctl start xinetd

# systemctl enable xinetd

# rsync --daemon --config=/etc/rsyncd.conf

 

配置rsync開機自啓動

echo "rsync --daemon --config=/etc/rsyncd.conf" >> /etc/rc.d/rc.local

測試同步狀況

# rsync -avH --port=873 --progress --delete /data/ftp/ rsync@10.11.11.108::data/ftp/ --password-file=/etc/rsync.pas

3、源服務器安裝sersync服務（下面的配置與ftp1模塊爲例）

一、查看服務器內核是否支持inotify

```

ll /proc/sys/fs/inotify   #列出文件目錄，出現下面的內容，說明服務器內核支持inotify

 

-rw-r--r-- 1 root root 0 Mar  7 02:17 max_queued_events

 

-rw-r--r-- 1 root root 0 Mar  7 02:17 max_user_instances

 

-rw-r--r-- 1 root root 0 Mar  7 02:17 max_user_watches

 

備註：Linux下支持inotify的內核最小爲2.6.13，能夠輸入命令：uname -a查看內核

 

CentOS 5.X 內核爲2.6.18，默認已經支持inotify

```

二、修改inotify默認參數（inotify默認內核參數值過小）

```

查看系統默認參數值：

 

sysctl -a | grep max_queued_events

 

結果是：fs.inotify.max_queued_events = 16384

 

sysctl -a | grep max_user_watches

 

結果是：fs.inotify.max_user_watches = 8192

 

sysctl -a | grep max_user_instances

 

結果是：fs.inotify.max_user_instances = 128

 

修改參數：

 

sysctl -w fs.inotify.max_queued_events="9999999"

 

sysctl -w fs.inotify.max_user_watches="9999999"

 

sysctl -w fs.inotify.max_user_instances="65535"

 

vi /etc/sysctl.conf #添加如下代碼

 

fs.inotify.max_queued_events=9999999

 

fs.inotify.max_user_watches=9999999

 

fs.inotify.max_user_instances=65535

 

:wq! #保存退出

 

參數說明：

 

max_queued_events：

 

inotify隊列最大長度，若是值過小，會出現"** Event Queue Overflow **"錯誤，致使監控文件不許確

 

max_user_watches：

 

要同步的文件包含多少目錄，能夠用：find /home/www.osyunwei.com -type d | wc -l 統計，必須保證max_user_watches值大於統計結果（這裏/home/www.osyunwei.com爲同步文件目錄）

 

max_user_instances：

 

每一個用戶建立inotify實例最大值

 

 

三、下載sersync源碼包並安裝sersync服務

# wget wget --no-check-certificate https://raw.githubusercontent.com/orangle/sersync/master/release/sersync2.5.4_64bit_binary_stable_final.tar.gz

 

# ls

nginx  resin  sersync2.5.4_64bit_binary_stable_final.tar.gz

# mkdir /usr/local/sersync/{conf,bin,log} -p

# tar -zxf sersync2.5.4_64bit_binary_stable_final.tar.gz

# ls

GNU-Linux-x86  nginx  resin  sersync2.5.4_64bit_binary_stable_final.tar.gz

# cp GNU-Linux-x86/confxml.xml /usr/local/sersync/conf/

# cp GNU-Linux-x86/sersync2 /usr/local/sersync/bin/

 

 

四、配置sersync服務(這類僅與模塊ftp1爲例，其餘模塊upload，Solr等原理同樣)

# cat /usr/local/sersync/conf/confxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

    <host hostip="localhost" port="8008"></host>

    <debug start="false"/>

    <fileSystem xfs="false"/>

    <filter start="false">

    <exclude expression="(.*)\.svn"></exclude>

    <exclude expression="(.*)\.gz"></exclude>

    <exclude expression="^info/*"></exclude>

    <exclude expression="^static/*"></exclude>

    </filter>

    <inotify>

    <delete start="true"/>

    <createFolder start="true"/>

    <createFile start="false"/>

    <closeWrite start="true"/>

    <moveFrom start="true"/>

    <moveTo start="true"/>

    <attrib start="false"/>

    <modify start="false"/>

    </inotify>

 

    <sersync>

    <localpath watch="/usr/local/data/ftp">

        <remote ip="10.11.11.108" name="ftp1"/>

        <!--<remote ip="192.168.8.39" name="tongbu"/>-->

        <!--<remote ip="192.168.8.40" name="tongbu"/>-->

    </localpath>

    <rsync>

        <commonParams params="-artuz"/>

        <auth start="true" users="rsync" passwordfile="/etc/rsync.pas"/>

        <userDefinedPort start="false" port="874"/><!-- port=874 -->

        <timeout start="false" time="100"/><!-- timeout=100 -->

        <ssh start="false"/>

    </rsync>

    <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

    <crontab start="false" schedule="600"><!--600mins-->

        <crontabfilter start="false">

        <exclude expression="*.php"></exclude>

        <exclude expression="info/*"></exclude>

        </crontabfilter>

    </crontab>

    <plugin start="false" name="command"/>

    </sersync>

 

 

    <plugin name="command">

    <param prefix="/bin/sh" suffix="" ignoreError="true"/>    <!--prefix /opt/tongbu/mmm.sh suffix-->

    <filter start="false">

        <include expression="(.*)\.php"/>

        <include expression="(.*)\.sh"/>

    </filter>

    </plugin>

 

    <plugin name="socket">

    <localpath watch="/opt/tongbu">

        <deshost ip="192.168.138.20" port="8009"/>

    </localpath>

    </plugin>

    <plugin name="refreshCDN">

    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">

        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

        <sendurl base="http://pic.xoyo.com/cms"/>

        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/p_w_picpaths"/>

    </localpath>

    </plugin>

</head>

五、設置環境變量

# echo "export PATH=$PATH:/usr/local/sersync/bin/" >> /etc/profile

# source /etc/profile

 

六、啓動、重啓、中止sersync服務

# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

# ps -aux | grep sersync2   #查看進程

# ps -aux | grep sersync2

root      5669  0.0  0.0 1415496  684 ?        Ssl  16:43   0:00 sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

root      6313  0.0  0.0 112660   984 pts/0    R+   16:50   0:00 grep --color=auto sersync2

# kill -9 5669      #中止進程

 

七、設置開機啓動sersync

 

# echo "sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml" >> /etc/rc.d/rc.local

 

最後，啓動完源服務器上的sersync服務後，重啓下目標服務器上的xinetd服務。

 

八、添加腳本監控sersync是否正常運行

# cat /etc/chk_sersync.sh

#!/bin/sh

 

sersync="/usr/local/sersync/bin/sersync2"

 

confxml="/usr/local/sersync/conf/confxml.xml"

 

status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)

 

if [ $status -eq 0 ];

 

then

 

$sersync -d -r -o $confxml &

 

else

 

exit 0;

 

配置定時執行腳本

# crontab -e

*/10 * * * * root /etc/chk_sersync.sh > /dev/null 2>&1

# crontab -l

#Ansible: sync cron

* 4 * * * ntp.sjtu.edu.cn

*/10 * * * * root /etc/chk_sersync.sh > /dev/null 2>&1

 

九、重啓系統後，檢查全部配置是否正常生效，並在源服務新建文件或目錄，測試是否實時同步。

 

若是以上測試都經過，說明inotify實時觸發rsync同步腳本運行正常。

 

至此，Linux下Rsync+sersync實現數據實時同步完成。

 

 

 

### rsync參數

 

```

-v, --verbose 詳細模式輸出

 

-q, --quiet 精簡輸出模式

 

-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗

 

-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD

 

-r, --recursive 對子目錄以遞歸模式處理

 

-R, --relative 使用相對路徑信息

 

-b, --backup 建立備份，也就是對於目的已經存在有一樣的文件名時，將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。

 

--backup-dir 將備份文件(如~filename)存放在在目錄下。

 

-suffix=SUFFIX 定義備份文件前綴

 

-u, --update 僅僅進行更新，也就是跳過全部已經存在於DST，而且文件時間晚於要備份的文件。(不覆蓋更新的文件)

 

-l, --links 保留軟鏈結

 

-L, --copy-links 想對待常規文件同樣處理軟鏈結

 

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結

 

--safe-links 忽略指向SRC路徑目錄樹之外的鏈結

 

-H, --hard-links 保留硬鏈結

 

-p, --perms 保持文件權限

 

-o, --owner 保持文件屬主信息

 

-g, --group 保持文件屬組信息

 

-D, --devices 保持設備文件信息

 

-t, --times 保持文件時間信息

 

-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間

 

-n, --dry-run現實哪些文件將被傳輸

 

-W, --whole-file 拷貝文件，不進行增量檢測

 

-x, --one-file-system 不要跨越文件系統邊界

 

-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節

 

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步

 

--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息

 

-C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件，用來排除那些不但願傳輸的文件

 

--existing 僅僅更新那些已經存在於DST的文件，而不備份那些新建立的文件

 

--delete 刪除那些DST中SRC沒有的文件

 

--delete-excluded 一樣刪除接收端那些被該選項指定排除的文件

 

--delete-after 傳輸結束之後再刪除

 

--ignore-errors 及時出現IO錯誤也進行刪除

 

--max-delete=NUM 最多刪除NUM個文件

 

--partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸

 

--force 強制刪除目錄，即便不爲空

 

--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名

 

--timeout=TIME IP超時時間，單位爲秒

 

-I, --ignore-times 不跳過那些有一樣的時間和長度的文件

 

--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間

 

--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認爲0

 

-T --temp-dir=DIR 在DIR中建立臨時文件

 

--compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份

 

-P 等同於 --partial

 

--progress 顯示備份過程

 

-z, --compress 對備份的文件在傳輸時進行壓縮處理

 

--exclude=PATTERN 指定排除不須要傳輸的文件模式

 

--include=PATTERN 指定不排除而須要傳輸的文件模式

 

--exclude-from=FILE 排除FILE中指定模式的文件

 

--include-from=FILE 不排除FILE指定模式匹配的文件

 

--version 打印版本信息

 

--address 綁定到特定的地址

 

--config=FILE 指定其餘的配置文件，不使用默認的rsyncd.conf文件

 

--port=PORT 指定其餘的rsync服務端口

 

--blocking-io 對遠程shell使用阻塞IO

 

-stats 給出某些文件的傳輸狀態

 

--progress 在傳輸時現實傳輸過程

 

--log-format=formAT 指定日誌文件格式

 

--password-file=FILE 從FILE中獲得密碼

 

--bwlimit=KBPS 限制I/O帶寬，KBytes per second

 

-h, --help 顯示幫助信息

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程