centos7系統安裝sersync+rsync實現服務器同步功能

時間  2019-11-24
標籤 centos7 centos 系統 安裝 sersync+rsync sersync rsync 實現 服務器 同步 功能 欄目 Tomcat 简体版
原文   原文鏈接

centos7系統安裝sersync+rsync實現服務器同步功能

MQ_douer0人評論21708人閱讀2017-04-08 15:49:03php

1、爲何要用sersync+rsync架構？linux

 

一、sersync是基於inotify開發的，相似於inotify-tools的工具。c++

 

二、sersync能夠記錄下被監聽目錄中發生變化的（包括增長、刪除、修改）具體某一個文件或者某一個目錄的名字，然web

 

後使用rsync同步的時候，只同步發生變化的文件或者目錄。express

 

2、rsync+inotify-tools與sersync+rsync架構的區別？vim

 

一、rsync+inotify-toolscentos

 

     a、inotify只能記錄下被監聽的目錄發生了變化（增，刪，改）並無把具體是哪一個文件或者哪一個目錄發生了變化記錄下來；api

   b、rsync在同步的時候，並不知道具體是哪一個文件或目錄發生了變化，每次都是對整個目錄進行同步，當數據量很大時，整個目錄同步很是耗時（rsync要對整個目錄遍歷查找對比文件），所以效率很低。安全

    

二、sersync+rsync服務器

 

     a、sersync能夠記錄被監聽目錄中發生變化的（增，刪，改）具體某個文件或目錄的名字；

 

     b、rsync在同步時，只同步發生變化的文件或目錄（每次發生變化的數據相對整個同步目錄數據來講很小，rsync在

 

遍歷查找對比文件時，速度很快），所以效率很高。

 

總結： 

       1）、當同步的目錄數據量不大時，建議使用rsync+inotify 

 

       2）、當同步的目錄數據量很大時（幾百G甚至1T以上）文件不少時，建議使用sersync+rsync

 

3、sersync+rsync架構圖

wKiom1jocE3xWzbtAAD_-sJijpU267.png-wh_50

 

原理步驟：

1）在同步服務器（Master）上開啓sersync服務，sersync負責監控配置路徑中的文件系統事件變化（增刪改）；

 

2）調用rsync命令把更新的文件同步到目標服務器（S1 和 S2）；

 

3）須要在主服務器配置sersync，在同步目標服務器配置rsync 。

 

       經過rsync的守護進程服務後能夠發現，實際上sersync就是監控本地的數據寫入或更新事件；而後，在調用rsync客

 

戶端的命令，將寫入或更新事件對應的文件經過rsync推送到目標服務器（S1 和S2）上相應的目錄文件中。

4、Sersync介紹

 

        sersync主要用於服務器同步，web鏡像等功能。基於boost1.43.0,inotify api,rsync command.開發。目前使

 

用的比較多的同步解決方案是inotify-tools+rsync ，另一個是google開源項目Openduckbill（依賴於inotify- 

 

tools），這兩個都是基於腳本語言編寫的。相比較上面兩個項目，本項目優勢是：

 

        1）sersync是使用c++編寫，並且對linux系統文件系統產生的臨時文件和重複的文件操做進行過濾，因此在

 

結合rsync同步的時候，節省了運行時耗和網絡資源。所以更快。

 

        2）相比較上面兩個項目，sersync配置起來很簡單，其中bin目錄下已經有基本上靜態編譯的2進制文件，配

 

合bin目錄下的xml配置文件直接使用便可。

 

        3）另外本項目相比較其餘腳本開源項目，使用多線程進行同步，尤爲在同步較大文件時，可以保證多個服

 

務器實時保持同步狀態。

 

    4）本項目有出錯處理機制，經過失敗隊列對出錯的文件從新同步，若是仍舊失敗，則每10個小時對同步失

 

敗的文件從新同步。

 

     5）本項目自帶crontab功能，只需在xml配置文件中開啓，便可按您的要求，隔一段時間總體同步一次。

 

無需再額外配置crontab功能。

 

        6）本項目socket與http插件擴展，知足您二次開發的須要。

 

 

5、Sersync安裝配置

 

5.1安裝環境準備

 

 

角色 系統環境 IP 名稱
sersync服務器 CentOS 7.3 x86_64 192.168.10.20 Master主服務器
rsync服務器 CentOS 7.3 x86_64 192.168.10.150 S1目標服務器
rsync服務器 CentOS 7.3 x86_64 192.168.10.151 S2目標服務器

 

5.2 配置rsync目標服務器

 

1. 關閉SELINUX

 [root@S1 ~]# vi /etc/selinux/config               #編輯防火牆配置文件

 

 

# This file controls the state of SELinux on the system.

# SELINUX= can take one of these three values:

#     enforcing - SELinux security policy is enforced.

#     permissive - SELinux prints warnings instead of enforcing.

#     disabled - No SELinux policy is loaded.

SELINUX=disabled                         #編輯 SELINUX=disabled，重啓後成功     

# SELINUXTYPE= can take one of three two values:

#     targeted - Targeted processes are protected,

#     minimum - Modification of targeted policy. Only selected processes are protected. 

#     mls - Multi Level Security protection.

SELINUXTYPE=targeted 

[root@S1 ~]# setenforce 0                   #當即生效

 

2. 關閉防火牆IPTABLES

 

 

[root@S1 ~]#  iptables -F

 

[root@S1 ~]#  iptables -L

Chain INPUT (policy ACCEPT)

target     prot opt source               destination         

 

Chain FORWARD (policy ACCEPT)

target     prot opt source               destination         

 

Chain OUTPUT (policy ACCEPT)

target     prot opt source               destination 

 

3. 部署rsync服務

 

肯定S1和S2目標服務器版本是最新的，配置以下：

[root@S1 ~]#  yum install rsync -y

 

[root@S1 ~]#  vim /etc/rsyncd.conf

# Rsync configuration:

uid = root                             #設置rsync運行權限爲root

gid = root                             #設置rsync運行權限爲root

use chroot = no                        # 安全相關，默認爲true，修改成no，增長對目錄文件軟鏈接的備份

port = 873                             # 指定rsync服務的默認端口號

max connections = 2000                 # 併發鏈接數

timeout = 200                          # 超時時間（秒）

log file = /var/run/rsyncd.log         # 指定日誌文件位置，啓動rsync後自動產生這個文件，無需提早建立

pid file = /var/run/rsyncd.pid         # 指定rsync的pid目錄

lock file = /var/run/rsyncd.lock       # 指定rsync的鎖文件【重要】,支持max connections參數的鎖文件

log format = %t %a %m %f %b

#################################################

[rsync]                                # 模塊

path = /opt/rsync/                     #rsync服務端數據目錄路徑

commemt = rsync

list = yes

read only = no

#read only = no                        # no客戶端可上傳文件,yes只讀

#write only = no                       # no客戶端可下載文件,yes不能下載

auth users = test                      #執行數據同步的用戶名，能夠設置多個，用英文狀態下逗號隔開

secrets file = /etc/rsyncd.secret      #用戶認證配置文件，裏面保存用戶名稱和密碼，後面會建立這個文件

ignore errors = yes

hosts allow = 192.168.10.20            #容許進行數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開

hosts deny = 192.168.10.254            #禁止數據同步的客戶端IP地址，能夠設置多個，用英文狀態下逗號隔開

特別提示： S1，S2的機器同時部署上述服務；上面rsync服務的配置文件，表面容許sersync主服務器（ip：192.168.10.20）訪問rsync同步模塊名爲[rsync]，將同步過來的文件放入對應的path指定的目錄/opt/rsync/下面； 若是有多臺目標服務器，則每一臺都須要進行相似的rsync服務配置，上面的uid、gid要換成您服務器的相應的同步用戶；注意，rsync服務帳戶（本文用的是root）要有對被同步目錄（/data/）的寫入更新權限。

 

4. 建立rsync同步密碼文件，並設置權限爲600

[root@S1 ~]# echo "test:test123" >  /etc/rsyncd.secret

 

[root@S1 ~]# chmod 600  /etc/rsyncd.secret  

 

[root@S1 ~]# ll /etc/rsync.password    

 

 

-rw-------. 1 root root 13 4月   8 10:14 /etc/rsyncd.secret

 

[root@Master ~]#  cat  /etc/rsyncd.secret

 

test:test123

 

5. 啓動rsync守護進程，並寫入開機自啓動

[root@S1 ~]# rsync --daemon

 

[root@S1 ~]#  ps -ef | grep rsync

 

root      5735     1  0 14:45 ?        00:00:00 rsync --daemon

root      5737  5216  0 14:45 pts/3    00:00:00 grep --color=auto rsync

[root@S1 ~]# netstat -nulpt| grep rsync

 

tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      5588/rsync          

tcp6       0      0 :::873                  :::*                    LISTEN      5588/rsync

 

設置開機自啓動【寫入到/etc/rc.local裏面】

[root@S1 ~]# vim /etc/rc.local

 

# rsync server progress

 

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

 

6. 建立相關待同步的目錄/opt/rsync/

[root@S1 ~]#  mkdir -p /opt/rsync/

 

[root@S1 ~]#  tree /opt

 

提示： 此步驟在S1，S2都要執行，不然rsync服務會由於沒有PATH路徑而沒法啓動。

 

5.3 配置sersync主服務器

 

1. 關閉SELINUX，關閉防火牆IPTABLES

2. 安裝rsync服務器並配置rsync客戶端相關權限認證

[root@Master ~]#  yum install rsync -y

[root@Master ~]# echo "test123" >  /etc/rsyncd.secret

 

[root@Master ~]# chmod 600  /etc/rsyncd.secret  

 

 

-rw-------. 1 root root 13 4月   8 10:14 /etc/rsyncd.secret

[root@Master ~]# ll /etc/rsyncd.secret 

 

test123

 

注意：Master主服務器的密碼文件能夠和目標服務器的密碼文件名稱不同，可是在xml文件中指定的密碼文件必須是

Master主服務器的密碼文件。

 

3. Master主服務器上手工測試rsync同步狀況

特別提示：此步很是關鍵，若是測試不成功，後面的sersync配好了也不會同步數據。

1）在Master上建立待同步數據目錄/opt/tongbu/及數據

[root@Master ~]#  mkdir -p /opt/tongbu/

 

[root@Master ~]#  touch  /opt/tongbu/test{1,2,3}{a,b,c}

 

[root@Master ~]#  ls  /opt/tongbu/

 

test1a  test1b  test1c  test2a  test2b  test2c  test3a  test3b  test3c

 

2）在Master上執行同步命令

[root@Master ~]#  rsync -avzP /opt/tongbu/ test@192.168.10.150::rsync --password-file=/etc/rsyncd.secret

 

[root@Master ~]#  rsync -avzP /opt/tongbu/ test@192.168.10.151::rsync --password-file=/etc/rsyncd.secret

 

提示：在後面進行部署sersync以前，sersync主服務器上必需要確保手工能夠把文件推送到S1，S2上，這樣後續sersync才能調用這些命令來自動推送。

 

3）在Master上執行推送命令後，在S1，S2上查看同步目錄/opt/rsync/中的內容，若是內容同步完成，進行sersync的配置；未完成，檢查rsync配置及認證用戶密碼信息。

 

4. Mster上開始部署sersync服務

1）下載sersync

[root@Master ~]#  wget -c https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

 

[root@Master ~]# tar -zxf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/

 

[root@Master ~]# mv GNU-Linux-x86 /usr/local/sersync

 

2) 配置sersync

[root@Master local]# cp sersync/confxml.xml   sersync/confxml.xml.$(date +%F)

[root@Master local]# ll sersync/confxml.xml

 

-rwxr-xr-x. 1 root root    2215 Apr  8 19:07 confxml.xml

 

[root@Master local]#  ll sersync/confxml.xml*

 

-rwxr-xr-x. 1 root root    2215 Apr  8 19:07 confxml.xml

-rwxr-xr-x. 1 root root    2215 Apr  8 23:19 confxml.xml.2017-04-08

 

3)修改配置文件confxml.xml

修改塗色部分

[root@Master local]#  vim  sersync/confxml.xml

 

 

<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

    <host hostip="localhost" port="8008"></host>

    <debug start="false"/>

    <fileSystem xfs="false"/>

    <filter start="false">

<exclude expression="(.*)\.svn"></exclude>

<exclude expression="(.*)\.gz"></exclude>

<exclude expression="^info/*"></exclude>

<exclude expression="^static/*"></exclude>

    </filter>

    <inotify>

<delete start="true"/>

<createFolder start="true"/>

<createFile start="true"/>

<closeWrite start="true"/>

<moveFrom start="true"/>

<moveTo start="true"/>

<attrib start="true"/>

<modify start="true"/>

    </inotify>

 

    <sersync>

<localpath watch="/opt/tongbu">

   <remote ip="192.168.10.150" name="rsync"/>

   <!--<remote ip="192.168.8.39" name="tongbu"/>-->

   <!--<remote ip="192.168.8.40" name="tongbu"/>-->

</localpath>

<rsync>

   <commonParams params="-artuz"/>

   <auth start="true" users="test" passwordfile="/etc/rsyncd.secret"/>

   <userDefinedPort start="true" port="873"/><!-- port=874 -->

            <timeout start="true" time="300"/><!-- timeout=100 -->

   <ssh start="false"/>

</rsync>

<failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

<crontab start="false" schedule="600"><!--600mins-->

   <crontabfilter start="false">

<exclude expression="*.php"></exclude>

<exclude expression="info/*"></exclude>

   </crontabfilter>

</crontab>

<plugin start="false" name="command"/>

    </sersync>

 

    <plugin name="command">

<param prefix="/bin/sh" suffix="" ignoreError="true"/><!--prefix /opt/tongbu/mmm.sh suffix-->

<filter start="false">

   <include expression="(.*)\.php"/>

   <include expression="(.*)\.sh"/>

</filter>

    </plugin>

 

    <plugin name="socket">

<localpath watch="/opt/tongbu">

   <deshost ip="192.168.138.20" port="8009"/>

</localpath>

    </plugin>

    <plugin name="refreshCDN">

<localpath watch="/data0/htdocs/cms.xoyo.com/site/">

   <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

   <sendurl base="http://pic.xoyo.com/cms"/>

   <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

</localpath>

    </plugin>

</head>

 

5. 開啓sersync守護進程同步數據，啓動命令

[root@Master ~]# /usr/local/sersync/sersync2  -d -r -o /usr/local/sersync/confxml.xml

 

配置sersync環境變量

 

[root@Master ~]# echo"PATH=$PATH:/usr/local/sersync/">>/etc/profile

 

[root@Master ~]# source /etc/profile

 

[root@Master ~]# sersync2 -d -r -o /usr/local/sersync/confxml.xml

 

啓動命令後返回結果以下爲正常：

 

 

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -r rsync all the local files to the remote servers before the sersync work

option: -d run as a daemon

daemon thread num: 10

parse xml config file

host ip : localhosthost port: 8008

will ignore the inotify createFile event 

daemon start，sersync run behind the console 

use rsync password-file :

user istest

passwordfile is /etc/rsyncd.secret

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 

Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /opt/tongbu && rsync -artuz -R --delete ./  --port=873  --timeout=300 test@192.168.10.150::rsync --password-file=/etc/rsyncd.secret >/dev/null 2>&1 

run the sersync: 

watch path is: /opt/tongbu
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程