Rsync + Sersync 實現數據增量同步

時間 2019-11-17

標籤 rsync sersync 實現數據增量同步欄目 Linux 简体版

原文原文鏈接

部分引用自：https://blog.csdn.net/tmchongye/article/details/68956808php

1、什麼是Rsync？html

　　Rsync（Remote Synchronize）是一款開源的、快速的、多功能的、能夠實現全量及增量的本地或遠程數據同步備份的優秀工具，而且支持多種操做系統平臺運行。正則表達式

　　官網文檔：https://rsync.samba.org/ftp/rsync/rsync.html算法

2、Rsync簡介shell

　　一、Rsync具備本地與遠程兩臺主機之間的數據快速複製同步鏡像、遠程備份等功能，該功能相似scp，可是優於scp功能，還具備本地不一樣分區目錄之間全量及增量複製數據。express

　　二、Rsync同步數據鏡像時，經過「quick check」算法，僅同步大小或最後修改時間發生變化的文件或目錄，固然也能夠根據權限，屬主等屬性變化的同步，因此能夠實現快速同步。vim

　　三、rsync 具備以下的基本特性：api

　　　　a、能夠鏡像保存整個目錄樹和文件系統app

　　　　b、能夠很容易作到保持原來文件的權限、時間、軟硬連接等dom

　　　　c、無須特殊權限便可安裝

　　　　d、優化的流程，文件傳輸效率高

　　　　e、可使用 rsh、ssh 方式來傳輸文件，固然也能夠經過直接的 socket 鏈接

　　　　f、支持匿名傳輸，以方便進行網站鏡象

3、Rsync命令格式

　　一、本地: rsync [OPTION...] SRC... [DEST]

　　二、經過shell遠程訪問:

　　　　拉取: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

　　　　推送: rsync [OPTION...] SRC... [USER@]HOST:DEST

　　三、經過rsync守護進程訪問:

　　　　拉取: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

　　　　　　rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

　　　　推送: rsync [OPTION...] SRC... [USER@]HOST::DEST

　　　　　　rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

4、什麼Sersync？

　　一、sersync是基於inotify開發的，相似於inotify-tools的工具，Sersync能夠記錄下被監聽目錄中發生變化的（包括增長、刪除、修改）具體某一個文件或者某一個目錄的名字，而後使用rsync同步的時候，只同步發生變化的文件或者目錄，所以效率更高。

　　二、主要應用場景爲數據體積大，而且文件不少。

　　三、網站：https://code.google.com（須要FQ）

5、測試環境

　　主機1：192.168.30.41　　操做系統：Centos7.5　　角色:sync server

　　主機2：192.168.30.42　　操做系統：Centos7.5　　角色:sync client，sersync 端

6、主機1編譯安裝Rsync

　　一、首先卸載本機rsync

　　　　yum remove -y rsync

　　二、下載軟件並上傳(需FQ)

　　　　wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz

　　三、解壓包並編譯

　　　　mkdir -p /application/rsync

　　　　tar -zxvf /application/rsync-3.1.3.tar.gz

　　　　cd /application/rsync-3.1.3

　　　　./configure --prefix=/application/sync

　　　　make && make install

　　　　rm -rf /application/rsync-3.1.3.tar.gz /application/rsync-3.1.3

　　四、配置環境變量和創建軟鏈接

　　　　vim /etc/profile.d/rsync.sh 添加　　

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/rsync/bin

　　　　ln -s /application/rsync/bin/rsync /usr/local/bin/

　　5.查看當前版本

　　　　 rsync --version

　　六、建立相應文件夾

　　　　mkdir -p /application/rsync/{conf,data,logs,passwd}

　　七、編輯相應配置文件

　　　　a、vim /application/rsync/conf/rsyncd.conf 添加以下內容

uid = rsync
gid = rsync
port = 873
use chroot = on
max connections = 200
timeout = 120
pid file = /application/rsync/logs/rsyncd.pid
lock file = /application/rsync/logs/rsyncd.lock
log file = /application/rsync/logs/rsyncd.log

[bakup]
ignore errors
path = /application/rsync/data
read only = false
list = false
#hosts allow = all
#host deny = 0.0.0.0/32
auth users = rsync_bakup
secrets file = /application/rsync/passwd/rsyncd.password

　　　　b、建立密碼文件

　　　　　　echo "rsync_bakup:123456" /application/rsync/passwd/rsyncd.password #密碼文件中格式爲帳號:密碼，帳號爲配置文件中對應模塊的auth users項中的帳號。

　　　　c、修改密碼文件權限

　　　　　　chmod 600 /application/rsync/passwd/rsyncd.password

　　　　d、修改數據目錄文件權限

　　　　　　chown rsync:rsync /application/rsync/data

　　八、啓動服務

　　　　/application/rsync/bin/rsync --daemon --config /application/rsync/conf/rsyncd.conf

　　　　查看服務是否啓動

7、主機2安裝rsync客戶端

　　一、yum install -y rsync便可

　　二、編輯密碼文件並給相應的權限

　　　　echo "123456" /etc/rsyncd.password　　#文件中寫入連接rsync server帳號rsync_bakup的密碼便可。

　　　　chmod 600 /etc/rsyncd.password

　　三、向服務端推送數據

　　　　touch test.txt #文件全部用戶須要有讀權限才能夠推送

　　　　rsync -avzP test.txt rsync_bakup@192.168.30.41::bakup --password-file=/etc/rsyncd.password

　　四、從服務端拉取數據

　　　　rsync -avzP rsync_bakup@192.168.30.41::bakup /tmp --password-file=/etc/rsyncd.password

8、主機2安裝Sersync

　　一、下載

　　　　wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

　　二、解壓並將對應文件拷貝至對應文件夾

　　　　mkdir -p /application/sersync/{bin,conf,logs}

　　　　tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

　　　　mv GNU-Linux-x86/sersync2 /application/sersync/bin

　　　　mv GNU-Linux-x86/confxml.xml /application/sersync/conf

　　三、配置環境變量

　　　　vim /etc/profile.d/sersync.sh

　　　　添加內容

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/sersync/bin

　　　　source /etc/profile.d/sersync.sh

　　四、備份配置文件而後修改

　　　　cp /application/sersync/conf/confxml.xml /application/sersync/conf/confxml.xmlbk

　　　　vim /application/sersync/conf/confxml.xml修改爲以下內容

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
   # 設置本地IP和端口
    <host hostip="localhost" port="8008"></host>
   # 開啓DUBUG模式     
    <debug start="false"/>
   # 開啓xfs文件系統    
    <fileSystem xfs="false"/>
   # 同步時忽略推送的文件(正則表達式),默認關閉    
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
  # 設置要監控的事件    
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="true"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="false"/>
    <modify start="false"/>
    </inotify>

    <sersync>
  # 本地監視目錄路徑    
    <localpath watch="/application/rsync/data">
  #定義同步Server ip和模塊    
        <remote ip="192.168.30.41" name="bakup"/>
    </localpath>
    <rsync>
  # rsync指令參數    
        <commonParams params="-artuz"/>
  # rsync同步認證        
        <auth start="true" users="rsync_bakup" passwordfile="/etc/rsyncd.password"/>
  # 設置rsync遠程服務端口，非默認端口須要打開自定義(若開啓rsync+ssh, 則這裏需定義SSH端口)        
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
  # 設置超時時間        
        <timeout start="false" time="100"/><!-- timeout=100 -->
  # 設置rsync+ssh加密傳輸模式,默認關閉，開啓需設置SSH加密證書        
        <ssh start="false"/>
    </rsync>
  # sersync傳輸失敗日誌腳本路徑，每隔60會從新執行該腳本，執行完畢會自動清空。    
    <failLog path="/application/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
  # 設置rsync定時傳輸，默認關閉    
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
  # 設置sersync傳輸後調用name指定的插件腳本，默認關閉    
    <plugin start="false" name="command"/>
    </sersync>

  # 插件腳本範例    
    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>    <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>
  
  # 插件腳本範例
    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin>
</head>