rsync+inotify實現實時同步、增量備份

主機A：被備份的源主機
主機B：備份的目的主機

• 在linux內核中，默認的inotify機制提供了三個調控參數

[root@fudanwuxi html]# uname -r
3.10.0-693.el7.x86_64
[root@fudanwuxi html]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Aug 25 09:32 max_queued_events  #監控事件隊列
-rw-r--r--. 1 root root 0 Aug 25 09:32 max_user_instances  #最多監控實例數
-rw-r--r--. 1 root root 0 Aug 25 09:32 max_user_watches  #每一個實例最多監控文件數

[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_queued_events 
16384
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_instances 
128
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_watches 
8192

• 當要監控的目錄、文件數量較多或者變化較頻繁時，要加大這三個參數的值，以下

[root@fudanwuxi html]# vim /etc/sysctl.conf                      
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 305564824
~

[root@fudanwuxi html]# sysctl -p
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 305564824

[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_queued_events  
32768
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_instances  
1024
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_watches
305564824

• 上傳inotify-tools-3.13.tar.gz並解壓

[root@fudanwuxi ~]# rz
rz waiting to receive.
Starting zmodem transfer.  Press Ctrl+C to cancel.
Transferring inotify-tools-3.13.tar.gz...
  100%     380 KB     380 KB/sec    00:00:01       0 Errors  

[root@fudanwuxi ~]# pwd
/root
[root@fudanwuxi ~]# ll | grep inotify
-rw-r--r--. 1 root root 389473 Aug 25 11:02 inotify-tools-3.13.tar.gz

[root@fudanwuxi ~]# tar -zxvf inotify-tools-3.13.tar.gz 
[root@fudanwuxi ~]# cd inotify-tools-3.13/
[root@fudanwuxi inotify-tools-3.13]# ll
total 1352
-rw-r--r--. 1 guest users 267482 Dec 30  2007 aclocal.m4
-rw-r--r--. 1 guest users     39 Dec 30  2007 AUTHORS
-rw-r--r--. 1 guest users  11301 Dec 30  2007 ChangeLog
-rwxr-xr-x. 1 guest users  45126 Dec 30  2007 config.guess
-rw-r--r--. 1 guest users   2025 Dec 30  2007 config.h.in
-rwxr-xr-x. 1 guest users  32931 Dec 30  2007 config.sub
-rwxr-xr-x. 1 guest users 690681 Dec 30  2007 configure
-rw-r--r--. 1 guest users   1829 Dec 30  2007 configure.ac
-rw-r--r--. 1 guest users  18002 Dec 30  2007 COPYING
-rwxr-xr-x. 1 guest users  15936 Dec 30  2007 depcomp
-rw-r--r--. 1 guest users   9498 Dec 30  2007 INSTALL
-rwxr-xr-x. 1 guest users   9233 Dec 30  2007 install-sh
drwxrwxrwx. 3 guest users     55 Dec 30  2007 libinotifytools
-rw-r--r--. 1 guest users 201510 Dec 30  2007 ltmain.sh
-rw-r--r--. 1 guest users    191 Dec 30  2007 Makefile.am
-rw-r--r--. 1 guest users  19389 Dec 30  2007 Makefile.in
drwxrwxrwx. 2 guest users     87 Dec 30  2007 man
-rwxr-xr-x. 1 guest users  11014 Dec 30  2007 missing
-rw-r--r--. 1 guest users     48 Dec 30  2007 NEWS
-rw-r--r--. 1 guest users    246 Dec 30  2007 README
drwxrwxrwx. 2 guest users    119 Dec 30  2007 src

• 安裝

[root@fudanwuxi inotify-tools-3.13]# ./configure
[root@fudanwuxi inotify-tools-3.13]# make -j 4
[root@fudanwuxi inotify-tools-3.13]# echo $?            
0
[root@fudanwuxi inotify-tools-3.13]# make install

• ssh驗證

[root@fudanwuxi ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:djfNU67i/01V6z7FvTTr0sIWDaMJEXxwjiLQUHXG8dM root@fudanwuxi
The key's randomart image is:
+---[RSA 2048]----+
|   o+...o*+.     |
|    ..  o+=..    |
|     . . .o+ E  o|
|      . ..  .= oo|
|        S o = Bo+|
|       . . + o.*=|
|            o =.*|
|           . *.*.|
|            o.=++|
+----[SHA256]-----+
[root@fudanwuxi ~]# 
[root@fudanwuxi ~]# ssh-copy-id root@192.168.10.178 
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
The authenticity of host '192.168.10.178 (192.168.10.178)' can't be established.
ECDSA key fingerprint is SHA256:plDF/rfSdZkeOwQLGhV7M9NlvcQR78+4n1zWFE/Kw8E.
ECDSA key fingerprint is MD5:c1:79:b6:7e:a3:bb:52:50:d4:47:59:46:8c:87:ad:ee.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.10.178's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@192.168.10.178'"
and check to make sure that only the key(s) you wanted were added.

此時ssh登陸主機B時候無需輸入密碼

• 腳本

  腳本思路：只要檢測到變更或事件時候，執行rsync上行同步操做便可

在主機A上編寫腳本並執行

[root@fudanwuxi ~]# vim superbackup.sh
#!/bin/bash
inotifywait -mrq -e create,move,delete,modify /var/www/html/ | while read a b c
do
        rsync -azP  --delete /var/www/html/ root@192.168.10.178:/web-back

done
~

[root@fudanwuxi ~]# ./superbackup.sh

• 測試，在主機A上被備份的目錄/var/www/html下修改文件

[root@fudanwuxi html]# vim superbackup.txt 
若是你看到這個文件，說明實時同步成功
!!!are you ok
~                                                   
[root@fudanwuxi html]# echo "再次新增文件，若是看到這個文件，說明OK" > superbackup1.txt

驗證，在主機B查看目的備份目錄/web-back/

[root@fudanwuxi002 ~]# ll /web-back/
總用量 24
-rw-r--r--. 1 root root 31 8月  24 23:35 1.txt
-rw-r--r--. 1 root root 31 8月  24 23:43 2.txt
-rw-r--r--. 1 root root 21 8月  24 23:09 ajie.txt
-rw-r--r--. 1 root root 14 8月  24 23:15 index.txt
-rw-r--r--. 1 root root 69 8月  25 13:24 superbackup.txt
-rw-r--r--. 1 root root 49 8月  24 22:36 testbackup.txt
[root@fudanwuxi002 ~]# 
[root@fudanwuxi002 ~]# ll /web-back/     
總用量 28
-rw-r--r--. 1 root root 31 8月  24 23:35 1.txt
-rw-r--r--. 1 root root 31 8月  24 23:43 2.txt
-rw-r--r--. 1 root root 21 8月  24 23:09 ajie.txt
-rw-r--r--. 1 root root 14 8月  24 23:15 index.txt
-rw-r--r--. 1 root root 57 8月  25 13:27 superbackup1.txt
-rw-r--r--. 1 root root 69 8月  25 13:24 superbackup.txt
-rw-r--r--. 1 root root 49 8月  24 22:36 testbackup.txt

[root@fudanwuxi002 ~]# cat /web-back/superbackup.txt  
若是你看到這個文件，說明實時同步成功
!!!are you ok
[root@fudanwuxi002 ~]# cat /web-back/superbackup1.txt 
再次新增文件，若是看到這個文件，說明OK
[root@fudanwuxi002 ~]#

• 優化腳本

將主機A下的/backup/super/V2目錄備份到主機B的/web-back目錄下

腳本以下

點我下載

在主機下的/backup/super/V2目錄先建立文件供測試用

[root@fudanwuxi ~]# mkdir -p /backup/super/V2
[root@fudanwuxi ~]# touch /backup/super/V2/index.php
[root@fudanwuxi ~]# touch /backup/super/V2/index.txt
[root@fudanwuxi ~]# touch /backup/super/V2/index.html

• 讓腳本開機後自動後臺執行

[root@fudanwuxi ~]# echo '/root/superbackupV2.sh &' >> /etc/rc.local 

[root@fudanwuxi ~]# cat !$ 
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local
/root/superbackupV2.sh &

[root@fudanwuxi ~]# chmod +x /etc/rc.d/rc.local

驗證

主機A重啓後修改/backup/super/V2/index.php

[root@fudanwuxi ~]# echo "這是重啓後修改，若是你看到這個文件，說明superbackupV2執行成功" > /backup/super/V2/index.php

在主機B查看備份目錄

[root@fudanwuxi002 ~]# ll /web-back/V2/
總用量 4
-rw-r--r--. 1 root root  0 8月  25 14:07 index.html
-rw-r--r--. 1 root root 86 8月  25 14:42 index.php
-rw-r--r--. 1 root root  0 8月  25 14:07 index.txt
[root@fudanwuxi002 ~]# cat /web-back/V2/index.php
這是重啓後修改，若是你看到這個文件，說明superbackupV2執行成功
[root@fudanwuxi002 ~]#

[root@fudanwuxi ~]# ps aux | grep inotify
root        976  0.0  0.0   6524   628 ?        S    14:49   0:00 inotifywait -mrq -e create,move,delete,modify,attrib /backup/super/V2

• rsycn經常使用參數

-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性，等於-rlptgoD
-p, --perms 保持文件權限
-P 等同於 --partial 保留那些因故沒有徹底傳輸的文件，以是加快隨後的再次傳輸
-q, --quiet 精簡輸出模式
-r, --recursive 對子目錄以遞歸模式處理
-t, --times 保持文件時間信息
-v, --verbose 詳細模式輸出
-z, --compress 對備份的文件在傳輸時進行壓縮處理
--delete 刪除那些DST中SRC沒有的文件

• inotifywait經常使用參數

-m, 持續監視變化
-r, 使用遞歸形式監視目錄
-q, 減小冗餘信息，只打印出須要的信息
-e, 指定要監視的事件列表

可監視的事件
事件  描述
access  訪問，讀取文件。
modify  修改，文件內容被修改。
attrib  屬性，文件元數據被修改。
move    移動，對文件進行移動操做。
create  建立，生成新文件
open    打開，對文件進行打開操做。
close   關閉，對文件進行關閉操做。
delete  刪除，文件被刪除。