inotify和rsync實現實時同步

inotify和rsync實現實時同步

inotify 相關解釋

• 查看服務器內核是否支持inotify
  • grep -i inotify /boot/config-3.10.0-1062.el7.x86_64
• inotify內核參數
  • cat /proc/sys/fs/inotify/max_queued_events  //inotify事件隊列最大長度默認爲 16384
  • cat /proc/sys/fs/inotify/max_user_watches  //能夠監視的文件數量 默認爲8192
  • cat /proc/sys/fs/inotify/max_user_instances  //每一個用戶建立 inotify 實例最大值 默認爲 128
• 安裝：基於epel源
  • yum install inotify-tools
• inotify-tools包主要文件：
  • inotifywait： 在被監控的文件或目錄上等待特定文件系統事件（open closedelete等）發生，經常使用於實時同步的目錄監控
  • inotifywatch：收集被監控的文件系統使用的統計數據，指文件系統事件發生的次數統計
• inotifywait 命令常見選項
  • -m，--monitor 始終保持事件監聽
  • -d，--daemon 以守護進程方式執行，和-m類似，配合-o使用
  • -r，--recursive 遞歸監控目錄數據信息變化
  • -q，--quiet 輸出少許事件信息
  • --exclude 指定排除文件或目錄，使用擴展的正則表達式匹配的模式實現
  • --excludei 和exclude類似，不區分大小寫
  • -o，--outfile 打印事件到文件中，至關於標準正確輸出
  • -s，--syslogOutput 發送錯誤到syslog至關於標準錯誤輸出
  • --timefmt 指定時間輸出格式
  • --format 指定的輸出格式，即實際監控輸出內容
  • -e 指定監聽指定的事件，若是省略，表示全部事件都進行監聽
• --timefmt 時間格式，參考 man 3 strftime
  • %Y 年份信息，包含世紀信息
  • %y 年份信息，不包括世紀信息
  • %m 顯示月份，範圍 01 - 12
  • %d 每個月的第幾天，範圍是01 - 31
  • %H 小時信息，使用 24 小時制，範圍 00 - 23
  • %M 分鐘，範圍 00 - 59
• --format 格式定義
  • %T 輸出時間格式中定義的時間格式信息，經過 --timefmt option 語法格式指定時間信息
  • %w 事件出現時，監控文件或目錄的名稱信息
  • %f 事件出現時，將顯示監控目錄下觸發事件的文件或目錄信息，不然爲空
  • %e 顯示發生的事件信息，不一樣的事件默認用逗號分隔
  • %Xe 顯示發生的事件信息，不一樣的事件指定用X進行分隔
• -e 選項指定的事件類型
  • create 文件或目錄建立
  • delete 文件或目錄被刪除
  • modify 文件或目錄內容被寫入
  • attrib 文件或目錄屬性改變
  • close_write 文件或目錄關閉，在寫入模式打開以後關閉的
  • close_nowrite  文件或目錄關閉，在只讀模式打開以後關閉的
  •  close  文件或目錄關閉，無論讀或是寫模式
  •  open  文件或目錄被打開
  •  moved_to 文件或目錄被移動到監控的目錄中
  •  moved_from  文件或目錄從監控的目錄中被移動
  •  move  文件或目錄無論移動到或是移出監控目錄都觸發事件
  •  access  文件或目錄內容被讀取
  •  delete_self 文件或目錄被刪除，目錄自己被刪除
  •  unmount 取消掛載
• 持續後臺監控特定事件
  • inotifywait -mrq /data --timefmt 「%F %H:%M」 --format 「%T %w%f event: %;e」 -e create,delete,moved_to,close_write,attrib

rsync 相關解釋

• 配置 文件 /etc/rsyncd.conf
  • vi /etc/rsyncd.conf
    uid = root
    gid = root
    use chroot = no
    max connections = 0
    ignore errors
    exclude = lost+found/
    log file = /var/log/rsyncd.log
    pid file = /var/run/rsyncd.pid
    lock file = /var/run/rsyncd.lock
    reverse lookup = no
    hosts allow = 192.168.8.0/24
    [backup]
    path = /backup/
    comment = backup
    read only = no
    auth users = rsyncuser
    secrets file = /etc/rsync.pass
•  服務器端生成驗證文件
  • echo "rsyncuser:XXXXXX" > /etc/rsync.pass
    chmod 600 /etc/rsync.pass
•  服務器端準備目錄
  • mkdir /backup
•  服務器端啓動rsync服務
  • rsync --daemon 可加入/etc/rc.d/rc.local實現開機啓動
    systemctl start rsyncd CentOS 7
•  客戶端配置密碼文件
  • echo "XXXXXX" > /etc/rsync.pass
    chmod 600 /etc/rsync.pass
•  客戶端測試同步數據
  • rsync -avz --password-file=/etc/rsync.pass /data/ rsyncuser@rsync服務器IP::backup

inotify和rsync實現實時同步

• 客戶端建立inotify_rsync.sh腳本
  • #!/bin/bash
    SRC='/data/'
    DEST='rsyncuser@rsync服務器IP::backup'
    inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -
    e create,delete,moved_to,close_write,attrib ${SRC} |while read DATE
    TIME DIR FILE;do
    FILEPATH=${DIR}${FILE}
    rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST &&
    echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync"
    >> /var/log/changelist.log
    done

直觀圖