期中架構-第四章-實時同步服務知識梳理

期中架構-第四章-實時同步服務知識梳理
======================================================================

01. 課程概念介紹
01.爲何要用實時同步服務
由於定時任務有缺陷，一分鐘之內的數據沒法進行同步，容易形成數據丟失

02.實時同步的工做原理
a 建立儲存數據的目錄
b 利用實時同步軟件監控咱們進行備份的數據目錄
c 利用rsync服務鏡像數據推送傳輸備份


02. 實時同步服務軟件部署
1）inotify+rsync實現實時同步備份

第一個里程：將inotify安裝成功 （裝在存儲服務器上）
rpm -qa inotify-tools

重要補充：
[root@nfs01 ~]# rpm -ql inotify-tools 查看軟件包
/usr/bin/inotifywait 實現數據目錄信息變化監控的命令（重點了解）
/usr/bin/inotifywatch 監控數據信息變化，對變化數據進行統計


[root@nfs01 ~]# cd /proc/sys/fs/inotify/
[root@nfs01 inotify]# ll
total 0
-rw-r--r-- 1 root root 0 May 12 11:10 max_queued_events
-rw-r--r-- 1 root root 0 May 12 11:10 max_user_instances
-rw-r--r-- 1 root root 0 May 12 11:10 max_user_watches
max_queued_events：設置inotifywatch或inotifywait命令能夠監控的文件數量（單進程）
默認最多監控8192個文件
max_user_instances：設置每一個用戶能夠運行的 inotifywatch或inotifywait命令的進程數
默認每一個用戶能夠開啓inotify服務的128個進程
max_user_watches ： 設置inotify實例事件（event）隊列可容納的事件數量
默認監控事件隊列長度爲16384

第二個里程：將rsync守護進程服務部署完成
rsync服務端部署
a 檢查rsync服務是否安裝
b 編寫rsync主配置文件
c 建立備份目錄管理用戶
d 建立備份目錄，並受權給管理用戶
e 建立認證文件，編寫認證用戶和密碼信息，並設置文件權限爲600
f 啓動rsync守護進程服務

rsync客戶端部署
a 檢查rsync服務是否安裝
b 建立認證文件，編寫認證用戶密碼信息便可，不須要用戶信息，設置文件權限爲600
c 利用客戶端進行數據同步測試


第三個里程：要讓inotify軟件和rsync軟件服務創建鏈接（經過shell腳本實現）
rsync軟件應用命令：
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password


inotify軟件應用命令：
inotifywait
-m 始終保持事件監聽狀態
-r 進行遞歸監控
-q 無用的輸出信息，不進行顯示
--timefmt 設定日期的格式
--format 命令執行過程當中。輸出的信息格式
-e 指定監控的事件信息
man inotifywait 查看全部參數說明和全部能夠監控的事件信息

-e參數主要用到的監控的事件信息：
create建立 delete刪除 move——to移入 close_write修改

inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" /data 相對完整的命令應用
inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" -e create /data 指定監控建立事件

inotifywait -mrq --format "%w%f" -e create,delete,moved_to,close_write /data
以上是實現實時同步過程，所須要的重要監控命令

編寫腳本：實現inotify與rsync軟件的結合
#!/bin/bash
####################
inotifywait -mrq --format "%w%f" -e create,delete,moved_to,close_write /data|\
while read line
do
rsync -az --delete /data/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password


shell循環語法總結：
for循環 for xx in 循環條件內容信息；do xxx；done
while循環 while 循環條件；do xx ； done 《--只要知足條件，就一直循環
while true；do xx ；done 《--死循環

運維工做中編寫自動化腳本規範：
1.先完成基本功能需求
2.優化完善腳本內容
3.協商一些註釋說明信息
4.進行反覆測試

第四個里程：進行最終測試
sh -x intofy.sh
#############################################################

sersync+rsync實現實時同步備份
第一個里程：下載安裝sersync軟件
先下載軟件，把軟件包傳到系統上
unzip sersync_installdir_64bit.zip
cd sersync_installdir_64bit
mv sersync /usr/local/
tree

第二個里程編寫sersync配置文件
[root@nfs01 local]# vim sersync/conf/confxml.xml

6 <filter start="false">
7 <exclude expression="(.*)\.svn"></exclude>
8 <exclude expression="(.*)\.gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
說明：實現同步數據過濾排除功能，默認是關閉的<filter start="false">

<inotify>
3 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="false"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>
說明：相似於inotify的-e參數，指定監控的事件信息


24 <localpath watch="/data">
25 <remote ip="172.16.1.41" name="backup"/>
26 <!--<remote ip="192.168.8.39" name="tongbu"/>-->
27 <!--<remote ip="192.168.8.40" name="tongbu"/>-->
28 </localpath>
29 <rsync>
30 <commonParams params="-az"/>
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
32 <userDefinedPort start="false" port="874"/><!-- port=874 -->
33 <timeout start="false" time="100"/><!-- timeout=100 -->
34 <ssh start="false"/>
說明：以上內容是數據同步推送的配置信息，相似於
rsync -az --delete /data/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
是必需要調整修改的

 

 

第三個里程：應用sersync軟件，實現實時同步
[root@nfs01 proc]# cd /usr/local/sersync/
[root@nfs01 sersync]# cd bin/
[root@nfs01 bin]# ll
total 1768
-rw-r--r-- 1 root root 1810128 Oct 26 2011 sersync
[root@nfs01 bin]# chmod +x sersync 《---文件默認沒有執行權限，因此給它加上x權限

sersync命令參數：
參數-d: 啓用守護進程模式
參數-r: 在監控前，將監控目錄與遠程主機用rsync命令推送一遍
參數-n: 指定開啓守護線程的數量，默認爲10個
參數-o: 指定配置文件，默認使用confxml.xml文件

/usr/local/sersync/bin/sersync -dro /usr/local/sersync/conf/confxml.xml 絕路路徑啓動服務