linux集羣架構-sersync

1.什麼是實時同步
        監控一個目錄的變化, 當該目錄觸發事件(建立\刪除\修改)
        就執行動做, 這個動做能夠是 rsync同步 ,也能夠是其餘.
    
    2.爲何要實時同步
        1.能解決nfs單點故障問題.  (沒什麼意義)   glusterfs
        2.可以讓本地快速切換至雲端.   (隨時都須要留一個後手)

    3.實時同步的原理
        藉助一個通知接口, inotify.  inotify監控本地主機的事件(建立\刪除\修改),
        則通知執行動做  這個動做能夠是 rsync同步

    4.實時同步的場景
        1.能解決nfs單點故障問題
        2.可以讓本地快速切換至雲端
    
    5.實時同步工具選擇
        1.inotify+rsync實現    寫腳原本實現監控  放在後臺  screen  
       　 1.腳本 (不適合)
        　2.同步
        2.sersync實時同步       
        3.lsyncd

---

 

6.實時同步案例演示

規劃:
        web            10.0.0.7 172.16.1.7            httpd\php
        nfs            10.0.0.31 172.16.1.31        nfs-server  inotify rsync sersync
        backup        10.0.0.41 172.16.1.41        rsync-server  nfs-server

NFS服務端:

1.安裝nfs
    [root@nfs ~]# yum install nfs-utils -y

    2.配置
    [root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

    3.根據配置初始化環境
    [root@nfs ~]# groupadd -g 666 www
    [root@nfs ~]# useradd -u666 -g666 www
    [root@nfs ~]# mkdir /data
    [root@nfs ~]# chown -R www.www /data/

    4.從新啓動nfs服務
    [root@nfs ~]# systemctl restart nfs-server
    [root@nfs ~]# systemctl enable  nfs-server

---

 

---

 

WEB服務端操做:                    10.0.0.7  172.16.1.7
    1.安裝httpd php
    [root@web01 ~]# yum install httpd php -y

    2.配置httpd php
    
    3.啓動httpd
    [root@web01 ~]# systemctl start httpd
    
    4.模擬測試
    [root@web01 ~]# echo "Oldboy Edu.com" > /var/www/html/index.html    (能夠不測試)


WEB進行掛載,上傳代碼:
    [root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
    [root@web01 ~]# cd /var/www/html
    [root@web01 ~]# rz kaoshi.zip
    [root@web01 ~]# unzip kaoshi.zip

用戶經過前端的web頁面上傳視頻
    若是上傳出現錯誤:請檢查日誌
    [root@web01 html]# tail -f /var/log/httpd/error_log

---

 

2.當NFS的目錄發生變化,則觸發同步?  (實時同步)
    1.怎麼監控/data?  inotify
    2.同步給誰rsync  ---> backup服務器  [backup模塊] [data模塊]

---

 

1.rsync服務                                        10.0.0.41 172.16.1.41
    安裝rsync
    [root@backup ~]# yum install rsync -y
    
    配置rsync
    [root@backup ~]# cat /etc/rsyncd.conf
    uid = rsync
    gid = rsync
    port = 873
    fake super = yes
    use chroot = no
    max connections = 200
    timeout = 600
    ignore errors
    read only = false
    list = false
    auth users = rsync_backup
    secrets file = /etc/rsync.passwd
    log file = /var/log/rsyncd.log
    #####################################
    
    [backup]
    comment = welcome to oldboyedu backup!
    path = /backup

    [data]
    path = /data
    
    根據rsync配置初始化環境
    [root@backup ~]# useradd -M -s /sbin/nologin rsync
    [root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
    [root@backup ~]# chmod 600 /etc/rsync.passwd
    [root@backup ~]# mkdir /backup /data -p
    [root@backup ~]# chown -R rsync.rsync /backup/ /data/

    啓動rsync
    [root@backup ~]# systemctl restart rsyncd
    [root@backup ~]# systemctl enable rsyncd

---

 

2.nfs服務配置                               10.0.0.31 172.16.1.31
    1.安裝rsync inotify
    [root@nfs ~]# yum install rsync inotify-tools -y

    2.安裝sersync  ( rsync inotify )
    [root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
    [root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
    [root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
    [root@nfs ~]# file /usr/local/sersync/confxml.xml
    
    [root@nfs ~]# echo "123456" > /etc/rsync.pass
    [root@nfs ~]# chmod 600 /etc/rsync.pass
    
    3.啓動sersync
    [root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
    
    4.建議: 手動執行該命令測試是否ok,這樣方便排查問題
    [root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass

---

 

3.模擬NFS故障,   web能夠快速的切換到backup的NFS服務上?

    1.backup的權限是否和NFS的權限一致?
    2.backup上是否配置NFS服務?  是否共享了/data目錄?
    3.模擬NFS故障,實現切換?
-----------------------------------------------------------------    

1.backup的權限是否和NFS的權限一致?        10.0.0.41 172.16.1.41
    修改以下內容:
    [root@backup ~]# vim /etc/rsyncd.conf    
    uid = www
    gid = www
    .....

    建立用戶
    [root@backup ~]# groupadd -g 666 www
    [root@backup ~]# useradd -g666 -u666 www

    修改權限
    [root@backup ~]# chown -R www.www /data/ /backup/

    重啓服務
    [root@backup ~]# systemctl restart rsyncd


2.backup服務器上是否配置NFS服務?  是否共享了/data目錄?    
    
    安裝NFS
    [root@backup ~]# yum install nfs-utils -y
    
    配置NFS
    [root@backup ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    [root@backup ~]# chown -R www.www /data/
    
    啓動NFS
    [root@backup ~]# systemctl enable nfs-server
    [root@backup ~]# systemctl start nfs-server
    
    
3.模擬NFS故障,實現切換?
    [root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html



基於sersync海量文件實時同步

 

 

ps配置文件修改：

[root@nfs01 sersync]# vim confxml.xml  5     <fileSystem xfs="true"/>  <!-- 文件系統 -->  6     <filter start="false">  <!-- 排除不想同步的文件-->  7         <exclude expression="(.*)\.svn"></exclude>  8         <exclude expression="(.*)\.gz"></exclude>  9         <exclude expression="^info/*"></exclude> 10         <exclude expression="^static/*"></exclude> 11     </filter>  12     <inotify> <!-- 監控的事件類型 --> 13         <delete start="true"/> 14         <createFolder start="true"/> 15         <createFile start="true"/> 16         <closeWrite start="true"/> 17         <moveFrom start="true"/> 18         <moveTo start="true"/> 19         <attrib start="false"/> 20         <modify start="false"/> 21     </inotify>  23     <sersync> 24         <localpath watch="/data"> <!-- 監控的目錄 --> 25             <remote ip="172.16.1.41" name="data"/>  <!-- backup的IP以及模塊 --> 28         </localpath>  29         <rsync> <!-- rsync的選項 --> 30             <commonParams params="-az"/> 31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/> 32             <userDefinedPort start="false" port="874"/><!-- port=874 --> 33             <timeout start="true" time="100"/><!-- timeout=100 --> 34             <ssh start="false"/> 35         </rsync>            <!-- 每60分鐘執行一次同步-->  36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def    ault every 60mins execute once-->