開源服務專題之-------rsync數據備份

 　　RSYNC是Remote Sync 遠程同步的簡稱，與SCP的比較，SCP= 沒法備份大量數據，相似windows的複製，而rsync=邊複製 ，邊統計，邊比較，能夠備份大量數據。能夠鏡像保存整個目錄樹和文件系統。能夠很容易作到保持原來文件的權限、時間、軟硬連接等等。無須特殊權限便可安裝。快速：第一次同步時 rsync 會複製所有內容，但在下一次只傳輸修改過的文件。壓縮傳輸：rsync 在傳輸數據的過程當中能夠實行壓縮及解壓縮操做，所以可使用更少的帶寬。安全：可使用scp、ssh等方式來傳輸文件，固然也能夠經過直接的socket鏈接。支持匿名傳輸，以方便進行網站鏡象。選擇性保持：符號鏈接，硬連接，文件屬性，權限，時間等。考慮到scp也是像相似的遠程備份工具，爲了便於比較，本文從如下幾個方面來說述如何用rsync進程遠程備份。

• 1、scp遠程拷貝文件

• 2、acl權限控制

• 3、rsync數據備份

• 4、Rsync+Inotify 實時同步

 說明：客戶端（或稱本地服務器）：xiaolyu77  192.168.31.77 

　　　 服務器（或稱遠程服務器）：xiaolyu76　192.168.31.76

1、scp遠程拷貝文件

　　scp是secure copy的簡寫，用於在Linux下進行遠程拷貝文件的命令，和它相似的命令有cp，不過cp只是在本機進行拷貝不能跨服務器，並且scp傳輸是加密的。可能會稍微影響一下速度。當你服務器硬盤變爲只讀 read only system時，用scp能夠幫你把文件移出來。另外，scp還很是不佔資源，不會提升多少系統負荷，在這一點上，rsync就遠遠不及它了。雖然 rsync比scp會快一點，但當小文件衆多的狀況下，rsync會致使硬盤I/O很是高，而scp基本不影響系統正常使用。

1. scp的用法：

　　能夠man scp看一下：

 

 

scp的參數仍是蠻多的，這裏之因此不厭其煩的截圖列出來，是想表達一種觀點，任何新東西的學習其實都是有章可循的，那就是藉助所給出的已知信息，好比man 一個命令，好比查看readme文件。這裏簡單翻譯以下：

命令格式：scp [參數] [原路徑] [目標路徑]

命令參數：

　　　　-1  強制scp命令使用協議ssh1  

　　　　-2  強制scp命令使用協議ssh2

　　　　-4  強制scp命令只使用IPv4尋址

　　　　-6  強制scp命令只使用IPv6尋址

　　　　-B  使用批處理模式（傳輸過程當中不詢問傳輸口令或短語）

　　　　-C  容許壓縮。（將-C標誌傳遞給ssh，從而打開壓縮功能） 

　　　　-p 保留原文件的修改時間，訪問時間和訪問權限。  

　　　　-q  不顯示傳輸進度條。

　　　　-r  遞歸複製整個目錄。

　　　　-v 詳細方式顯示輸出。scp和ssh(1)會顯示出整個過程的調試信息。這些信息用於調試鏈接，驗證和配置問題。

　　　　-c cipher  以cipher將數據傳輸進行加密，這個選項將直接傳遞給ssh。   

　　　　-F ssh_config  指定一個替代的ssh配置文件，此參數直接傳遞給ssh。

　　　　-i identity_file  從指定文件中讀取傳輸時使用的密鑰文件，此參數直接傳遞給ssh。

　　　　-l limit  限定用戶所能使用的帶寬，以Kbit/s爲單位。   

　　　　-o ssh_option  若是習慣於使用ssh_config(5)中的參數傳遞方式， 

　　　　-P port  注意是大寫的P, port是指定數據傳輸用到的端口號   

　　　　-S program  指定加密傳輸時所使用的程序。此程序必須可以理解ssh(1)的選項。

2.用法及實例：

1. 從本地服務器複製到遠程服務器：

　（1）複製文件:

　　　　   scp local_file remote_username@remote_ip:remote_folder   # 指定了ssh遠程服務的用戶名，scp複製時，須要輸入密碼。

　　　　   scp local_file remote_username@remote_ip:remote_file       # 指定了ssh遠程服務的用戶名，scp複製時，須要輸入密碼。

     說明：我看有人提出了，在這個地方能夠不用寫ssh遠程登陸的用戶名（即scp local_file  remote_ip:remote_file），在命令執行時，會提示輸入用戶名和密碼，本人親身屢次，不能夠的，故該方法沒有列出來。通常ssh登陸默認是root用戶，不寫就表明是root用戶。

   （2）複製目錄：

　　　　   scp -r local_folder remote_username@remote_ip:remote_folder  #指定了ssh遠程服務的用戶名，命令執行後須要輸入用戶密碼；

 

2. 從遠程服務器複製到本地服務器： 

 

　　從遠程複製到本地的scp命令與上面的命令雷同，只要將從本地複製到遠程的命令後面2個參數互換順序就好了。　

 

說明一下：由於我前面已經對root用戶作了免祕鑰登陸了，因此就不用root用戶作實驗了，用普通用戶。

實戰1：上傳本地文件到遠程服務器指定目錄下，若是用的是相對路徑，默認在登陸ssh服務器用戶的根目錄下。

#ssh本地客戶端：

[root@xiaolyu77 ~]# cp /etc/passwd ./
[root@xiaolyu77 ~]# ls -ltr
total 48
-rw-r--r--. 1 root root 5890 Sep 16 08:58 install.log.syslog
-rw-r--r--. 1 root root 26271 Sep 16 09:00 install.log
-rw-------. 1 root root 1243 Sep 16 09:00 anaconda-ks.cfg
-rw-r--r-- 1 root root 1058 Sep 20 02:42 passwd
[root@xiaolyu77 ~]# scp passwd xiao@xiaolyu76:pass
xiao@xiaolyu76's password:
passwd 100% 1058 1.0KB/s 00:00

#ssh遠端服務器：

[root@xiaolyu76 ~]# cd /home/xiao   #客戶端登陸ssh用的是該用戶，相對目錄，默認就是在此目錄下。
[root@xiaolyu76 xiao]# mkdir pass
[root@xiaolyu76 xiao]# ls -l pass
total 0
[root@xiaolyu76 xiao]# ls -l
total 4
drwxr-xr-x 2 root root 4096 Sep 20 02:54 pass
[root@xiaolyu76 xiao]# chmod 777 pass   #這個地方必定要注意，由於用的不是root用戶，因此要給scp命令中ssh服務器端文件夾以777的權限。
[root@xiaolyu76 xiao]# ls -l
total 4
drwxrwxrwx 2 root root 4096 Sep 20 02:55 pass
[root@xiaolyu76 xiao]# ls -l pass
total 4
-rw-r--r-- 1 xiao xiao 1058 Sep 20 02:55 passwd
[root@xiaolyu76 xiao]#

 

注意：在客戶端 執行 scp local_file remote_username@remote_ip:remote_folder 用的是普通用戶登陸ssh服務器，而不是root用戶，

而我在服務器端建立的remote_folder文件夾（目錄）用的是root用戶，因此要給scp命令中ssh服務器端文件夾remote_folder以777權限。

不然在客戶端執行scp命令時會報以下錯誤：

這是由於：對於文件夾（目錄）來講777權限表明了：

r（Read，讀取）：      對文件而言，具備讀取文件內容的權限；對目錄來講，具備瀏覽目錄的權限。

w（Write,寫入）：       對文件而言，具備新增、修改文件內容的權限；對目錄來講，具備刪除、移動目錄內文件的權限。

x（eXecute，執行）： 對文件而言，具備執行文件的權限；對目錄了來講該用戶具備進入目錄的權限。

實戰2：上傳本地文件到遠程服務器，不指定遠程服務器的存放目錄。默認在登陸ssh服務器用戶的根目錄下。

#ssh本地客戶機：

[root@xiaolyu77 ~]# scp passwd xiao@xiaolyu76:testscp
xiao@xiaolyu76's password: 
passwd 100% 1058 1.0KB/s 00:00 
[root@xiaolyu77 ~]#

#ssh遠端服務器：

[root@xiaolyu76 xiao]# ls -l
total 8
drwxrwxrwx 2 root root 4096 Sep 20 02:55 pass
-rw-r--r-- 1 xiao xiao 1058 Sep 20 03:19 testscp  #注意和客戶機比較文件大小。
[root@xiaolyu76 xiao]#

實戰3. 從遠程服務器下載文件夾到本地

[root@xiaolyu77 ~]# scp -r  xiao@xiaolyu76:/home/xiao/pass ./

總結：scp命令就是利用ssh登陸，來遠程複製文件。能夠從本地到遠程，也能夠從遠程到本地。當同一ip三次登陸失敗後，fail2ban同樣會禁止該ip登陸。就是說每執行一次scp命令，實際上就發起了一次ssh登陸。

 2、acl權限控制

 　　這裏爲何會談到acl權限控制呢？由於後面我作那個rsync數據備份時，須要針對單個用戶對單個目錄設置權限，這就須要用到acl權限控制。

　　 什麼是ACL 權限控制呢？ACL是Access Control List 的縮寫，主要目的是針對在傳統的三種身份和三種權限以外，提供更加細化的局部權限設定。官方手冊來說，它主要針對用戶、用戶組、以及掩碼方面控制權限。
       簡單去理解就是，ACL 能夠針對單個用戶、單個用戶組來進行權限細化的控制。主要目的是提供傳統的 owner,group,other 的 read,wirte,execute 權限以外的具體權限設置，能夠針對單一用戶或組來設置特定的權限。而在windows系統上，沒有這個ACL，ACL是類Unix（Unix-like）操做系統權限的額外支持項目，所以要使用ACL必需要有文件系統的支持才行。主要包括ReiserFS, EXT2/EXT3/ext4, JFS, XFS等文件系統。

 

1. 判斷當前文件系統是否支持acl。 

固然了，咱們能夠先man acl看一下，是否有相關的信息：

man acl 

也能夠經過文件系統來判斷：

 df -T -h

最好用以下兩個命令來判斷當前文件系統是否支持

dumpe2fs -h /dev/sda1 |grep acl
或者
tune2fs -l /dev/sda1 | grep options

 

2. ACL相關命令詳解：

ACL操做的命令主要有三個：getfacl 、setfacl 和chacl，可是經常使用的就getfacl 和 setfacl 。

(1) 查看 ACL 權限

語法：getfacl filename

(2) 設置 ACL 權限

語法：setfacl [-bkRd] [-m|-x acl 參數]  目標文件名
選項介紹：
-m:設置後續的 acl 參數，不可與-x 一塊兒使用
-x: 刪除後續的 acl 參數，不可與-m 一塊兒使用
-b:刪除全部的 acl 參數
-k:刪除默認的 acl 參數
-R:遞歸設置 acl 參數
-d:設置默認 acl 參數，只對目錄有效

　　先來看看在ACL裏面每個名詞的定義，這些名詞我大多從man page上摘下來雖然有些枯燥,可是對於理解下面的內容仍是頗有幫助的。

簡單翻譯以下：

　　ACL是由一系列的Access Entry所組成的，每一條Access Entry定義了特定的類別能夠對文件擁有的操做權限。Access Entry有三個組成部分：Entry tag type, qualifier (optional), permission。 咱們先來看一下最重要的Entry tag type，它有如下幾個類型：

　　ACL_USER_OBJ：至關於Linux裏file_owner的permission

　　ACL_USER：定義了額外的用戶能夠對此文件擁有的permission

　　ACL_GROUP_OBJ：至關於Linux裏group的permission

　　ACL_GROUP：定義了額外的組能夠對此文件擁有的permission

　　ACL_MASK：定義了ACL_USER, ACL_GROUP_OBJ和ACL_GROUP的最大權限 (這個我下面還會專門討論)

　　ACL_OTHER：至關於Linux裏other的permission

咱們來舉例說明一下，我就用getfacl命令來查看一個已經定義好的ACL文件。

前面三個以#開頭的定義了文件名，file owner和group。這些信息沒有太大的做用，接下來咱們能夠用--omit-header來省略掉。 

 

user::rw- 定義了ACL_USER_OBJ, 說明file owner擁有read and write permission

user:miao:rwx 定義了ACL_USER,這樣用戶miao就擁有了對文件的讀寫權限,實現了咱們一開始要達到的目的

group::--- 定義了ACL_GROUP_OBJ,說明文件的group對該文件沒有權限。

group:develop:r-- 定義了ACL_GROUP,使得develop組擁有了對文件的read and write permission

mask::rw- 定義了ACL_MASK的權限爲read  write and execute permission

other::--- 定義了ACL_OTHER，說明其它組的用戶對該文件沒有權限

 

從這裏咱們就能夠看出ACL提供了咱們能夠定義特定用戶和用戶組的功能，那麼接下來咱們就來看一下如何設置一個文件的ACL：
如何設置ACL文件

首先咱們仍是要講一下設置ACL文件的格式，從上面的例子中咱們能夠看到每個Access Entry都是由三個被：號分隔開的字段所組成，第一個就是Entry tag type。

user 對應了ACL_USER_OBJ和ACL_USER

group 對應了ACL_GROUP_OBJ和ACL_GROUP

mask 對應了ACL_MASK

other 對應了ACL_OTHER

 

第二個字段稱之爲qualifier，也就是上面例子中的miao和develop組，它定義了特定用戶和特定組對於文件的權限。這裏咱們也能夠發現只有user和group纔有qualifier，其餘的都爲空。第三個字段就是咱們熟悉的permission了。它和Linux的permission同樣定義，這裏就很少講了。

通俗一點就是說：ACL參數主要由三部分組成，結構以下：

四種身份:對應身份的名稱:三種權限。

[u|g|o|m]:[用戶名|組名]:[rwx] 

只有user和group才能夠有對應的名稱，其他的都爲空。

好了，下面進入實戰，在實戰中，講述如何設置文件和目錄的ACL權限。只要一個文件或目錄被設置了ACL權限，那麼它就被稱爲ACL文件。

3.實戰：

實戰1：針對某一個特定用戶，作一個ACL文件，並用getfacl命令來查看。

[root@xiaolyu77 tmp]# mkdir -m 700 ./acldir && ll -d ./acldir/ drwx------ 2 root root 4096 Sep 20 08:42 ./acldir/ [root@xiaolyu77 tmp]# su hello [hello@xiaolyu77 tmp]$ cd ./acldir/ bash: cd: ./acldir/: Permission denied　　#權限不夠，用戶hello對該目錄沒有x權限。 [hello@xiaolyu77 tmp]$ exit exit [root@xiaolyu77 tmp]# setfacl -m u:hello:x ./acldir/ #針對用戶hello設置目錄acldir權限爲x。 [root@xiaolyu77 tmp]# ll -d ./acldir/ drwx--x---+ 2 root root 4096 Sep 20 08:42 ./acldir/　
#經過setacl設置權限後，會在權限末尾添加一個"+"，同時文件本來權限也將發生變化。 [root@xiaolyu77 tmp]# getfacl ./acldir/　　#經過getacl查看原始目錄的權限。 # file: acldir/ # owner: root # group: root user::rwx user:hello:--x #hello用戶對此目錄有x權限。 group::---  mask::--x other::---   #只有hello用戶對此目錄有x權限，其它用戶仍是沒有權限。 [root@xiaolyu77 tmp]# su hello [hello@xiaolyu77 tmp]$ cd ./acldir/  #hello用戶對此目錄有x權限，能夠進入此目錄。 [hello@xiaolyu77 acldir]$ 

在文件permission的最後多了一個+號，當任何一個文件擁有了ACL_USER或者ACL_GROUP的值之後咱們就能夠稱它爲ACL文件，這個+號就是用來提示咱們的。咱們還能夠發現當一個文件擁有了ACL_USER或者ACL_GROUP的值時ACL_MASK同時也會被定義。

實戰2：針對某一個特定組，作一個ACL文件，並用getfacl 查看。

 

[root@xiaolyu77 tmp]# setfacl -m g:miao:rx ./acldir/ #針對miao組用戶，設置目錄acldir的rx權限 [root@xiaolyu77 tmp]# ll -d ./acldir/ drwxr-x---+ 2 root root 4096 Sep 20 08:42 ./acldir/ [root@xiaolyu77 tmp]# getfacl ./acldir/ # file: acldir/ # owner: root # group: root user::rwx user:hello:--x group::--- group:miao:r-x　　　#miao組中的用戶對該目錄具備rx權限。 mask::r-x other::--- [root@xiaolyu77 tmp]# su miao #miao用戶屬於miao組。 [miao@xiaolyu77 tmp]$ cd ./acldir/  #miao組用戶對acldir目錄具備rx權限。 [miao@xiaolyu77 acldir]$ id miao uid=501(miao) gid=501(miao) groups=501(miao) [miao@xiaolyu77 acldir]$ 

 

實戰3：爲文件 aclfile 增長 acl 權限，使 miao 組的全部用戶都能讀寫執行該文件

[root@xiaolyu77 tmp]# touch aclfile.sh [root@xiaolyu77 tmp]# chmod 700 aclfile.sh [root@xiaolyu77 tmp]# ll aclfile.sh
-rwx------ 1 root root 0 Sep 20 09:39 aclfile.sh [root@xiaolyu77 tmp]# echo "date" >> ./aclfile.sh [root@xiaolyu77 tmp]# cat ./aclfile.sh
date [root@xiaolyu77 tmp]# ./aclfile.sh Tue Sep 20 09:40:54 CST 2016 [root@xiaolyu77 tmp]# su miao [miao@xiaolyu77 tmp]$ echo "echo $HOME" >> ./aclfile.sh bash: ./aclfile.sh: Permission denied [miao@xiaolyu77 tmp]$ cat ./aclfile.sh
cat: ./aclfile.sh: Permission denied [miao@xiaolyu77 tmp]$ ./aclfile.sh bash: ./aclfile.sh: Permission denied [miao@xiaolyu77 tmp]$ exit exit [root@xiaolyu77 tmp]# setfacl -m g:miao:rwx ./aclfile.sh [root@xiaolyu77 tmp]# ll ./aclfile.sh
-rwxrwx---+ 1 root root 5 Sep 20 09:40 ./aclfile.sh [root@xiaolyu77 tmp]# getfacl ./aclfile.sh # file: aclfile.sh # owner: root # group: root user::rwx group::--- group:miao:rwx mask::rwx other::--- [root@xiaolyu77 tmp]# su miao [miao@xiaolyu77 tmp]$ cat ./aclfile.sh
date [miao@xiaolyu77 tmp]$ echo "echo $PWD" >> ./aclfile.sh [miao@xiaolyu77 tmp]$ ./aclfile.sh Tue Sep 20 09:43:18 CST 2016
/tmp [miao@xiaolyu77 tmp]$ 

實戰4：刪除文件aclfile 上，關於 miao 組的 acl 權限

[root@xiaolyu77 tmp]# setfacl -x g:miao ./aclfile.sh [root@xiaolyu77 tmp]# ll aclfile.sh
-rwx------+ 1 root root 15 Sep 20 09:43 aclfile.sh [root@xiaolyu77 tmp]# getfacl ./aclfile.sh # file: aclfile.sh # owner: root # group: root user::rwx group::--- mask::--- other::--- [root@xiaolyu77 tmp]# 

 

實戰5：刪除目錄 acldir 的全部 ACL 權限

[root@xiaolyu77 tmp]# setfacl -b ./acldir [root@xiaolyu77 tmp]# ll -d ./acldir drwx------ 2 root root 4096 Sep 20 08:42 ./acldir [root@xiaolyu77 tmp]# getfacl ./acldir # file: acldir # owner: root # group: root user::rwx group::--- other::--- [root@xiaolyu77 tmp]# 

4.重點：ACL_MASK和Effective permission

這裏須要重點講一下ACL_MASK，由於這是掌握ACL的另外一個關鍵，在Linux file permission裏面你們都知道好比對於rw-rw-r--來講, 當中的那個rw-是指文件組的permission. 可是在ACL裏面這種狀況只是在ACL_MASK不存在的狀況下成立。若是文件有ACL_MASK值，那麼當中那個rw-表明的就是mask值而再也不是group permission了。

讓咱們看一下下面的這個例子：

這裏說明test.sh文件只有file owner: root擁有read, write, execute/search permission。admin組只有read and write permission，如今咱們想讓用戶john也對test.sh具備和root同樣的permission。

這裏咱們看到john已經擁有了rwx的permission，mask值也被設定爲rwx，那是由於它規定了ACL_USER，ACL_GROUP和ACL_GROUP_OBJ的最大值，如今咱們再來看test.sh的Linux permission，它已經變成了：

那麼若是如今admin組的用戶想要執行test.sh的程序會發生什麼狀況呢？它會被permission deny。緣由在於實際上admin組的用戶只有read and write permission，這裏當中顯示的rwx是ACL_MASK的值而不是group的permission。 因此從這裏咱們就能夠知道，若是一個文件後面有+標記，咱們都須要用getfacl來確認它的permission，以避免發生混淆。 下面咱們再來繼續看一個例子，假如如今咱們設置test.sh的mask爲read only，那麼admin組的用戶還會有write permission嗎？

這時候咱們能夠看到ACL_USER和ACL_GROUP_OBJ旁邊多了個#effective:r--，這是什麼意思呢？讓咱們再來回顧一下ACL_MASK的定義。它規定了ACL_USER，ACL_GROUP_OBJ和ACL_GROUP的最大權限。那麼在咱們這個例子中他們的最大權限也就是read only。雖然咱們這裏給ACL_USER和ACL_GROUP_OBJ設置了其餘權限，可是他們真正有效果的只有read權限。也就是說ACL_USER和ACL_GROUP_OBJ及ACL_GROUP它們的實際權限不能超過mask的權限（由於mask定義了它們三個當中最大權限）。 這時咱們再來查看test.sh的Linux file permission時它的group permission也會顯示其mask的值( r--)

Default ACL

上面咱們全部講的都是Access ACL，也就是對新建立的文件，沒有涉及到ACL權限繼承的問題。下面我簡單講一下Default ACL。Default ACL是指對於一個目錄進行Default ACL設置，而且在此目錄下創建的文件都將繼承此目錄的ACL。 一樣咱們來作一個試驗說明，好比如今root用戶創建了一個dir目錄：

它但願全部在此目錄下創建的文件均可以被john用戶所訪問，那麼咱們就應該對dir目錄設置Default ACL。

 這裏咱們能夠看到ACL定義了default選項，john用戶擁有了default的read, write, excute/search permission。全部沒有定義的default都將從file permission裏copy過來，如今root用戶在dir下創建一個test.txt文件。

這裏咱們看到在dir下創建的文件john用戶自動就有了read,write,excute/search permissionpermission。
想想：爲何這裏./dir/test.txt文件的mask的權限只有rw嗎？這是由於對於從目錄繼承過來的文件的ACL權限，mask最大隻能是rw。結果就是

CL_USER，ACL_GROUP_OBJ和ACL_GROUP的最大實際權限只能是rw。也就是說系統爲了安全起見，不容許直接繼承的權限帶x。若是想要改變，能夠手工修改文件的mask的值。這樣的話，CL_USER，ACL_GROUP_OBJ和ACL_GROUP的最大實際權限可能也會跟着變化。

 3、rsync數據備份

1. RSYNC概述：　

　　RSYNC是Remote Sync 遠程同步的簡稱，與SCP的比較，SCP= 沒法備份大量數據，相似windows的複製，而rsync=邊複製 ，邊統計，邊比較，能夠備份大量數據。

 Rysnc特性和優勢

　　能夠鏡像保存整個目錄樹和文件系統。

　　能夠很容易作到保持原來文件的權限、時間、軟硬連接等等。

　　無須特殊權限便可安裝。

　　快速：第一次同步時 rsync 會複製所有內容，但在下一次只傳輸修改過的文件。

　　壓縮傳輸：rsync 在傳輸數據的過程當中能夠實行壓縮及解壓縮操做，所以可使用更少的帶寬。

　　安全：可使用scp、ssh等方式來傳輸文件，固然也能夠經過直接的socket鏈接。

　　支持匿名傳輸，以方便進行網站鏡象。

　　選擇性保持：符號鏈接，硬連接，文件屬性，權限，時間等。

官方網站：https://rsync.samba.org/

常見備份分類

　　完整備份，差別備份，增量備份

　　完整備份：每次備份都是從備份源將全部的文件或目錄備份到目的地

　　差別備份：備份上次徹底備份之後有變化的數據(他針對的上次的徹底備份,他備份過程當中不清除存檔屬性)

　　增量備份：備份上次備份之後有變化的數據.(他才無論是那種類型的備份,有變化的數據就備份,他會清除存檔屬性)

運行模式和端口

採用C/S模式（客戶端/服務器模式）

[ 就是一個點到點的傳輸，直接使用rsync命令 ]  端口873

 

發起端和備份源

四個名詞的解釋：

發起端：負責發起rsync同步操做的客戶機叫作發起端，通知服務器我要備份你的數據

備份源：負責相應來自客戶機rsync同步操做的服務器在備份源，須要備份的服務器

服務端：運行rsyncd服務，通常來講，須要備份的服務器

客戶端：存放備份數據

數據同步方式

推push：一臺主機負責把數據傳送給其餘主機，服務器開銷很大，比較適合後端服務器少的狀況

拉pull：全部主機定時去找一主機拉數據，可能就會致使數據緩慢

推：目的主機配置爲rsync服務器，源主機週期性的使用rsync命令把要同步的目錄推過去（須要備份的機器是客戶端，存儲備份的機器是服務端）

拉：源主機配置爲rsync服務器，目的主機週期性的使用rsync命令把要同步的目錄拉過來（須要備份的機器是服務端，存儲備份的機器是客戶端）

兩種方案，rsync都有對應的命令來實現

 

Xinetd管理Rsync工做原理 

       使用rsync來同步是先經過xinetd監聽873號端口，若是rsync進來的是873號端口，那麼xinetd就會通知它所管轄的rsync服務來作迴應，接下來就是rsync倆服務於之間的通信。

Rsync服務安裝

       實驗拓撲：

　　　　　　　　xiaolyu76（Server 192.168.31.76）====xiaolyu77（Client 192.168.31.77）

Rsync服務依賴Xinetd，是使用超級服務來管理的

  yum 安裝：

[root@xiaolyu76 ~]# yum install -y xinetd   

 

 

[root@xiaolyu76 ~]# vim /etc/xinetd.d/rsync

 

[root@xiaolyu76 ~]# /etc/init.d/xinetd restart      #重啓xinetd。

[root@xiaolyu76 ~]# netstat -antup | grep 873    #查看873號端口是不是xinetd。

Rsync命令

       rsync命令和scp命令很類似，能夠man rsync看一下。

 

-a, --archive archive mode 權限保存模式,至關於 -rlptgoD 參數，存檔，遞歸，保持屬性等

-r, --recursive 複製全部下面的資料，遞歸處理

-p, --perms 保留檔案權限 ，文件原有屬性

-t, --times 保留時間點，文件原有時間

-g, --group 保留原有屬組

-o, --owner 保留檔案全部者(root only)

-D, --devices 保留device資訊(root only)

-l, --links 複製全部的鏈接 ，拷貝鏈接文件

-z, --compress 壓縮模式, 當資料在傳送到目的端進行檔案壓縮.

-H, --hard-links 保留硬連接文件

-A, --acls 保留ACL屬性文件，須要配合--perms

-P,-P參數和 --partial --progress 相同.只是爲了把參數簡單化,表示傳進度

--version， 輸出rsync版本

-v , --verbose 複雜的輸出信息

-u, --update 僅僅進行更新，也就是跳過已經存在的目標位置，而且文件時間要晚於要備份的文件，不覆蓋新的文件

--port=PORT， 定義rsyncd(daemon)要運行的port(預設爲tcp 873)

--delete， 刪除那些目標位置有的文件而備份源沒有的文件

--password-file=FILE ，從 FILE 中獲得密碼

--bwlimit=KBPS， 限制 I/O 帶寬

--filter 「-filename」，須要過濾的文件

--exclude=filname，須要過濾的文件

--progress，顯示備份過程

經常使用的 –avz

使用rsync備份數據

對xiaolyu76網站根目錄的/var/www/html目錄備份到xialyu77的/web-back 

 

2.  用系統用戶，實現rsync遠程數據備份

 

1. 創建測試用戶

[root@xiaolyu76 ~]# useradd rget1                         　　　　　　　    //測試用戶，rget1用於下載
[root@xiaolyu76 ~]# echo rget1:123456 | chpasswd
[root@xiaolyu76 ~]# useradd rput1;echo rput1:123456 | chpasswd   //測試用戶，rput1用戶上傳、

對目錄賦予ACL權限

[root@xiaolyu76 ~]# setfacl -R -m user:rput1:rwx /var/www/html/　　//rput1用戶能夠對目錄擁有讀寫權限
[root@xiaolyu76 ~]# setfacl -R -m default:user:rput1:rwx /var/www/html/ //設置默認狀況下，rput1對目錄/var/www/html下的全部文件擁有讀寫權限

[root@xiaolyu76 ~]# setfacl -R -m user:rget1:rwx /var/www/html/
[root@xiaolyu76 ~]# setfacl -R -m default:rget1:rwx /var/www/html/
[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html
getfacl: Removing leading '/' from absolute path names
user::rwx
user:rget1:rwx
user:rput1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:user:rput1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

2. 數據的準備工做；

[root@xiaolyu76 ~]# cp -r /boot/* /var/www/html/     #  /boot目錄下的全部數據做爲測試數據。

注意：由於咱們這裏在建立測試用戶的時候，針對某一個用戶賦予某一個目錄的ACL默認權限，這其實是用到了ACL的權限繼承。ACL的權限繼承只有在設置好目錄的默認權限以後，在該目錄下，新建立的文件才能夠繼承該目錄的權限。因此必定要在建立用戶和ACL權限設置完成後，再作測試數據的準備工做。

3.開始測試：

       //boot目錄下的全部數據做爲測試數據

 [root@xiaolyu77 ~]# rsync -avz --delete rget1@192.168.31.76:/var/www/html/ /web-back/

格式幾乎同scp如出一轍，因此在前面詳細講了scp的用法。

              ……

rsync: send_files failed to open "/var/www/html/initramfs-2.6.32-431.el6.x86_64.img": Permission denied (13)

……

 

……

rsync: send_files failed to open "/var/www/html/grub/grub.conf": Permission denied (13)

#幾行報錯，排錯

同步數據出錯排查：根據咱們前面對acl文件的瞭解，顯然acl文件出現權限問題，第一步就是getfacl查看實際權限。

[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/initramfs-2.6.32-431.el6.x86_64.img

[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/initramfs-2.6.32-431.el6.x86_64.img

[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/lost+found

顯然，因爲咱們前面的分析，知道由於mask沒有權限，因此rget1實際上沒有任何權限。解決方法就是加上權限。

解決方法：添加權限。

[root@xiaolyu76 ~]# chmod 744 /var/www/html/initramfs-2.6.32-431.el6.x86_64.img
[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/initramfs-2.6.32-431.el6.x86_64.img

同理方法修改

/var/www/html/grub/grub.conf

/var/www/html/lost+found

 

[root@xiaolyu76 ~]# chmod 744 /var/www/html/grub/grub.conf
[root@xiaolyu76 ~]# chmod 744 /var/www/html/lost+found

再次客戶端測試

[root@xiaolyu77 ~]# rm -rf /web-back/*
[root@xiaolyu77 ~]# rsync -avz --delete rget1@192.168.31.76:/var/www/html/ /web-back/

3.非系統用戶備份數據

　　非系統用戶備份數據，是使用系統配置文件/etc/rsyncd.conf來備份數據，建立備份帳戶，最後把rsync以deamon方式運行。

1.  rsyncd.conf配置文件說明：

　　配置文件分爲兩部分：全局參數，模塊參數

　　全局參數：對rsync服務器生效，若是模塊參數和全局參數衝突，衝突的地方模塊參數生效

　　模塊參數：定義須要經過rsync輸出的目錄定義的參數

(1)  常見的全局參數：

port          #→指定後臺程序使用的端口號，默認爲873。

uid            #→該選項指定當該模塊傳輸文件時守護進程應該具備的uid，配合gid選項使用能夠肯定哪些能夠訪問怎麼樣的文件權限，默認值是" nobody"。

gid            #→該選項指定當該模塊傳輸文件時守護進程應該具備的gid。默認值爲" nobody"。

max connections        #→指定該模塊的最大併發鏈接數量以保護服務器，超過限制的鏈接請求將被告知隨後再試。默認值是0，也就是沒有限制。

lock file                  #→指定支持max connections參數的鎖文件，默認值是/var/run/rsyncd.lock。

motd file         #→" motd file"參數用來指定一個消息文件，當客戶鏈接服務器時該文件的內容顯示給客戶，默認是沒有motd文件的。

log file             #→" log file"指定rsync的日誌文件，而不將日誌發送給syslog。

pid file              #→指定rsync的pid文件，一般指定爲「/var/run/rsyncd.pid」，存放進程ID的文件位置。

hosts allow =    #→單個IP地址或網絡地址   //容許訪問的客戶機地址

(2) 常見的模塊參數：

　　主要是定義服務器哪一個要被同步輸出，其格式必須爲「 [ 共享模塊名 ]」 形式，這個名字就是在 rsync 客戶端看到的名字，其實很像 Samba 服務器提供的共享名。而服務器真正同步的數據是經過 path 來指定的。

Comment         #→給模塊指定一個描述，該描述連同模塊名在客戶鏈接獲得模塊列表時顯示給客戶。默認沒有描述定義。

Path                  #→指定該模塊的供備份的目錄樹路徑，該參數是必須指定的。

read only         #→yes爲只容許下載，no爲能夠下載和上傳文件到服務器

exclude             #→用來指定多個由空格隔開的多個文件或目錄(相對路徑)，將其添加到exclude列表中。這等同於在客戶端命令中使用―exclude或----filter來指定某些文件或目錄不下載或上傳(既不可訪問)

exclude from   #→指定一個包含exclude模式的定義的文件名，服務器從該文件中讀取exclude列表定義，每一個文件或目錄須要佔用一行

include             #→用來指定不排除符合要求的文件或目錄。這等同於在客戶端命令中使用--include來指定模式，結合include和exclude能夠定義複雜的exclude/include規則。

include from   #→指定一個包含include模式的定義的文件名，服務器從該文件中讀取include列表定義。

auth users       #→該選項指定由空格或逗號分隔的用戶名列表，只有這些用戶才容許鏈接該模塊。這裏的用戶和系統用戶沒有任何關係。若是" auth users"被設置，那麼客戶端發出對該模塊的鏈接請求之後會被rsync請求challenged進行驗證身份這裏使用的challenge/response認證協議。用戶的名和密碼以明文方式存放在" secrets file"選項指定的文件中。默認狀況下無需密碼就能夠鏈接模塊(也就是匿名方式)。

secrets file      #→該選項指定一個包含定義用戶名:密碼對的文件。只有在" auth users"被定義時，該文件纔有做用。文件每行包含一個username:passwd對。通常來講密碼最好不要超過8個字符。沒有默認的secures file名，注意：該文件的權限必定要是600，不然客戶端將不能鏈接服務器。

hosts allow      #→指定哪些IP的客戶容許鏈接該模塊。定義能夠是如下形式：

    單個IP地址，例如：192.167.0.1，多個IP或網段須要用空格隔開，

    整個網段，例如：192.168.0.0/24，也能夠是192.168.0.0/255.255.255.0

「*」則表示全部，默認是容許全部主機鏈接。

hosts deny      #→指定不容許鏈接rsync服務器的機器，可使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義。

list              #→該選項設定當客戶請求可使用的模塊列表時，該模塊是否應該被列出。若是設置該選項爲false，

能夠建立隱藏的模塊。默認值是true。

timeout   #→經過該選項能夠覆蓋客戶指定的IP超時時間。經過該選項能夠確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位爲秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync服務器來講，一個理想的數字是600。

2. 用配置文件定義目錄輸出。

     [root@xiaolyu76 ~]# vim /etc/rsyncd.conf   //該配置文件不存在，須要手工編寫。  

[root@xiaolyu76 ~]# vim /etc/rsyncd.conf

uid=nobody             #運行進程的身份
gid=nobody             #運行進程的組
address=192.168.31.76  #監聽iP
port=873               #監聽端口
hosts allow=192.168.31.77  #容許同步客戶端的IP地址，能夠是網段，或者用*表示所
use chroot=yes     #是否囚牢，鎖定家目錄，rsync被黑以後，黑客沒法在rsync運行的家目錄以外建立文件，選項設置爲yes
max connections=5
pid file=/var/run/rsyncd.pid   #進程PID，自動生成
lock file=/var/run/rsync.lock  #指max connectios參數的鎖文件
log file=/var/log/rsyncd.log   #日誌文件位置
motd file=/etc/rsyncd.motd     #客戶端登錄以後彈出的消息，須要建立
[wwwroot]                 #共享模塊名稱   
path=/var/www/html  #路徑
comment=used for wed-data root #描述
read only=yes  #只讀方式(只能夠下載)
list=yes   #是否容許查看模塊信息
auth users=rsyncuser  #備份的用戶，和系統用戶無關
secrets file=/etc/rsync.passwd #存放用戶的密碼文件，格式是   用戶名：密碼。

建立提示文件和用戶密碼

[root@xiaolyu76 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@xiaolyu76 ~]# echo "rsyncuser:password123" > /etc/rsync.passwd
[root@xiaolyu76 ~]# chmod 600 /etc/rsync.passwd     #目錄權限必須是700或者600，不然設置rsync user的時候，須要身份驗證。

啓動服務測試

[root@xiaolyu76 ~]# vim /etc/xinetd.d/rsync

        disable = no        #將原來的yes改成no（部分版本多是no，則不用改）

咱們新建了一個配置文件/etc/rsyncd.conf, 目的是用該配置文件來實現非系統用戶實現遠程數據備份，就須要讓該配置文件生效。

兩種方法：

1. 重啓/etc/init.d/xinetd 服務。即：

[root@xiaolyu76 ~]# /etc/init.d/xinetd restart  
Stopping xinetd: [ OK ]
Starting xinetd: [ OK ]

 2.  直接把rsync以deamon方式運行： 即：啓用方式用daemon。
[root@xiaolyu76 ~]# rsync --daemon --config=/etc/rsyncd.conf

--------------------------------------------------------------------------------------------------------------------------------------------------------------

[root@xiaolyu76 ~]# netstat -antup | grep :873     #查看873端口是否啓動。
tcp 0 0 192.168.31.76:873 0.0.0.0:* LISTEN 4019/rsync
[root@xiaolyu76 ~]# chkconfig xinetd on              #設置xinetd服務開機自啓動。 
[root@xiaolyu76 ~]# chkconfig xinetd --list           
xinetd 0:off 1:off 2:on 3:on 4:on 5:on 6:off  
[root@xiaolyu76 ~]# 

開始測試：

rsync語法：   rsync 選項 用戶名@備份源服務器IP::共享模塊名 目標目錄

 

[root@xiaolyu77 ~]# rsync -avz rsyncuser@192.168.31.76::wwwroot /web-back/

或者：使用下面的命令，輸出詳細信息

[root@xiaolyu77 ~]# rsync -avz --progress --delete rsyncuser@192.168.31.76::wwwroot /web-back/

  

密碼處理

新建一個文件保存好密碼，而後在rsync命令中使用--password-file指定此文件便可

 

[root@xiaolyu77 ~]# echo "password123" > ./passfile
[root@xiaolyu77 ~]# chmod 600 passfile
[root@xiaolyu77 ~]# rm -rf /web-back/*
[root@xiaolyu77 ~]# rsync -avz rsyncuser@xiaolyu76::wwwroot --password-file=passfile /web-back/

腳本實現定時自動備份

 

[root@xiaolyu77 ~]# vim autobackup.sh

 

#!/bin/bash
rsync -avz rsyncuser@xiaolyu76::wwwroot --password-file=passfile /web-back/

 

定時自動備份：天天凌晨3:01自動進行備份。

[root@xiaolyu77 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root

 

4、Rsync+Inotify 實時同步

　　Linux 內核從 2.6.13 版本開始提供了 inotify 通知接口，用來監控文件系統的各類變化狀況，如文件存取、刪除、移動等。利用這一機制，能夠很是方便地實現文件異動告警、增量備份，並針對目錄或文件的變化及時做出響應。能夠監控某個用戶，什麼時間，作了什麼動做！

　　使用 rsync 工具與 inotify 機制相結合，能夠實現觸發式備份（實時同步），只要原始位置的文檔發生變化，則當即啓動增量備份操做，不然處於靜態等侍狀態，這樣一來，就避免了按固定週期備份進存在的延遲性、週期過密等問題。

下載地址：http://sourceforge.net/projects/inotify-tools/                 notify-tools-3.13

咱們把xiaolyu76上/var/www/html目錄實時同步到xiaolyu77的/web-back目錄中

1. 查看內核支持inotify和調整

[root@xiaolyu76~]# uname -r                //inotify從kernel2.6.13開始正式併入內核，開始支持

2.6.32-431.el6.x86_64

[root@xiaolyu76 ~]# ls /proc/sys/fs/inotify/                 //查看調控參數

max_queued_events         #表示監控時間隊列           默認16384 可使用cat命令查看

max_user_instances          #表示最多監控實例數        默認128

max_user_watches           #表示每一個實例最多監控文件數    默認8192

#在Linux內核中，默認的Inotify機制提供了三種調控參數，當要監控的目錄，文件數比較多的時候或者變化比較頻

繁的時候，要加大三個數值

能夠直接修改/etc/sysctl.conf配置文件，將管理隊列設置爲32786，實例數：1024，文件數：9000000（大於監控目標總數便可）

[root@xiaolyu76 ~]# vim /etc/sysctl.conf

#在末尾添加下面三行

fs.inotify.max_queued_events =32768

fs.inotify.max_user_instances =1024

fs.inotify.max_user_watches =90000000

 

 

2. 安裝inotify-tools

安裝 inotify-tools 後，將擁有 inotifywait、inotifywatch 輔助工具程序，從而來監控、彙總文件系統改動狀況。

[root@xiaolyu76~]# tar xvf inotify-tools-3.13.tar.gz -C /usr/local/src/;echo $?

[root@xiaolyu76 ~]# cd /usr/local/src/inotify-tools-3.13/

[root@xiaolyu76 inotify-tools-3.13]# ./configure --prefix=/usr/local/inotify-tools ; make ; make install ;echo $?

 注意：每一步作完了，要echo $?看一下是否成功，尤爲是在很是大的源碼包安裝時。

也能夠經過yum方式來安裝：yum install inotify*  -y  //傻瓜式安裝，哈哈。

3.測試inotifywait

       使用 inotifywait 命令監控網站目錄/var/www/html發生的變化。而後在另外一個終端向/var/www/html目錄下添加文件、移動文件，查看屏幕輸出結果。

[root@xiaolyu76 ~]# ln -s /usr/local/inotify-tools/bin/* /usr/bin/        //方便直接調用命令,固然了，也能夠直接複製到/usr/bin下面的。隨意啦。

inotifywait經常使用參數：

-e  用來指定要監控哪些事件。這些事件包括： create 建立,move 移動,delete 刪除,modify 修改文件內容,attrib 屬性更改。

-m 表示持續監控

-r  表示遞歸整個目錄

-q 表示簡化輸出信息。

在監控終端執行下面的命令：

[root@XueGod6 ~]# inotifywait -mrq -e create,move,delete,modify /var/www/html/

另外開一終端，作一些改動

[root@xiaolyu76 ~]# echo "watch rsync" > /var/www/html/watch.html
[root@xiaolyu76 ~]# mkdir /var/www/html/test
[root@xiaolyu76 ~]# cp /etc/passwd /var/www/html/test/
[root@xiaolyu76 ~]# rm -rf /var/www/html/test/passwd

查看監控終端

/var/www/html/ CREATE watch.html
/var/www/html/ MODIFY watch.html
/var/www/html/ CREATE,ISDIR test
/var/www/html/test/ CREATE passwd
/var/www/html/test/ MODIFY passwd
/var/www/html/test/ DELETE passwd

監控端執行命令後，進入監控等待：

發起終端：

監控終端變爲：

#使用 inotifywait 輸出的監控結果中，每行記錄中依次包括目錄、事件、文件。據此能夠識別變更狀況。

4.觸發式同步腳本

首先要作好免密碼連接

 #說明：本質上，scp，rsync都是ssh登陸，前面博客已經詳細說過ssh免密碼登陸，這裏一筆帶過。

[root@xiaolyu76 ~]# ssh-keygen

[root@xiaolyu76 ~]# ssh-copy-id root@xiaolyu76

編寫腳本

[root@xiaolyu76 ~]#  vim inotify.sh #!/bin/bash src=/var/www/html dest=root@xiaolyu77:/web-back inotifywait -mrq -e modify,delete, create,attrib  ${src} | while read D E F do
    /usr/bin/rsync -avz --delete $src $dest done

[root@xiaolyu76 ~]# chmod +x inotify.sh ; echo "sh /root/inotify.sh &" >> /etc/rc.local

 說明：上面腳本中的三個變量，就對應

inotifywait -mrq -e modify,delete, create,attrib ${src} 執行後的結果中的三列，例如：

只要檢測到變更時間，執行rsync上行同步操做，拉數據。
腳本執行的檢測終端：

發起變化的終端：

 

除了上面rsync + inotify的備份方法，還有rsync + sersync。 當有海量的小數據文件的時候，inotify 會有延遲！然而，rsync + sersync 也很危險。

當黑客將你的數據刪除後，rsync + sersync 後將刪除同步更新到你的備份數據。慎用！

國慶期間，這篇博客，寫了兩天，好累啊，最可氣的是中間竟然不當心將電腦關掉了，有兩個多小時的東西沒有保存住。然而終於寫完了，儘可能力求清晰和完善，將每個用法都搞得清清楚楚。