1:環境
服務端:linux
客戶端:window7linux
2:部署+file_get
1)shell 提取文件
#!/usr/bin/bash
curr_dir="/data/scripts/zhongan/file"
yes_day=`date -d "1 days ago" +"%Y%m%d"`
cd $curr_dir
[[ -d $yes_day ]] || mkdir $yes_day && cd $curr_dir/$yes_day
lftp -u username,passwd sftp://112.124.**.**:47722<<EOF
cd downfile/$yes_day
ls
mget *
close
bye
EOF</span>
EOF
###解密,加密見安全gpg2詳解
gpg2 -d --batch --passphrase 'paswd' -o ./FH_ZA_loanData"$yes_day"detail.csv FH_ZA_loanData_"$yes_day"_detail.csv
gpg2 -d --batch --passphrase 'passwd' -o ./FH_ZA_loanData"$yes_day"total.csv FH_ZA_loanData_"$yes_day"_total.csv算法
rm -f FH_ZA_loanData_*
sed 's/\r//g' ./*
####轉碼
#iconv -futf8 -tgb2312 -o "$yes_day"FH_ZA_loanData_detail.csv FH_ZA_loanData"$yes_day"detail.csv
#iconv -futf8 -tgb2312 -o "$yes_day"FH_ZA_loanData_total.csv FH_ZA_loanData"$yes_day"total.csv
2) linux rsync server
直接yum安裝
yum -y install rsyncshell
2) 配置rsync服務
vim /etc/rsyncd.conf 配置文件內容以下
uid = nobody
gid = nobody
hosts allow = *
#hosts deny = 0.0.0.0/32
use chroot = no
max connections = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[Backup] ###模塊
path = /backup
comment = rsync files
ignore errors
read only = yes
list=yes
#auth users = www
#secrets file = /etc/rsyncd.scrt
vim /etc/rsyncd.scrt
文件格式 user:password 用戶名與密碼中間有一個 「:」
chmod 600 /etc/rsync.scrtvim
3) 啓動服務
rsync --daemon --config=/etc/rsyncd/rsyncd.conf 第二次啓動時要刪除/var/run/rsyncd.pid 文件在啓動安全
4) Window安裝
Cmd 命令行
d:
cd D:\rsync\bin
chmod.exe 600
設定環境變量
####
rsync -ar --progress --delete username@*****::data ./bash
5) 設定定時任務
建立zhongan_time.bat
rysnc_databack.bat
@echo off
d:
cd D:\syn服務器
rsync -ar --progress --delete username@*****::data ./ssh
6) 控制面板-》管理工具-》任務計劃程序
根據實際狀況設定計劃任務工具
7)rsync 參數詳解
-v, --verbose 詳細模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 打開校驗開關,強制對文件傳輸進行校驗
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,並保持全部文件屬性,等於-rlptgoD
-r, --recursive 對子目錄以遞歸模式處理
-R, --relative 使用相對路徑信息
-b, --backup 建立備份,也就是對於目的已經存在有一樣的文件名時,將老的文件從新命名爲~filename。可使用--suffix選項來指定不一樣的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進行更新,也就是跳過全部已經存在於DST,而且文件時間晚於要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結
-L, --copy-links 想對待常規文件同樣處理軟鏈結
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹之外的鏈結
--safe-links 忽略指向SRC路徑目錄樹之外的鏈結
-H, --hard-links 保留硬鏈結
-p, --perms 保持文件權限
-o, --owner 保持文件屬主信息
-g, --group 保持文件屬組信息
-D, --devices 保持設備文件信息
-t, --times 保持文件時間信息
-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間
-n, --dry-run現實哪些文件將被傳輸
-W, --whole-file 拷貝文件,不進行增量檢測
-x, --one-file-system 不要跨越文件系統邊界
-B, --block-size=SIZE 檢驗算法使用的塊尺寸,默認是700字節
-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS同樣的方法自動忽略文件,用來排除那些不但願傳輸的文件
--existing 僅僅更新那些已經存在於DST的文件,而不備份那些新建立的文件
--delete 刪除那些DST中SRC沒有的文件
--delete-excluded 一樣刪除接收端那些被該選項指定排除的文件
--delete-after 傳輸結束之後再刪除
--ignore-errors 及時出現IO錯誤也進行刪除
--max-delete=NUM 最多刪除NUM個文件
--partial 保留那些因故沒有徹底傳輸的文件,以是加快隨後的再次傳輸
--force 強制刪除目錄,即便不爲空
--numeric-ids 不將數字的用戶和組ID匹配爲用戶名和組名
--timeout=TIME IP超時時間,單位爲秒
-I, --ignore-times 不跳過那些有一樣的時間和長度的文件
--size-only 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間
--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口,默認爲0
-T --temp-dir=DIR 在DIR中建立臨時文件
--compare-dest=DIR 一樣比較DIR中的文件來決定是否須要備份
-P 等同於 --partial
--progress 顯示備份過程
-z, --compress 對備份的文件在傳輸時進行壓縮處理
--exclude=PATTERN 指定排除不須要傳輸的文件模式
--include=PATTERN 指定不排除而須要傳輸的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其餘的配置文件,不使用默認的rsyncd.conf文件
--port=PORT 指定其餘的rsync服務端口
--blocking-io 對遠程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態
--progress 在傳輸時現實傳輸過程
--log-format=formAT 指定日誌文件格式
--password-file=FILE 從FILE中獲得密碼
--bwlimit=KBPS 限制I/O帶寬,KBytes per second
-h, --help 顯示幫助信息ui