shell腳本：同步mysql數據庫某個表

初衷：有時候咱們想從另一臺數據庫中同步某一個表到本地數據庫中。

一、mysql login-path

mysql 在腳本中直接登陸會報shell warning

Warning：Using a password on the command line interface can be insecure.

這麼作確實是不安全。明文暴露了mysql的帳號密碼。由此，咱們使用login-path

login-path是 MySQL5.6開始支持的新特性。經過藉助 mysql_config_editor工具將登錄 MySQL服務的認證信息加密保存在 .mylogin.cnf文件（默認位於用戶主目錄） 。以後， MySQL客戶端工具可經過讀取該加密文件鏈接 MySQL，避免重複輸入登陸信息，避免敏感信息暴露。

mysql_config_editor使用幫助：

配置：

mysql_config_editor set --login-path=test --user=test_user  --host=127.0.0.1 --port=3306 --password

示例：
vagrant@homestead:~/code$ mysql_config_editor set --login-path=xxx --host=127.0.0.1 --port=3306 --user=xxx --password
Enter password:

輸入密碼便可。會加密保存在.mylogin.cnf文件（默認位於用戶主目錄）

其中可配置項

-h,–host=name 添加host到登錄文件中
-G，–login-path=name 在登陸文件中爲login path添加名字（默認爲client）
-p,–password 在登錄文件中添加密碼（該密碼會被mysql_config_editor自動加密）
-u，–user 添加用戶名到登錄文件中
-S,–socket=name 添加sock文件路徑到登錄文件中
-P，–port=name 添加登錄端口到登錄文件中

顯示配置：

mysql_config_editor print --login-path=test #顯示執行的login-path配置
mysql_config_editor print --all #顯示全部的login-path信息

刪除配置：

mysql_config_editor remove --login-path=test

其中可刪除項

-h,–host=name 添加host到登錄文件中
-G，–login-path=name 在登陸文件中爲login path添加名字（默認爲client）
-p,–password 在登錄文件中添加密碼（該密碼會被mysql_config_editor自動加密）
-u，–user 添加用戶名到登錄文件中
-S,–socket=name 添加sock文件路徑到登錄文件中
-P，–port=name 添加登錄端口到登錄文件中

重置配置:

mysql_config_editor reset --login-path=test

使用login-path登陸：

shell>mysql --login-path=test

若要登陸其餘主機、其餘端口，或者添加其餘額外參數，直接在上述命令後添加便可。

shell>mysql --login-path=test  -h host1 -P port1 #登陸host1:poet1上的MySQL
shell>mysql --login-path=test  -h host1 -P port1 test_db #登陸host1:poet1上的MySQL中的test_db庫

二、shell 腳本

# !/bin/bash 
   
#Synchronize from the source database to the target database.

db_src=xxx  //source database   
db_tar=xxx  //target database
table_name=xxx  //table
#  
# cache directory config 
cach_dump=/home/vagrant/ 
# cache file
cache_file=$table_name.txt    
# log 
log_dir=/var/log/syncSql/  
log_file=syncSql_$(date +"%Y-%m-%d").log
#
if [ ! -e $log_dir$log_file ] 
    then if [ ! -d $log_dir ]; then 
            sudo  mkdir  $log_dir;
         else 
            exit && echo -e "\n------------Created ${log_dir} Failed. ------------\n" 
         fi 
         
         if [ ! -d $log_file ]; then 
             cd $log_dir && sudo touch $log_file;
         else 
            exit && echo -e "\n------------Created ${log_file} Failed. ------------\n"
         fi 
         
         sudo  chown -R vagrant:vagrant $log_dir
fi
#   
# define execute sql function  
sqlrun_src(){
  mysql --login-path=src  <<EOF
$1  
EOF
}

sqlrun_tar(){
  mysql --login-path=tar  <<EOF
$1  
EOF
}
# 

#    
# do synchronize  

tar_run="SELECT MAX(id) AS id FROM ${db_tar}.${table_name};"

if id_ori=$(sqlrun_tar "${tar_run}") && id=${id_ori#id}
    then
        if [ ${id} = NULL ]
         then id=0
        fi
        echo "$(date +"%Y-%m-%d %H:%M:%S") Get ${table_name} Max id ${id}." >> $log_dir$log_file 
else
        exit && echo  "$(date +"%Y-%m-%d %H:%M:%S") Get ${table_name} Max id Failed." >> $log_dir$log_file 
fi

#   
src_run="SELECT * FROM ${db_src}.${table_name} WHERE id > ${id};"

if sqlrun_src "${src_run}" > ${cach_dump}${cache_file}
    then echo  "$(date +"%Y-%m-%d %H:%M:%S") Write ${table_name}  data OK."  >> $log_dir$log_file
else
    exit && echo  "$(date +"%Y-%m-%d %H:%M:%S") Write ${table_name} data Failed."  >> $log_dir$log_file
fi
#   
if sed -i '1, $s/NULL/\\N/g' ${cach_dump}${cache_file} && /usr/bin/mysqlimport --login-path=tar  --ignore-lines=1 --local ${db_tar} ${cach_dump}${cache_file} >> $log_dir$log_file
    then echo  "$(date +"%Y-%m-%d %H:%M:%S") Import ${table_name} data OK." >> $log_dir$log_file 
else
    exit && echo  "$(date +"%Y-%m-%d %H:%M:%S") Write ${table_name} data Failed."  >> $log_dir$log_file
fi
#   
#

三、crontab 任務調度

結合Linux的contab自動任務自動同步。
基本格式 :

*　　*　　*　　*　　*　　command 
    分　 時　 日　 月　 周　 命令

第1列表示分鐘1～59 每分鐘用 或者 /1表示
第2列表示小時1～23（0表示0點）
第3列表示日期1～31
第4列表示月份1～12
第5列標識號星期0～6（0表示星期天）
第6列要運行的命令

假設我想讓同步數據腳本每2分鐘同步一次

*/2 * * * * /home/vagrant/syncSql.sh

配置方法：

Ubuntu下配置計劃任務有兩種方法，
一、直接在 /var/spool/cron/crontabs/目錄下新建一個用戶文件，在該文件中配置計劃任務；
二、直接使用 crontab -e 命令編輯當前用戶的計劃任務。

以 root 用戶爲例，兩種方法設置的計劃任務都是 /var/spool/cron/crontabs/root 文件，格式也同樣，區別就是直接編輯文件後，須要調用 crontab /var/spool/cron/crontabs/root 才能使配置生效，而使用 crontab -e 編輯後，(使用vim)保存退出後，直接生效。

可用 crontab -l 查看計劃任務。

若是發現未執行，檢查是否已經開啓 cron

sudo service cron status

#cron start/running, process 23719

重啓服務 cron

sudo service cron restart

再則能夠查看 /var/log/cron.log 日誌文件 ， 默認 log 是沒有開啓的。
開啓方法：

sudo vim /etc/rsyslog.d/50-default.conf

找到 cron.log 相關行，將前面註釋符 # 去掉，保存退出，重啓 rsyslog：

sudo  service rsyslog  restart