基於 docker 搭建主從 mysql5.7
簡介
本文例子是以docker基礎上搭建Mysql 5.7 版本的主從,能夠直接用於物理服務器上.mysql
部署環境
macOS Mojave 10.14docker 18.09.9
部署Mysql主從
建立主庫的my.cnf 文件
vim ~/Item/conf/mysql_master.cnf ## 這是macOS下路徑,僅做參考 sql
[client]
port = 3306
socket = /tmp/mysql.sock
[mysqld]
port = 3306
socket = /tmp/mysql.sock
# 不啓用避免 error-message file not find
# basedir = /usr/share/mysql/
datadir = /var/lib/mysql
pid-file = /var/lib/mysql/mysql.pid
user = mysql
bind-address = 0.0.0.0
server-id = 1 #表示是本機的序號爲1,通常來說就是master的意思
#log-bin設置此參數表示啓用binlog功能，並指定路徑名稱
log-bin=/var/lib/mysql/mysql-bin
sync_binlog=0
#設置日誌的過時天數,最好避免7,30等數字,避免被人惡意利用
expire_logs_days=8
skip-name-resolve
# 禁止MySQL對外部鏈接進行DNS解析，使用這一選項能夠消除MySQL進行DNS解析的時間。但須要注意，若是開啓該選項，
# 則全部遠程主機鏈接受權都要使用IP地址方式，不然MySQL將沒法正常處理鏈接請求
# 關閉MySQL的TCP/IP鏈接方式
# 僅在單機狀況下使用
#skip-networking
back_log = 600
# MySQL能有的鏈接數量。當主要MySQL線程在一個很短期內獲得很是多的鏈接請求，這就起做用，
# 而後主線程花些時間(儘管很短)檢查鏈接而且啓動一個新線程。back_log值指出在MySQL暫時中止回答新請求以前的短期內多少個請求能夠被存在堆棧中。
# 若是指望在一個短期內有不少鏈接，你須要增長它。也就是說，若是MySQL的鏈接數據達到max_connections時，新來的請求將會被存在堆棧中，
# 以等待某一鏈接釋放資源，該堆棧的數量即back_log，若是等待鏈接的數量超過back_log，將不被授予鏈接資源。
# 另外，這值（back_log）限於您的操做系統對到來的TCP/IP鏈接的偵聽隊列的大小。
# 你的操做系統在這個隊列大小上有它本身的限制（能夠檢查你的OS文檔找出這個變量的最大值），試圖設定back_log高於你的操做系統的限制將是無效的。
max_connections = 1000
# MySQL的最大鏈接數，若是服務器的併發鏈接請求量比較大，建議調高此值，以增長並行鏈接數量，固然這創建在機器能支撐的狀況下，由於若是鏈接數越多，介於MySQL會爲每一個鏈接提供鏈接緩衝區，就會開銷越多的內存，因此要適當調整該值，不能盲目提升設值。能夠過’conn%’通配符查看當前狀態的鏈接數量，以定奪該值的大小。
max_connect_errors = 6000
# 對於同一主機，若是有超出該參數值個數的中斷錯誤鏈接，則該主機將被禁止鏈接。如需對該主機進行解禁，執行：FLUSH HOST。
open_files_limit = 65535
# MySQL打開的文件描述符限制，默認最小1024;當open_files_limit沒有被配置的時候，比較max_connections*5和ulimit -n的值，哪一個大用哪一個，
# 當open_file_limit被配置的時候，比較open_files_limit和max_connections*5的值，哪一個大用哪一個。
table_open_cache = 128
# MySQL每打開一個表，都會讀入一些數據到table_open_cache緩存中，當MySQL在這個緩存中找不到相應信息時，纔會去磁盤上讀取。默認值64
# 假定系統有200個併發鏈接，則需將此參數設置爲200*N(N爲每一個鏈接所需的文件描述符數目)；
# 當把table_open_cache設置爲很大時，若是系統處理不了那麼多文件描述符，那麼就會出現客戶端失效，鏈接不上
max_allowed_packet = 4M
# 接受的數據包大小；增長該變量的值十分安全，這是由於僅當須要時纔會分配額外內存。例如，僅當你發出長查詢或MySQLd必須返回大的結果行時MySQLd纔會分配更多內存。
# 該變量之因此取較小默認值是一種預防措施，以捕獲客戶端和服務器之間的錯誤信息包，並確保不會因偶然使用大的信息包而致使內存溢出。
binlog_cache_size = 1M
# 一個事務，在沒有提交的時候，產生的日誌，記錄到Cache中；等到事務提交須要提交的時候，則把日誌持久化到磁盤。默認binlog_cache_size大小32K
max_heap_table_size = 8M
# 定義了用戶能夠建立的內存表(memory table)的大小。這個值用來計算內存表的最大行數值。這個變量支持動態改變
tmp_table_size = 16M
# MySQL的heap（堆積）表緩衝大小。全部聯合在一個DML指令內完成，而且大多數聯合甚至能夠不用臨時表便可以完成。
# 大多數臨時表是基於內存的(HEAP)表。具備大的記錄長度的臨時表 (全部列的長度的和)或包含BLOB列的表存儲在硬盤上。
# 若是某個內部heap（堆積）表大小超過tmp_table_size，MySQL能夠根據須要自動將內存中的heap表改成基於硬盤的MyISAM表。還能夠經過設置tmp_table_size選項來增長臨時表的大小。也就是說，若是調高該值，MySQL同時將增長heap表的大小，可達到提升聯接查詢速度的效果
read_buffer_size = 2M
# MySQL讀入緩衝區大小。對錶進行順序掃描的請求將分配一個讀入緩衝區，MySQL會爲它分配一段內存緩衝區。read_buffer_size變量控制這一緩衝區的大小。
# 若是對錶的順序掃描請求很是頻繁，而且你認爲頻繁掃描進行得太慢，能夠經過增長該變量值以及內存緩衝區大小提升其性能
read_rnd_buffer_size = 8M
# MySQL的隨機讀緩衝區大小。當按任意順序讀取行時(例如，按照排序順序)，將分配一個隨機讀緩存區。進行排序查詢時，
# MySQL會首先掃描一遍該緩衝，以免磁盤搜索，提升查詢速度，若是須要排序大量數據，可適當調高該值。但MySQL會爲每一個客戶鏈接發放該緩衝空間，因此應儘可能適當設置該值，以免內存開銷過大
sort_buffer_size = 8M
# MySQL執行排序使用的緩衝大小。若是想要增長ORDER BY的速度，首先看是否可讓MySQL使用索引而不是額外的排序階段。
# 若是不能，能夠嘗試增長sort_buffer_size變量的大小
join_buffer_size = 8M
# 聯合查詢操做所能使用的緩衝區大小，和sort_buffer_size同樣，該參數對應的分配內存也是每鏈接獨享
thread_cache_size = 8
# 這個值（默認8）表示能夠從新利用保存在緩存中線程的數量，當斷開鏈接時若是緩存中還有空間，那麼客戶端的線程將被放到緩存中，
# 若是線程從新被請求，那麼請求將從緩存中讀取,若是緩存中是空的或者是新的請求，那麼這個線程將被從新建立,若是有不少新的線程，
# 增長這個值能夠改善系統性能.經過比較Connections和Threads_created狀態的變量，能夠看到這個變量的做用。(–>表示要調整的值)
# 根據物理內存設置規則以下：
# 1G —> 8
# 2G —> 16
# 3G —> 32
# 大於3G —> 64
query_cache_size = 8M
#MySQL的查詢緩衝大小（從4.0.1開始，MySQL提供了查詢緩衝機制）使用查詢緩衝，MySQL將SELECT語句和查詢結果存放在緩衝區中，
# 從此對於一樣的SELECT語句（區分大小寫），將直接從緩衝區中讀取結果。根據MySQL用戶手冊，使用查詢緩衝最多能夠達到238%的效率。
# 經過檢查狀態值’Qcache_%’，能夠知道query_cache_size設置是否合理：若是Qcache_lowmem_prunes的值很是大，則代表常常出現緩衝不夠的狀況，
# 若是Qcache_hits的值也很是大，則代表查詢緩衝使用很是頻繁，此時須要增長緩衝大小；若是Qcache_hits的值不大，則代表你的查詢重複率很低，
# 這種狀況下使用查詢緩衝反而會影響效率，那麼能夠考慮不用查詢緩衝。此外，在SELECT語句中加入SQL_NO_CACHE能夠明確表示不使用查詢緩衝
query_cache_limit = 2M
#指定單個查詢可以使用的緩衝區大小，默認1M
key_buffer_size = 4M
#指定用於索引的緩衝區大小，增長它可獲得更好處理的索引(對全部讀和多重寫)，到你能負擔得起那樣多。若是你使它太大，
# 系統將開始換頁而且真的變慢了。對於內存在4GB左右的服務器該參數可設置爲384M或512M。經過檢查狀態值Key_read_requests和Key_reads，
# 能夠知道key_buffer_size設置是否合理。比例key_reads/key_read_requests應該儘量的低，
# 至少是1:100，1:1000更好(上述狀態值可使用SHOW STATUS LIKE ‘key_read%’得到)。注意：該參數值設置的過大反而會是服務器總體效率下降
ft_min_word_len = 4
# 分詞詞彙最小長度，默認4
transaction_isolation = REPEATABLE-READ
# MySQL支持4種事務隔離級別，他們分別是：
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.
# 如沒有指定，MySQL默認採用的是REPEATABLE-READ，ORACLE默認的是READ-COMMITTED
log_bin = mysql-bin
binlog_format = mixed
expire_logs_days = 30 #超過30天的binlog刪除
# 日誌暫時不啓動
# log_error = /var/log/mysql/mysql-error.log #錯誤日誌路徑
# slow_query_log = 1
# long_query_time = 1 #慢查詢時間 超過1秒則爲慢查詢
# slow_query_log_file = /var/log/mysql/mysql-slow.log
performance_schema = 0
explicit_defaults_for_timestamp
#lower_case_table_names = 1 #不區分大小寫
skip-external-locking #MySQL選項以免外部鎖定。該選項默認開啓
default-storage-engine = InnoDB #默認存儲引擎
innodb_file_per_table = 1
# InnoDB爲獨立表空間模式，每一個數據庫的每一個表都會生成一個數據空間
# 獨立表空間優勢：
# 1．每一個表都有自已獨立的表空間。
# 2．每一個表的數據和索引都會存在自已的表空間中。
# 3．能夠實現單表在不一樣的數據庫中移動。
# 4．空間能夠回收（除drop table操做處，表空不能自已回收）
# 缺點：
# 單表增長過大，如超過100G
# 結論：
# 共享表空間在Insert操做上少有優點。其它都沒獨立表空間表現好。當啓用獨立表空間時，請合理調整：innodb_open_files
innodb_open_files = 500
# 限制Innodb能打開的表的數據，若是庫裏的表特別多的狀況，請增長這個。這個值默認是300
innodb_buffer_pool_size = 64M
# InnoDB使用一個緩衝池來保存索引和原始數據, 不像MyISAM.
# 這裏你設置越大,你在存取表裏面數據時所須要的磁盤I/O越少.
# 在一個獨立使用的數據庫服務器上,你能夠設置這個變量到服務器物理內存大小的80%
# 不要設置過大,不然,因爲物理內存的競爭可能致使操做系統的換頁顛簸.
# 注意在32位系統上你每一個進程可能被限制在 2-3.5G 用戶層面內存限制,
# 因此不要設置的過高.
innodb_write_io_threads = 4
innodb_read_io_threads = 4
# innodb使用後臺線程處理數據頁上的讀寫 I/O(輸入輸出)請求,根據你的 CPU 核數來更改,默認是4
# 注:這兩個參數不支持動態改變,須要把該參數加入到my.cnf裏，修改完後重啓MySQL服務,容許值的範圍從 1-64
innodb_thread_concurrency = 0
# 默認設置爲 0,表示不限制併發數，這裏推薦設置爲0，更好去發揮CPU多核處理能力，提升併發量
innodb_purge_threads = 1
# InnoDB中的清除操做是一類按期回收無用數據的操做。在以前的幾個版本中，清除操做是主線程的一部分，這意味着運行時它可能會堵塞其它的數據庫操做。
# 從MySQL5.5.X版本開始，該操做運行於獨立的線程中,並支持更多的併發數。用戶可經過設置innodb_purge_threads配置參數來選擇清除操做是否使用單
# 獨線程,默認狀況下參數設置爲0(不使用單獨線程),設置爲 1 時表示使用單獨的清除線程。建議爲1
innodb_flush_log_at_trx_commit = 2
# 0：若是innodb_flush_log_at_trx_commit的值爲0,log buffer每秒就會被刷寫日誌文件到磁盤，提交事務的時候不作任何操做（執行是由mysql的master thread線程來執行的。
# 主線程中每秒會將重作日誌緩衝寫入磁盤的重作日誌文件(REDO LOG)中。不論事務是否已經提交）默認的日誌文件是ib_logfile0,ib_logfile1
# 1：當設爲默認值1的時候，每次提交事務的時候，都會將log buffer刷寫到日誌。
# 2：若是設爲2,每次提交事務都會寫日誌，但並不會執行刷的操做。每秒定時會刷到日誌文件。要注意的是，並不能保證100%每秒必定都會刷到磁盤，這要取決於進程的調度。
# 每次事務提交的時候將數據寫入事務日誌，而這裏的寫入僅是調用了文件系統的寫入操做，而文件系統是有 緩存的，因此這個寫入並不能保證數據已經寫入到物理磁盤
# 默認值1是爲了保證完整的ACID。固然，你能夠將這個配置項設爲1之外的值來換取更高的性能，可是在系統崩潰的時候，你將會丟失1秒的數據。
# 設爲0的話，mysqld進程崩潰的時候，就會丟失最後1秒的事務。設爲2,只有在操做系統崩潰或者斷電的時候纔會丟失最後1秒的數據。InnoDB在作恢復的時候會忽略這個值。
# 總結
# 設爲1固然是最安全的，但性能頁是最差的（相對其餘兩個參數而言，但不是不能接受）。若是對數據一致性和完整性要求不高，徹底能夠設爲2，若是隻最求性能，例如高併發寫的日誌服務器，設爲0來得到更高性能
innodb_log_buffer_size = 2M
# 此參數肯定些日誌文件所用的內存大小，以M爲單位。緩衝區更大能提升性能，但意外的故障將會丟失數據。MySQL開發人員建議設置爲1－8M之間
innodb_log_file_size = 32M
# 此參數肯定數據日誌文件的大小，更大的設置能夠提升性能，但也會增長恢復故障數據庫所需的時間
innodb_log_files_in_group = 3
# 爲提升性能，MySQL能夠以循環方式將日誌文件寫到多個文件。推薦設置爲3
innodb_max_dirty_pages_pct = 90
# innodb主線程刷新緩存池中的數據，使髒數據比例小於90%
innodb_lock_wait_timeout = 120
# InnoDB事務在被回滾以前能夠等待一個鎖定的超時秒數。InnoDB在它本身的鎖定表中自動檢測事務死鎖而且回滾事務。InnoDB用LOCK TABLES語句注意到鎖定設置。默認值是50秒
bulk_insert_buffer_size = 8M
# 批量插入緩存大小， 這個參數是針對MyISAM存儲引擎來講的。適用於在一次性插入100-1000+條記錄時， 提升效率。默認值是8M。能夠針對數據量的大小，翻倍增長。
myisam_sort_buffer_size = 8M
# MyISAM設置恢復表之時使用的緩衝區的尺寸，當在REPAIR TABLE或用CREATE INDEX建立索引或ALTER TABLE過程當中排序 MyISAM索引分配的緩衝區
myisam_max_sort_file_size = 10G
# 若是臨時文件會變得超過索引，不要使用快速排序索引方法來建立一個索引。註釋：這個參數以字節的形式給出
myisam_repair_threads = 1
# 若是該值大於1，在Repair by sorting過程當中並行建立MyISAM表索引(每一個索引在本身的線程內)
interactive_timeout = 28800
# 服務器關閉交互式鏈接前等待活動的秒數。交互式客戶端定義爲在mysql_real_connect()中使用CLIENT_INTERACTIVE選項的客戶端。默認值：28800秒（8小時）
wait_timeout = 28800
# 服務器關閉非交互鏈接以前等待活動的秒數。在線程啓動時，根據全局wait_timeout值或全局interactive_timeout值初始化會話wait_timeout值，
# 取決於客戶端類型(由mysql_real_connect()的鏈接選項CLIENT_INTERACTIVE定義)。參數默認值：28800秒（8小時）
# MySQL服務器所支持的最大鏈接數是有上限的，由於每一個鏈接的創建都會消耗內存，所以咱們但願客戶端在鏈接到MySQL Server處理完相應的操做後，
# 應該斷開鏈接並釋放佔用的內存。若是你的MySQL Server有大量的閒置鏈接，他們不只會白白消耗內存，並且若是鏈接一直在累加而不斷開，
# 最終確定會達到MySQL Server的鏈接上限數，這會報’too many connections’的錯誤。對於wait_timeout的值設定，應該根據系統的運行狀況來判斷。
# 在系統運行一段時間後，能夠經過show processlist命令查看當前系統的鏈接狀態，若是發現有大量的sleep狀態的鏈接進程，則說明該參數設置的過大，
# 能夠進行適當的調整小些。要同時設置interactive_timeout和wait_timeout纔會生效。
## 參考:https://blog.csdn.net/chushoutaizhong/article/details/79972768
複製代碼
建立Mysql 主庫
## my.cnf 配置文件存放位置以實際狀況而定,筆者這裏是Mac下的路徑
docker rm -f mysql_master \ ## 防止屢次重複建立
docker run -d --name mysql_master \
-v /Users/a/Item/conf/mysql_master.cnf:/etc/mysql/my.cnf \
-p 33306:3306 \
-e MYSQL_ROOT_PASSWORD=123456 \
mysql:5.7
## 返回容器ID
>>> 2dca79d4ce07350294d9620cfea5050189ee074cbb1f84772e7c3eefd0144c8f
## 順便獲取主庫的內網IP
docker inspect mysql_master | grep -w IPAddress
>>>"IPAddress": "172.17.0.2"
#### 建立從庫的`my.cnf` 文件
```conf
[mysqld]
server-id=2 ## copy一份主庫的配置後,只須要修改這裏
複製代碼
建立從庫的my.cnf 文件
能夠直接從主庫copy一份過來,改下 server-id 就是從庫的配置文件了docker
cp -f mysql_master.cnf mysql_slave.cnf
sed "s/server-id=1/server-id=2/g" mysql_slave.cnf
## 或者手動修改server-id 不爲主庫相同值
vim mysql_slave.cnf
[mysqld]
server-id = 2 ## 不跟主庫相同即爲從庫
複製代碼
建立Mysql 從庫
## 注意:這裏沒有寫對外開放端口,若是須要能夠 -p port:port
docker rm -f mysql_slave \ ## 防止屢次重複建立
docker run -d --name mysql_slave \
-v /Users/a/Item/conf/mysql_slave.cnf:/etc/mysql/my.cnf \
-p 33307:3306 \
-e MYSQL_ROOT_PASSWORD=123456 \
mysql:5.7
## 返回容器ID
>>> 3578a4bf3da66bb644bf29cb8c5d81ca8099c81c8a7b41d32b99b88594271044
## 順便獲取從庫的內網IP
docker inspect mysql_slave | grep -w IPAddress
>>>"IPAddress": "172.17.0.3"
複製代碼
建立受權帳號容許從庫複製
每一個從庫使用MySQL用戶名和密碼鏈接到主庫，所以主庫上必須有用戶賬戶，從庫能夠鏈接。任何賬戶均可以用於此操做，只要它已被授予 REPLICATION SLAVE權限。能夠選擇爲每一個從庫建立不一樣的賬戶，或者每一個從庫使用相同賬戶鏈接到主庫數據庫
雖然沒必要專門爲複製建立賬戶，但應注意，複製用到的用戶名和密碼會以純文本格式存儲在主信息存儲庫文件或表中 。所以，須要建立一個單獨的賬戶，該賬戶只具備複製過程的權限,儘可能控制vim
## 注!生產環境上禁止把密碼寫在命令行上
docker exec -it mysql_master mysql -uroot -p123456
複製代碼
以root登錄主庫,給從庫添加帳號和受權,每增長一個從庫都得須要從新受權緩存
GRANT REPLICATION SLAVE,RELOAD,SUPER ON *.* TO 'slave_copy'@'172.17.0.3' IDENTIFIED BY 'RememberChargePass';
grant FILE on *.* to 'slave_copy'@'172.17.0.3' identified by 'RememberChargePass';
flush privileges;
複製代碼
查看 Master-Server ，binlog File 文件名稱和 Position值位置 而且記下來安全
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 904 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
複製代碼
從庫鏈接主庫並開啓複製線程
要設置從庫與主庫進行通訊，進行復制，在從庫下執行如下語句bash
docker exec -it mysql_slave mysql -uroot -p123456
複製代碼
參數格式服務器
mysql> CHANGE MASTER TO
-> MASTER_HOST='master_host_name',
-> MASTER_USER='replication_user_name',
-> MASTER_PASSWORD='replication_password',
-> MASTER_LOG_FILE='recorded_log_file_name',
-> MASTER_LOG_POS=recorded_log_position;
複製代碼
實際狀況併發
CHANGE MASTER TO
MASTER_HOST='172.17.0.2',
MASTER_USER='slave_copy',
MASTER_PASSWORD='RememberChargePass',
MASTER_LOG_FILE='mysql-bin.000003',
MASTER_LOG_POS=904;
複製代碼
從庫開啓複製線程
mysql> START SLAVE;
Query OK, 0 rows affected (0.01 sec)
複製代碼
查看從庫同步狀態
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.17.0.2
Master_User: slave_copy
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 904
Relay_Log_File: 779f104f69e3-relay-bin.000002
Relay_Log_Pos: 1070
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 904
Relay_Log_Space: 1284
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
Master_UUID: dbd0d8d2-ea7c-11e9-9b86-0242ac110002
Master_Info_File: /var/lib/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)
複製代碼
檢查主從複製通訊狀態
Slave_IO_State#從站的當前狀態Slave_IO_RunningYes #讀取主程序二進制日誌的I/O線程是否正在運行Slave_SQL_RunningYes #執行讀取主服務器中二進制日誌事件的SQL線程是否正在運行。與I/O線程同樣Seconds_Behind_Master#是否爲0，0就是已經同步了
測試主從複製工具準備
在主庫建立一張測試表並快速生成百萬條測試數據
## 登錄主庫
docker exec -it mysql_master mysql -uroot -p123456
複製代碼
-- 避免發生1814錯誤
set global log_bin_trust_function_creators=TRUE;
-- 建立生成長度爲n的隨機字符串的函數
DELIMITER // -- 修改MySQL delimiter：'//'
DROP FUNCTION IF EXISTS `rand_string` //
SET NAMES utf8 //
CREATE FUNCTION `rand_string` (n INT) RETURNS VARCHAR(255) CHARSET 'utf8'
BEGIN
DECLARE char_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
DECLARE return_str varchar(255) DEFAULT '';
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str = concat(return_str, substring(char_str, FLOOR(1 + RAND()*62), 1));
SET i = i+1;
END WHILE;
RETURN return_str;
END //
-- 建立插入數據的存儲過程
DROP PROCEDURE IF EXISTS `add_vote_record_memory` //
CREATE PROCEDURE `add_vote_record_memory`(IN n INT)
BEGIN
DECLARE i INT DEFAULT 1;
DECLARE vote_num INT DEFAULT 0;
DECLARE group_id INT DEFAULT 0;
DECLARE status TINYINT DEFAULT 1;
WHILE i < n DO
SET vote_num = FLOOR(1 + RAND() * 10000);
SET group_id = FLOOR(0 + RAND()*3);
SET status = FLOOR(1 + RAND()*2);
INSERT INTO `vote_record_memory` VALUES (NULL, rand_string(20), vote_num, group_id, status, NOW());
SET i = i + 1;
END WHILE;
END //
DELIMITER ; -- 改回默認的 MySQL delimiter：';'
-- 調用存儲過程 生成1000條數據
CALL add_vote_record_memory(1000);
複製代碼
查看生成數據數量以及寫入到普通表中
-- 查看內存表生成數據
mysql> SELECT count(*) FROM `vote_record_memory`;
+----------+
| count(*) |
+----------+
| 999 |
+----------+
1 row in set (0.00 sec)
-- 把數據從內存表插入到普通表中
mysql> REPLACE INTO vote_record SELECT * FROM `vote_record_memory`;
Query OK, 999 rows affected (0.02 sec)
Records: 999 Duplicates: 0 Warnings: 0
-- 查詢普通表已的生成記錄
SELECT count(*) FROM `vote_record`;
-- count(*)
-- 105646
複製代碼
主從庫檢驗統一性
安裝 mysqldiff
## Mac
brew install mysql-utilities
## Centos 6.5 +
yum install mysql-utilities
複製代碼
使用方法
mysqldiff --server1='用戶名:密碼@mysql服務器地址' --server2='用戶名:密碼@mysql服務器地址' 數據庫名:數據庫名 --force
複製代碼
檢驗結果
mysqldiff --server1='root:123456@172.17.0.2:3306' --server2='root:123456@172.17.0.3:3306' test_data:test_data --forc
# WARNING: Using a password on the command line interface can be insecure.
# server1 on 172.17.0.2: ... connected.
# server2 on 172.17.0.3: ... connected.
# WARNING: Objects in server1.test_data but not in server2.test_data:
# PROCEDURE: add_vote_record_memory
# FUNCTION: rand_string
# Comparing `test_data` to `test_data` [PASS]
# Comparing `test_data`.`runoob_tbl` to `test_data`.`runoob_tbl` [PASS]
# Comparing `test_data`.`vote_record` to `test_data`.`vote_record` [FAIL]
# Object definitions differ. (--changes-for=server1)
#
--- `test_data`.`vote_record`
+++ `test_data`.`vote_record`
@@ -7,4 +7,4 @@
`create_time` datetime NOT NULL DEFAULT '2019-01-01 00:00:00' COMMENT '建立時間',
PRIMARY KEY (`id`),
KEY `index_user_id` (`user_id`) USING HASH COMMENT '用戶ID哈希索引'
-) ENGINE=InnoDB AUTO_INCREMENT=1000 DEFAULT CHARSET=utf8 COMMENT='投票記錄表'
+) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='投票記錄表'
# Comparing `test_data`.`vote_record_memory` to `test_data`.`vote_record_memory` [FAIL]
# Object definitions differ. (--changes-for=server1)
#
--- `test_data`.`vote_record_memory`
+++ `test_data`.`vote_record_memory`
@@ -7,4 +7,4 @@
`create_time` datetime NOT NULL DEFAULT '2019-01-01 00:00:00',
PRIMARY KEY (`id`),
KEY `index_user_id` (`user_id`) USING HASH
-) ENGINE=InnoDB AUTO_INCREMENT=1000 DEFAULT CHARSET=utf8
+) ENGINE=InnoDB DEFAULT CHARSET=utf8
# Compare failed. One or more differences found.
複製代碼
顯示從庫並無同步,排查緣由
解決問題
查看從庫的同步狀態
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.17.0.2
Master_User: slave_copy
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000004
Read_Master_Log_Pos: 130170909
Relay_Log_File: bc723c0c914e-relay-bin.000004
Relay_Log_Pos: 9444
Relay_Master_Log_File: mysql-bin.000004
Slave_IO_Running: Yes
Slave_SQL_Running: No
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 1418
Last_Error: Error 'This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_function_creators variable)' on query. Default database: 'test_data'. Query: 'CREATE DEFINER=`root`@`%` FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET utf8 BEGIN DECLARE char_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'; DECLARE return_str varchar(255) DEFAULT ''; DECLARE i INT DEFAULT 0; WHILE i < n DO SET return_str = concat(return_str, substring(char_str, FLOOR(1 + RAND()*62), 1)); SET i = i+1; END WHILE; RETURN return_str; END'
......
......
1 row in set (0.00 sec)
複製代碼
發現是主庫建立函數後,由於CREATE PROCEDURE, CREATE FUNCTION, ALTER PROCEDURE,ALTER FUNCTION,CALL, DROP PROCEDURE, DROP FUNCTION等語句都會被寫進二進制日誌,而後在從服務器上執行。可是，一個執行更新的不肯定子程序(存儲過程、函數、觸發器)是不可重複的，在從服務器上執行(相對與主服務器是重複執行)可能會形成恢復的數據與原始數據不一樣，從服務器不一樣於主服務器的狀況。
爲了解決這個問題，MySQL強制要求： 在主服務器上，除非子程序被聲明爲肯定性的或者不更改數據，不然建立或者替換子程序將被拒絕。 這意味着當建立一個子程序的時候，必需要麼聲明它是肯定性的，要麼它不改變數據
在從庫開啓log_bin_trust_function_creators
-- 1. 檢查從庫的參數狀態
mysql> show variables like '%function%';
+---------------------------------+-------+
| Variable_name | Value |
+---------------------------------+-------+
| log_bin_trust_function_creators | OFF |
+---------------------------------+-------+
1 row in set (0.01 sec)
-- 2.暫停複製線程
mysql> stop slave;
Query OK, 0 rows affected (0.01 sec)
-- 3.設置log_bin_trust_function_creators 參數開啓
mysql> set global log_bin_trust_function_creators=1;
Query OK, 0 rows affected (0.00 sec)
-- 4.檢查是否開啓
mysql> show variables like '%func%';
+---------------------------------+-------+
| Variable_name | Value |
+---------------------------------+-------+
| log_bin_trust_function_creators | ON |
+---------------------------------+-------+
1 row in set (0.01 sec)
-- 5. 啓動複製線程
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
-- 6. 檢查從庫狀態.正常
mysql> show slave status \G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.17.0.2
Master_User: slave_copy
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000004
Read_Master_Log_Pos: 130170909
Relay_Log_File: bc723c0c914e-relay-bin.000005
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000004
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 130170909
Relay_Log_Space: 130171502
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
Master_UUID: 841e9d15-ee45-11e9-b0cf-0242ac110002
Master_Info_File: /var/lib/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)
複製代碼
相關文章
- 1. MySQL5.7主從搭建
- 2. 基於Docker搭建MySQL主從複製
- 3. 基於Docker搭建mysql主從複製
- 4. mysql5.7搭建主從庫
- 5. MySQL5.7 搭建主從同步
- 6. centos7 mysql5.7 gtid 搭建主從
- 7. Linux下基於 Docker 搭建 MySQL 主從複製（1 Master+2 Slave）
- 8. 使用 docker +docker-compos 快速搭建 mysql5.7主從數據庫
- 9. 基於AWS EC2，搭建MySQL5.7 一主多從架構
- 10. MySQL5.7--------基於無損複製搭建主從
- 更多相關文章...
- • Swift 環境搭建 - Swift 教程
- • Rust 環境搭建 - RUST 教程
- • ☆基於Java Instrument的Agent實現
- • 適用於PHP初學者的學習線路和建議
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章