pt-online-schema-change在線修改表結構

工具簡介

pt-osc模仿MySQL內部的改表方式進行改表，但整個改表過程是經過對原始表的拷貝來完成的，即在改表過程當中原始表不會被鎖定，並不影響對該表的讀寫操做。
首先，osc建立與原始表相同的不包含數據的新表並按照需求進行表結構的修改，而後將原始表中的數據按chunk大小逐步拷貝到新表中，當拷貝完成後，會自動同時修改原始表和新表的名字並默認將原始表刪除。

pt-online-schema-change原理

一、若是存在外鍵，根據alter-foreign-keys-method參數的值，檢測外鍵相關的表，作相應設置的處理。
二、建立一個新的表，表結構爲修改後的數據表，用於從源數據表向新表中導入數據。
三、建立觸發器，用於記錄從拷貝數據開始以後，對源數據表繼續進行數據修改的操做記錄下來，用於數據拷貝結束後，執行這些操做，保證數據不會丟失。
四、拷貝數據，從源數據表中拷貝數據到新表中。
五、修改外鍵相關的子表，根據修改後的數據，修改外鍵關聯的子表。
六、rename源數據表爲old表，把新表rename爲源表名，並將old表刪除。
七、刪除觸發器。

這個過程當中有兩個問題須要注意：
1. 觸發器
由於整個過程是在線的，爲了將改表過程當中對原始表的更新同時更新到新表上，會建立相應的觸發器，每當發生針對原始表的增刪改操做，就會觸發對新表的相應的操做。因此原始表上不能有其餘觸發器，即若是原始表上存有觸發器，OSC會罷工的。

2. 外鍵
外鍵使改表操做變得更加複雜，若是原始表上有外鍵的話，自動rename原始表和新表的操做就不能順利進行，必需要在數據拷貝完成後將外鍵更新到新表上，該工具備兩種方法來支持這個操做，具體使用參數（--alter-foreign-keys-method）實現。

--alter-foreign-keys-method

    外鍵改表先後必須持續的連接正確的表，當該工具rename原始表並用新表來取代原始表時，外鍵必須正確更新到新表上，而且原始表中的外鍵再也不生效

有兩種方法來實現這個目的，具體參數有四：
（1）auto
  自動決定採用哪一個方法，若是能夠就採用rebuild_constraints，若是不能夠就採用drop_swap

（2）rebuild_constraints
  該方法採用alter table來drop並re-add連接新表的外鍵。除非相關的子表太大使得alter過程花費時間過長，通常都採用該方法。
這裏的花費時間是經過比較子表中的行數和該工具將原始表數據拷貝到新表中的拷貝速率來評估的，若是評估後發現子表中數據可以在少於--chunk-time的時間內alter完成，就會採用該方法。另外，由於在MySQL中alter table比外部拷貝數據的速率快不少，因此拷貝速率是按照--chunk-size-limit來決定的
由於MySQL的限制，外鍵在改表先後的名字會不同，改表後新表中的外鍵名前會加一個下劃線，一樣，會自動的更改外鍵相應的索引名字

（3）drop_swap
  該方法禁止外鍵檢查(FOREIGN_KEY_CHECKS=0)，而後在rename新表以前就將原始表drop掉，這個方法更快並且不會被阻塞，可是風險比較大，風險有二：
在drop掉原始表和rename新表之間有一個時間差，在這段時間裏這個表是不存在的，這會致使查詢報錯
若是rename新表時發生了錯誤，那問題就大了，由於原始表已經被drop掉了

（4）none
  這個方法相似沒有「swap」的drop_swap，原始表中的全部外鍵都會被指定到一個不存在的表上

參數列表

--user:  -u，鏈接的用戶名     

--password：  -p，鏈接的密碼  

--database：  -D，鏈接的數據庫  

--port：  -P，鏈接數據庫的端口  

--host:  -h，鏈接的主機地址  

--socket:  -S，鏈接的套接字文件  

--ask-pass  隱式輸入鏈接MySQL的密碼  

--charset  指定修改的字符集  

--defaults-file  -F，讀取配置文件  

--alter：  

結構變動語句，不須要alter table關鍵字。能夠指定多個更改，用逗號分隔。以下場景，須要注意：  

    不能用RENAME來重命名錶。          

    列不能經過先刪除，再添加的方式進行重命名，不會將數據拷貝到新列。  

    若是加入的列非空並且沒有默認值，則工具會失敗。即其不會爲你設置一個默認值，必須顯示指定。  

    刪除外鍵(drop foreign key constrain_name)時，須要指定名稱_constraint_name，而不是原始的constraint_name。  

    如：CONSTRAINT `fk_foo` FOREIGN KEY (`foo_id`) REFERENCES `bar` (`foo_id`)，須要指定：--alter "DROP FOREIGN KEY _fk_foo"  

--alter-foreign-keys-method  

如何把外鍵引用到新表?須要特殊處理帶有外鍵約束的表,以保證它們能夠應用到新表.當重命名錶的時候,外鍵關係會帶到重命名後的表上。  

該工具備兩種方法,能夠自動找到子表,並修改約束關係。  

    auto： 在rebuild_constraints和drop_swap兩種處理方式中選擇一個。  

    rebuild_constraints：使用 ALTER TABLE語句先刪除外鍵約束,而後再添加.若是子表很大的話,會致使長時間的阻塞。  

    drop_swap： 執行FOREIGN_KEY_CHECKS=0,禁止外鍵約束,刪除原表,再重命名新表。這種方式很快,也不會產生阻塞,可是有風險：  

    1, 在刪除原表和重命名新表的短期內,表是不存在的,程序會返回錯誤。  

    2, 若是重命名錶出現錯誤,也不能回滾了.由於原表已經被刪除。  

    none： 相似"drop_swap"的處理方式,可是它不刪除原表,而且外鍵關係會隨着重命名轉到老表上面。  

--[no]check-alter  

  默認yes，語法解析。配合--dry-run 和 --print 一塊兒運行，來檢查是否有問題（change column，drop primary key）。     

--max-lag  

  默認1s。每一個chunk拷貝完成後，會查看全部複製Slave的延遲狀況。要是延遲大於該值，則暫停複製數據，直到全部從的滯後小於這個值，使用Seconds_Behind_Master。若是有任何從滯後超過此選項的值，則該工具將睡眠--check-interval指定的時間，再檢查。若是從被中止，將會永遠等待，直到從開始同步，而且延遲小於該值。若是指定--check-slave-lag，該工具只檢查該服務器的延遲，而不是全部服務器。     

--check-slave-lag  

  指定一個從庫的DSN鏈接地址,若是從庫超過--max-lag參數設置的值,就會暫停操做。   

--recursion-method  

  默認是show processlist，發現從的方法，也能夠是host，但須要在從上指定report_host，經過show slave hosts來找到，能夠指定none來不檢查Slave。  

  METHOD       USES  

  ===========  ==================  

  processlist  SHOW PROCESSLIST  

  hosts        SHOW SLAVE HOSTS  

  dsn=DSN      DSNs from a table  

  none         Do not find slaves  

  指定none則表示不在意從的延遲。  

 

--check-interval   默認是1。--max-lag檢查的睡眠時間。   

--[no]check-plan   默認yes。檢查查詢執行計劃的安全性。   

--[no]check-replication-filters   

  默認yes。若是工具檢測到服務器選項中有任何複製相關的篩選，如指定binlog_ignore_db和replicate_do_db此類。發現有這樣的篩選，工具會報錯且退出。由於若是更新的表Master上存在，而Slave上不存在，會致使複製的失敗。使用–no-check-replication-filters選項來禁用該檢查。   

--[no]swap-tables   默認yes。交換原始表和新表，除非你禁止--[no]drop-old-table。   

--[no]drop-triggers   

  默認yes，刪除原表上的觸發器。 --no-drop-triggers 會強制開啓 --no-drop-old-table 即：不刪除觸發器就會強制不刪除原表。   

--new-table-name   複製建立新表的名稱，默認%T_new。   

--[no]drop-new-table   默認yes。刪除新表，若是複製組織表失敗。   

--[no]drop-old-table   默認yes。複製數據完成重命名以後，刪除原表。若是有錯誤則會保留原表。   

--max-load   

  默認爲Threads_running=25。每一個chunk拷貝完後，會檢查SHOW GLOBAL STATUS的內容，檢查指標是否超過了指定的閾值。若是超過，則先暫停。這裏能夠用逗號分隔，指定多個條件，每一個條件格式： status指標=MAX_VALUE或者status指標:MAX_VALUE。若是不指定MAX_VALUE，那麼工具會這隻其爲當前值的120%。   

--critical-load   

  默認爲Threads_running=50。用法基本與--max-load相似，若是不指定MAX_VALUE，那麼工具會這隻其爲當前值的200%。若是超過指定值，則工具直接退出，而不是暫停。   

--default-engine   

  默認狀況下，新的表與原始表是相同的存儲引擎，因此若是原來的表使用InnoDB的，那麼新表將使用InnoDB的。在涉及複製某些狀況下，極可能主從的存儲引擎不同。使用該選項會默認使用默認的存儲引擎。      

--set-vars   

  設置MySQL變量，多個用逗號分割。默認該工具設置的是： wait_timeout=10000 innodb_lock_wait_timeout=1 lock_wait_timeout=60      

--chunk-size-limit  

  當須要複製的塊遠大於設置的chunk-size大小,就不復制.默認值是4.0，一個沒有主鍵或惟一索引的表,塊大小就是不肯定的。     

--chunk-time  

  在chunk-time執行的時間內,動態調整chunk-size的大小,以適應服務器性能的變化，該參數設置爲0,或者指定chunk-size,均可以禁止動態調整。     

--chunk-size  

  指定塊的大小,默認是1000行,能夠添加k,M,G後綴.這個塊的大小要儘可能與--chunk-time匹配，若是明確指定這個選項,那麼每一個塊就會指定行數的大小.     

--[no]check-plan  

  默認yes。爲了安全,檢查查詢的執行計劃.默認狀況下,這個工具在執行查詢以前會先EXPLAIN,以獲取一次少許的數據,若是是很差的EXPLAIN,那麼會獲取一次大量的數據，這個工具會屢次執行EXPALIN,若是EXPLAIN不一樣的結果,那麼就會認爲這個查詢是不安全的。      

--statistics  打印出內部事件的數目，能夠看到複製數據插入的數目。     

--dry-run  建立和修改新表，但不會建立觸發器、複製數據、和替換原表。並不真正執行，能夠看到生成的執行語句，瞭解其執行步驟與細節。--dry-run與--execute必須指定一個，兩者相互排斥。和--print配合最佳。  

--execute  肯定修改表，則指定該參數。真正執行。--dry-run與--execute必須指定一個，兩者相互排斥。     

--print  打印SQL語句到標準輸出。指定此選項可讓你看到該工具所執行的語句，和--dry-run配合最佳。    

--progress  複製數據的時候打印進度報告，二部分組成：第一部分是百分比，第二部分是時間。    

--quiet  -q，不把信息標準輸出。

測試用例

添加字段

pt-online-schema-change --user=root --password=123456 --host=192.168.200.25  --alter "ADD COLUMN content text" D=aaa,t=tmp_test --no-check-replication-filters --alter-foreign-keys-method=auto --recursion-method=none --print --execute

刪除字段

pt-online-schema-change --user=root --password=123456 --host=192.168.200.25  --alter "DROP COLUMN content " D=aaa,t=tmp_test --no-check-replication-filters --alter-foreign-keys-method=auto --recursion-method=none --quiet --execute

修改字段

pt-online-schema-change --user=root --password=123456 --host=192.168.200.25  --alter "MODIFY COLUMN age TINYINT NOT NULL DEFAULT 0" D=aaa,t=tmp_test --no-check-replication-filters --alter-foreign-keys-method=auto --recursion-method=none --quiet --execute

字段更名

pt-online-schema-change --user=root --password=123456 --host=192.168.200.25  --alter "CHANGE COLUMN age address varchar(30)" D=aaa,t=tmp_test --no-check-alter --no-check-replication-filters --alter-foreign-keys-method=auto --recursion-method=none --quiet --execute

增長索引

pt-online-schema-change --user=root --password=123456 --host=192.168.200.25  --alter "ADD INDEX idx_address(address)" D=aaa,t=tmp_test --no-check-alter --no-check-replication-filters --alter-foreign-keys-method=auto --recursion-method=none --print --execute

刪除索引

pt-online-schema-change --user=root --password=123456 --host=192.168.200.25  --alter "DROP INDEX idx_address" D=aaa,t=tmp_test --no-check-alter --no-check-replication-filters --alter-foreign-keys-method=auto --recursion-method=none --print --execute 

 

參考：https://blog.csdn.net/lovelichao12/article/details/73549939