mysql bin_log 日誌格式詳解

MySQL 5.5 中對於二進制日誌 (binlog) 有 3 種不一樣的格式可選：Mixed,Statement,Row，默認格式是 Statement。總結一下這三種格式日誌的優缺點。

 

MySQL Replication 複製能夠是基於一條語句 (Statement Level) ，也能夠是基於一條記錄 (Row Level)，能夠在 MySQL 的配置參數中設定這個複製級別，不一樣複製級別的設置會影響到 Master 端的 bin-log 日誌格式。

1. Row

日誌中會記錄成每一行數據被修改的形式，而後在 slave 端再對相同的數據進行修改。

優勢：在 row 模式下，bin-log 中能夠不記錄執行的 SQL 語句的上下文相關的信息，僅僅只須要記錄那一條記錄被修改了，修改爲什麼樣了。因此 row 的日誌內容會很是清楚的記錄下每一行數據修改的細節，很是容易理解。並且不會出現某些特定狀況下的存儲過程或 function ，以及 trigger 的調用和觸發沒法被正確複製的問題。

缺點：在 row 模式下，全部的執行的語句當記錄到日誌中的時候，都將以每行記錄的修改來記錄，這樣可能會產生大量的日誌內容，好比有這樣一條 update 語句：

1	UPDATE product SET owner_member_id = 'b' WHERE owner_member_id = 'a'

執行以後，日誌中記錄的不是這條 update 語句所對應的事件 (MySQL 以事件的形式來記錄 bin-log 日誌) ，而是這條語句所更新的每一條記錄的變化狀況，這樣就記錄成不少條記錄被更新的不少個事件。天然，bin-log 日誌的量就會很大。尤爲是當執行 alter table 之類的語句的時候，產生的日誌量是驚人的。由於 MySQL 對於 alter table 之類的表結構變動語句的處理方式是整個表的每一條記錄都須要變更，實際上就是重建了整個表。那麼該表的每一條記錄都會被記錄到日誌中。

2. Statement

每一條會修改數據的 SQL 都會記錄到 master 的 bin-log 中。slave 在複製的時候 SQL 進程會解析成和原來 master 端執行過的相同的 SQL 再次執行。

優勢：在 statement模式下，首先就是解決了 row 模式的缺點，不須要記錄每一行數據的變化，減小了 bin-log 日誌量，節省 I/O 以及存儲資源，提升性能。由於他只須要記錄在 master 上所執行的語句的細節，以及執行語句時候的上下文的信息。

缺點：在 statement模式下，因爲他是記錄的執行語句，因此，爲了讓這些語句在 slave 端也能正確執行，那麼他還必須記錄每條語句在執行的時候的一些相關信息，也就是上下文信息，以保證全部語句在 slave 端杯執行的時候可以獲得和在 master 端執行時候相同的結果。另外就是，因爲 MySQL如今發展比較快，不少的新功能不斷的加入，使 MySQL 的複製遇到了不小的挑戰，天然複製的時候涉及到越複雜的內容，bug 也就越容易出現。在 statement 中，目前已經發現的就有很多狀況會形成 MySQL 的複製出現問題，主要是修改數據的時候使用了某些特定的函數或者功能的時候會出現，好比：sleep() 函數在有些版本中就不能被正確複製，在存儲過程當中使用了 last_insert_id() 函數，可能會使 slave 和 master 上獲得不一致的 id 等等。因爲 row 是基於每一行來記錄的變化，因此不會出現相似的問題。

3. Mixed

從官方文檔中看到，以前的 MySQL 一直都只有基於 statement 的複製模式，直到 5.1.5 版本的 MySQL 纔開始支持 row 複製。從 5.0 開始，MySQL 的複製已經解決了大量老版本中出現的沒法正確複製的問題。可是因爲存儲過程的出現，給 MySQL Replication 又帶來了更大的新挑戰。另外，看到官方文檔說，從 5.1.8 版本開始，MySQL 提供了除 Statement 和 Row 以外的第三種複製模式：Mixed，實際上就是前兩種模式的結合。在 Mixed 模式下，MySQL 會根據執行的每一條具體的 SQL 語句來區分對待記錄的日誌形式，也就是在 statement 和 row 之間選擇一種。新版本中的 statment 仍是和之前同樣，僅僅記錄執行的語句。而新版本的 MySQL 中對 row 模式也被作了優化，並非全部的修改都會以 row 模式來記錄，好比遇到表結構變動的時候就會以 statement 模式來記錄，若是 SQL 語句確實就是 update 或者 delete 等修改數據的語句，那麼仍是會記錄全部行的變動。

其餘參考信息

除如下幾種狀況外，在運行時能夠動態改變 binlog 的格式：

. 存儲流程或者觸發器中間；

. 啓用了 NDB；

. 當前會話使用 row 模式，而且已打開了臨時表；

若是 binlog 採用了 Mixed 模式，那麼在如下幾種狀況下會自動將 binlog 的模式由 statement 模式變爲 row 模式：

. 當 DML 語句更新一個 NDB 表時；

. 當函數中包含 UUID() 時；

. 2 個及以上包含 AUTO_INCREMENT 字段的表被更新時；

. 執行 INSERT DELAYED 語句時；

. 用 UDF 時；

. 視圖中必需要求運用 row 時，例如創建視圖時使用了 UUID() 函數；

設定主從複製模式：

1 2 3 4

log-bin=mysql-bin #binlog_format="STATEMENT" #binlog_format="ROW" binlog_format="MIXED"

也能夠在運行時動態修改 binlog 的格式。例如：

1 2 3 4 5 6

mysql> SET SESSION binlog_format = 'STATEMENT'; mysql> SET SESSION binlog_format = 'ROW'; mysql> SET SESSION binlog_format = 'MIXED'; mysql> SET GLOBAL binlog_format = 'STATEMENT'; mysql> SET GLOBAL binlog_format = 'ROW'; mysql> SET GLOBAL binlog_format = 'MIXED';

兩種模式的對比：

Statement 優勢

歷史悠久，技術成熟；

產生的 binlog 文件較小；

binlog中包含了全部數據庫修改信息，能夠據此來審覈數據庫的安全等狀況；

binlog能夠用於實時的還原，而不只僅用於複製；

主從版本能夠不同，從服務器版本能夠比主服務器版本高；

Statement 缺點：

不是全部的 UPDATE 語句都能被複制，尤爲是包含不肯定操做的時候；

調用具備不肯定因素的 UDF 時複製也可能出現問題；

運用如下函數的語句也不能被複制：

* LOAD_FILE()

* UUID()

* USER()

* FOUND_ROWS()

* SYSDATE() (除非啓動時啓用了 –sysdate-is-now 選項)

INSERT… SELECT 會產生比 RBR 更多的行級鎖；

複製需要執行全表掃描 (WHERE 語句中沒有運用到索引) 的 UPDATE 時，需要比 row 請求更多的行級鎖；

對於有 AUTO_INCREMENT 字段的 InnoDB 表而言，INSERT 語句會阻塞其餘 INSERT 語句；

對於一些複雜的語句，在從服務器上的耗資源狀況會更嚴重，而 row 模式下，只會對那個發生變化的記錄產生影響；

存儲函數(不是存儲流程 )在被調用的同時也會執行一次 NOW() 函數，這個能夠說是壞事也多是好事；

肯定了的 UDF 也需要在從服務器上執行；

數據表必須幾乎和主服務器保持一致才行，不然可能會致使複製出錯；

執行復雜語句若是出錯的話，會消耗更多資源；

Row 優勢

任何狀況均可以被複制，這對複製來講是最安全可靠的；

和其餘大多數數據庫系統的複製技能同樣；

多數狀況下，從服務器上的表若是有主鍵的話，複製就會快了不少；

複製如下幾種語句時的行鎖更少：

* INSERT … SELECT

* 包含 AUTO_INCREMENT 字段的 INSERT

* 沒有附帶條件或者並無修改不少記錄的 UPDATE 或 DELETE 語句

執行 INSERT，UPDATE，DELETE 語句時鎖更少；

從服務器上採用多線程來執行復製成爲可能；

Row 缺點

生成的 binlog 日誌體積大了不少；

複雜的回滾時 binlog 中會包含大量的數據；

主服務器上執行 UPDATE 語句時，全部發生變化的記錄都會寫到 binlog 中，而 statement 只會寫一次，這會致使頻繁發生 binlog的寫併發請求；

UDF 產生的大 BLOB 值會致使複製變慢；

不能從 binlog 中看到都複製了寫什麼語句(加密過的)；

當在非事務表上執行一段堆積的 SQL 語句時，最好採用 statement 模式，不然很容易致使主從服務器的數據不一致狀況發生；

另外，針對系統庫 MySQL 裏面的表發生變化時的處理準則以下：

若是是採用 INSERT，UPDATE，DELETE 直接操做表的狀況，則日誌格式根據 binlog_format 的設定而記錄；

若是是採用 GRANT，REVOKE，SET PASSWORD 等管理語句來作的話，那麼不管如何都要使用 statement 模式記錄；

使用 statement 模式後，能處理不少原先出現的主鍵重複問題；