源碼淺析：MySQL一條insert操做，會寫哪些文件？包括UNDO相關的文件嗎？

時間 2020-03-18

標籤源碼淺析 mysql 一條 insert 哪些文件包括 undo 相關欄目 MySQL 简体版

原文原文鏈接

DML操做的大體流程node

在解答上述疑惑以前，咱們來梳理一下DML操做的大體流程：mysql

一、語法解析、語義解析sql

二、生成執行計劃數據結構

三、事務修改階段函數

　　1) 激活事務，事務狀態由not_active變爲active工具

　　2) 查找定位數據ui

　　3) 樂觀插入this

　　4) 記錄insert相關的undo記錄，並將undo記錄的變化寫入redo log bufferspa

　　5) 進行insert 元組插入，及實際的插入操做，並寫入到redo log buffer指針

　　6) binlog event 寫入到 binlog cache

四、事務提交階段

　　1) 事務prepare

　　2) redo組提交，redo落盤

　　3) flush binlog cache到binlog文件，而後fsync binlog文件將它落盤

　　4) innodb進行提交，事務狀態由prepare變爲not_active

寫了哪些文件？會寫UNDO相關的文件嗎？

從上述流程中能夠看到，主要對redo log file和binlog進行了寫入。

那麼是否會實時地寫入Undo tablespace呢？

咱們先來簡單地分析一下：

1.磁盤中的undo segment，不論它是保存在system tablespace中，仍是保存在獨立的undo tablespace中，根據頁的物理結構（參考阿里內核月報）來看，它們是離散地分佈在表空間文件中的。所以須要讀/寫的時候，會產生不少的隨機讀寫io操做，而隨機讀寫的效率是很是低的；

2.Innodb使用了不少種方法來將磁盤隨機讀寫儘量地轉換成順序讀寫，好比change buffer特性、WAL特性、MRR、extent塊管理，等等。上述這些都是在儘量地減小磁盤隨機讀寫。因此Innodb應該不會將undo日誌實時地落盤；

3.在上述流程中的3.4部分，已經將Undo的變化寫入到redo log buffer了，redo會在事務提交時落盤，因此即便在事務失敗、Undo沒有落盤的狀況下實例宕機，從新啓動實例的時候，也會從redo中找到Undo來回滾，從而保證事務的原子性。

綜上，能夠初步判斷Undo不會實時地落盤。可是這只是根據原理來進行分析的，爲了肯定個人分析是否正確，能夠打開源碼進行分析驗證，或使用strace等工具來驗證。

如下是源碼淺析：

插入的流程：

 1     //trx_undof_page_add_undo_rec_log--記錄undo的redo log 入redo buffer
 2 >    mysqld.exe!trx_undof_page_add_undo_rec_log(unsigned char * undo_page, unsigned __int64 old_free, unsigned __int64 new_free, mtr_t * mtr) 行 74
 3      mysqld.exe!trx_undo_page_set_next_prev_and_add(unsigned char * undo_page, unsigned char * ptr, mtr_t * mtr) 行 204
 4      //trx_undo_page_report_insert--記錄insert的undo記錄
 5     mysqld.exe!trx_undo_page_report_insert(unsigned char * undo_page, trx_t * trx, dict_index_t * index, const dtuple_t * clust_entry, mtr_t * mtr) 行 537
 6      mysqld.exe!trx_undo_report_row_operation(unsigned __int64 flags, unsigned __int64 op_type, que_thr_t * thr, dict_index_t * index, const dtuple_t * clust_entry, const upd_t * update, unsigned __int64 cmpl_info, const unsigned char * rec, const unsigned __int64 * offsets, unsigned __int64 * roll_ptr) 行 1951
 7      mysqld.exe!btr_cur_ins_lock_and_undo(unsigned __int64 flags, btr_cur_t * cursor, dtuple_t * entry, que_thr_t * thr, mtr_t * mtr, unsigned __int64 * inherit) 行 2984
 8      //btr_cur_optimistic_insert--進行樂觀插入
 9     mysqld.exe!btr_cur_optimistic_insert(unsigned __int64 flags, btr_cur_t * cursor, unsigned __int64 * * offsets, mem_block_info_t * * heap, dtuple_t * entry, unsigned char * * rec, big_rec_t * * big_rec, unsigned __int64 n_ext, que_thr_t * thr, mtr_t * mtr) 行 3244
10      mysqld.exe!row_ins_clust_index_entry_low(unsigned __int64 flags, unsigned __int64 mode, dict_index_t * index, unsigned __int64 n_uniq, dtuple_t * entry, unsigned __int64 n_ext, que_thr_t * thr, bool dup_chk_only) 行 2447
11      mysqld.exe!row_ins_clust_index_entry(dict_index_t * index, dtuple_t * entry, que_thr_t * thr, unsigned __int64 n_ext, bool dup_chk_only) 行 3162
12      mysqld.exe!row_ins_index_entry(dict_index_t * index, dtuple_t * entry, que_thr_t * thr) 行 3292
13      mysqld.exe!row_ins_index_entry_step(ins_node_t * node, que_thr_t * thr) 行 3442
14      mysqld.exe!row_ins(ins_node_t * node, que_thr_t * thr) 行 3584
15      mysqld.exe!row_ins_step(que_thr_t * thr) 行 3769
16      mysqld.exe!row_insert_for_mysql_using_ins_graph(const unsigned char * mysql_rec, row_prebuilt_t * prebuilt) 行 1734
17      mysqld.exe!row_insert_for_mysql(const unsigned char * mysql_rec, row_prebuilt_t * prebuilt) 行 1853
18      mysqld.exe!ha_innobase::write_row(unsigned char * record) 行 7484
19      mysqld.exe!handler::ha_write_row(unsigned char * buf) 行 7845
20      mysqld.exe!write_record(THD * thd, TABLE * table, COPY_INFO * info, COPY_INFO * update) 行 1860
21      mysqld.exe!Sql_cmd_insert::mysql_insert(THD * thd, TABLE_LIST * table_list) 行 780
22      mysqld.exe!Sql_cmd_insert::execute(THD * thd) 行 3092
23      mysqld.exe!mysql_execute_command(THD * thd, bool first_level) 行 3520
24      mysqld.exe!mysql_parse(THD * thd, Parser_state * parser_state) 行 5519
25      mysqld.exe!dispatch_command(THD * thd, const COM_DATA * com_data, enum_server_command command) 行 1432
26      mysqld.exe!do_command(THD * thd) 行 997
27      mysqld.exe!handle_connection(void * arg) 行 301
28      mysqld.exe!pfs_spawn_thread(void * arg) 行 2190
29      mysqld.exe!win_thread_start(void * p) 行 37

其中，trx_undo_page_report_insert函數的代碼以下：

 1 /**********************************************************************//**
 2 在UNDO日誌中報告彙集索引記錄的插入。注意：這裏的UNDO日誌，指的是內存中的數據結構
 3 @return在頁面上插入的條目的偏移量（若是成功），若是失敗則爲0 */
 4 static
 5 ulint
 6 trx_undo_page_report_insert(
 7 /*========================*/
 8     page_t*        undo_page,    /*!< in: undo log page */
 9     trx_t*        trx,        /*!< in: transaction */
10     dict_index_t*    index,        /*!< in: clustered index */
11     const dtuple_t*    clust_entry,    /*!< in: index entry which will be
12                     inserted to the clustered index */
13     mtr_t*        mtr)        /*!< in: mtr */
14 {
15     ulint        first_free;
16     byte*        ptr;
17     ulint        i;
18 
19     //...省略若干內容
20 
21 
22     /* 預留2字節給指向下一條UNDO日誌的指針 */
23     ptr += 2;
24 
25     /* Store first some general parameters to the undo log */
26     *ptr++ = TRX_UNDO_INSERT_REC;
27     ptr += mach_u64_write_much_compressed(ptr, trx->undo_no);
28     ptr += mach_u64_write_much_compressed(ptr, index->table->id);
29     /*----------------------------------------*/
30     /* 而後存儲惟一肯定要在聚簇索引中插入的記錄所需的字段 */
31 
32     for (i = 0; i < dict_index_get_n_unique(index); i++) {
33 
34         const dfield_t*    field    = dtuple_get_nth_field(clust_entry, i);
35         ulint        flen    = dfield_get_len(field);
36 
37         if (trx_undo_left(undo_page, ptr) < 5) {
38 
39             return(0);
40         }
41 
42         ptr += mach_write_compressed(ptr, flen);
43 
44         if (flen != UNIV_SQL_NULL) {
45             if (trx_undo_left(undo_page, ptr) < flen) {
46 
47                 return(0);
48             }
49 
50             ut_memcpy(ptr, dfield_get_data(field), flen);
51             ptr += flen;
52         }
53     }
54 
55     if (index->table->n_v_cols) {
56         if (!trx_undo_report_insert_virtual(
57             undo_page, index->table, clust_entry, &ptr)) {
58             return(0);
59         }
60     }
61     /* 調用trx_undo_page_set_next_prev_and_add函數 */
62     return(trx_undo_page_set_next_prev_and_add(undo_page, ptr, mtr));
63 }

trx_undo_page_set_next_prev_and_add函數的代碼以下：

 1 /**********************************************************************//**
 2 在UNDO page中爲寫入到ptr的撤消記錄設置下一個和上一個指針。 經過爲此UNDO日誌寫入的字節數更新第一個空閒值。
 3 @return在頁面上插入的條目的偏移量（若是成功），若是失敗則爲0 */
 4 static
 5 ulint
 6 trx_undo_page_set_next_prev_and_add(
 7 /*================================*/
 8     page_t*        undo_page,    /*!< in/out: undo log page */
 9     byte*        ptr,        /*!< in: ptr up to where data has been
10                     written on this undo page. */
11     mtr_t*        mtr)        /*!< in: mtr */
12 {
13     ulint        first_free;    /*!< offset within undo_page */
14     ulint        end_of_rec;    /*!< offset within undo_page */
15     byte*        ptr_to_first_free;
16                     /* pointer within undo_page
17                     that points to the next free
18                     offset value within undo_page.*/
19 
20     //...省略若干代碼
21 
22     ptr_to_first_free = undo_page + TRX_UNDO_PAGE_HDR + TRX_UNDO_PAGE_FREE;
23 
24     first_free = mach_read_from_2(ptr_to_first_free);
25 
26     /* 寫入上一個UNDO日誌記錄的偏移量 */
27     mach_write_to_2(ptr, first_free);
28     ptr += 2;
29 
30     end_of_rec = ptr - undo_page;
31 
32     /* 寫入下一個UNDO日誌記錄的偏移量 */
33     mach_write_to_2(undo_page + first_free, end_of_rec);
34 
35     /* 將偏移量更新爲第一個空閒的UNDO記錄 */
36     mach_write_to_2(ptr_to_first_free, end_of_rec);
37 
38     /* 將此日誌條目寫入UNDO日誌,註釋原文是Write this log entry to the UNDO log，
39     可是你不要被此處的UNDO log迷惑了誤覺得是磁盤中的文件，其實Innodb代碼中的UNDO log，
40     我以爲應該理解爲UNDO entry,指的是內存中的內容 */
41     trx_undof_page_add_undo_rec_log(undo_page, first_free,
42                     end_of_rec, mtr);
43 
44     return(first_free);
45 }

trx_undof_page_add_undo_rec_log函數的代碼以下：

 1 /************************************************************************
 2 將插入的UNDO條目的mtr日誌條目寫入到redo log buffer。註釋原文是：
 3 Writes the mtr log entry of the inserted undo log record on the undo log page.
 4 可是請注意，這裏並非將undo落盤 */
 5 UNIV_INLINE
 6 void
 7 trx_undof_page_add_undo_rec_log(
 8 /*============================*/
 9     page_t* undo_page,    /*!< in: undo log page */
10     ulint    old_free,    /*!< in: start offset of the inserted entry */
11     ulint    new_free,    /*!< in: end offset of the entry */
12     mtr_t*    mtr)        /*!< in: mtr */
13 {
14     byte*        log_ptr;
15     const byte*    log_end;
16     ulint        len;
17 
18     log_ptr = mlog_open(mtr, 11 + 13 + MLOG_BUF_MARGIN);
19 
20     if (log_ptr == NULL) {
21 
22         return;
23     }
24 
25     log_end = &log_ptr[11 + 13 + MLOG_BUF_MARGIN];
26     /*mlog_write_initial_log_record_fast,是mini-transaction相關的函數，用來將redo條目寫入到redo log buffer
27     MLOG_UNDO_INSERT,是redo日誌類型的一種，是在將一條記錄設置爲頁面中的最小記錄時產生的，由於只是打個標記，存儲的內容比較簡單*/
28     log_ptr = mlog_write_initial_log_record_fast(
29         undo_page, MLOG_UNDO_INSERT, log_ptr, mtr);
30     len = new_free - old_free - 4;
31 
32     mach_write_to_2(log_ptr, len);
33     log_ptr += 2;
34 
35     if (log_ptr + len <= log_end) {
36         memcpy(log_ptr, undo_page + old_free + 2, len);
37         mlog_close(mtr, log_ptr + len);
38     } else {
39         mlog_close(mtr, log_ptr);
40         mlog_catenate_string(mtr, undo_page + old_free + 2, len);
41     }
42 }