MySql的多存儲引擎架構, 默認的引擎InnoDB與 MYISAM的區別(滴滴 阿里)

一、存儲引擎是什麼?

　　MySQL中的數據用各類不一樣的技術存儲在文件(或者內存)中。這些技術中的每一種技術都使用不一樣的存儲機制、索引技巧、鎖定水平而且最終提供普遍的不一樣的功能和能力。經過選擇不一樣的技術，你可以得到額外的速度或者功能，從而改善你的應用的總體功能。這些不一樣的技術以及配套的相關功能在MySQL中被稱做存儲引擎(也稱做表類型)。MySql默認配置了許多不一樣的存儲引擎，能夠預先設置或者在MySql服務器中啓用。

　　二、MYSQL支持的數據引擎

　　MyISAM：最大的特色是不支持事務，默認fulltext 全文索引；(阿里面試)默認的MySQL插件式存儲引擎，它是在Web、數據倉儲和其餘應用環境下最常使用的存儲引擎之一。

　　InnoDB：最大的特色是支持事務處理，默認B+ Tree索引；具備衆多特性，包括ACID事務支持,InnoDB默認加鎖方式是next-key 鎖。。

　　BDB：可替代InnoDB的事務引擎，支持COMMIT、ROLLBACK和其餘事務特性。

　　Memory：默認hash索引；將全部數據保存在RAM中，在須要快速查找引用和其餘相似數據的環境下，可提供極快的訪問。

　　Merge：容許MySQL DBA或開發人員將一系列等同的MyISAM表以邏輯方式組合在一塊兒，並做爲1個對象引用它們。對於諸如數據倉儲等VLDB環境十分適合。

　　Archive：爲大量不多引用的歷史、歸檔、或安全審計信息的存儲和檢索提供了完美的解決方案。

　　Federated：可以將多個分離的MySQL服務器連接起來，從多個物理服務器建立一個邏輯數據庫。十分適合於分佈式環境或數據集市環境。

　　Cluster/NDB：MySQL的簇式數據庫引擎，尤爲適合於具備高性能查找要求的應用程序，這類查找需求還要求具備最高的正常工做時間和可用性。

　　Other：其餘存儲引擎包括CSV(引用由逗號隔開的用做數據庫表的文件)，Blackhole(用於臨時禁止對數據庫的應用程序輸入)，以及Example引擎(可爲快速建立定製的插件式存儲引擎提供幫助)。

 三、   MyISAM引擎與InnoDB的區別（百度面試）：

一、MyIASM是非事務安全的，不支持事務，而InnoDB是事務安全的，支持事務這是最重要的區別(百度面試)

二、MyIASM鎖的粒度是表級的，而InnoDB支持行級鎖

三、MyIASM支持全文類型索引，而InnoDB不支持全文索引

四、MyIASM相對簡單，效率上要優於InnoDB，小型應用能夠考慮使用MyIASM

五、MyIASM表保存成文件形式，跨平臺使用更加方便　

Innodb引擎 

　　Mysql中默認的是MyISAM數據引擎，惋惜此引擎不支持事務處理，咱們須要將默認的數據引擎改成InnoDB。其中InnoDB和BerkeleyDB支持事務處理，只是默認的狀況下都是被disable的。全部的引擎裏面，InnoDB性能最強大，算是商業級的。啓動InnoDB引擎的方法以下：

　　1)關閉mysql的服務

　　2)修改my.ini

　　將default-storage-engine=INNODB前的註釋(#)去掉

　　將skip-innodb這行註釋(加上#)

　　3)保存後重啓mysql服務 

Innodb引擎提供了對數據庫ACID事務的支持，而且實現了SQL標準的四種隔離級別。該引擎還提供了行級鎖和外鍵約束， 

 其實innodb支持三種鎖：Mysql間隙鎖最大的特色是在repeatable read隔離級別下，使用間隙鎖來防止幻讀。(百度面試)

參考：Mysql 間隙鎖原理，以及Repeatable Read隔離級別下能夠防止幻讀原理(百度)

(a)記錄鎖（也叫行鎖），

(b)間隙鎖，

(c)next-key鎖通通屬於排他鎖。

行鎖
記錄鎖其實很好理解，對錶中的記錄加鎖，叫作記錄鎖，簡稱行鎖。

生活中的間隙鎖
編程的思想源於生活，生活中的例子能幫助咱們更好的理解一些編程中的思想。
生活中排隊的場景，小明，小紅，小花三我的依次站成一排，此時，如何讓新來的小剛不能站在小紅旁邊，這時候只要將小紅和她前面的小明之間的空隙封鎖，將小紅和她後面的小花之間的空隙封鎖，那麼小剛就不能站到小紅的旁邊。
這裏的小紅，小明，小花，小剛就是數據庫的一條條記錄。
他們之間的空隙也就是間隙，而封鎖他們之間距離的鎖，叫作間隙鎖。 

next-key鎖
next-key鎖其實包含了記錄鎖和間隙鎖，即鎖定一個範圍，而且鎖定記錄自己，InnoDB默認加鎖方式是next-key 鎖。

 

MyIASM是MySQL默認的引擎，可是它沒有提供對數據庫事務的支持，也不支持行級鎖和外鍵，所以當INSERT(插入)或UPDATE(更新)數據時即寫操做須要鎖定整個表，效率便會低一些。不過和Innodb不一樣，MyIASM中存儲了表的行數，因而SELECT COUNT(*) FROM TABLE時只須要直接讀取已經保存好的值而不須要進行全表掃描。若是表的讀操做遠遠多於寫操做且不須要數據庫事務的支持，那麼MyIASM也是很好的選擇。

應用場景：

一、MyIASM管理非事務表，提供高速存儲和檢索以及全文搜索能力，若是再應用中執行大量select操做，應該選擇MyIASM

二、InnoDB用於事務處理，具備ACID事務支持等特性，若是在應用中執行大量insert和update操做，應該選擇InnoDB

　　這些區別可以影響應用程序的性能和功能，所以你必須針對業務類型來選擇合適的引擎，才能最大的發揮MySQL的性能優點。 

 

 

 

支持多種存儲引擎是衆所周知的MySQL特性，也是MySQL架構的關鍵優點之一。若是可以理解MySQL Server與存儲引擎之間是怎樣經過API交互的，將大大有利於理解MySQL的核心基礎架構。本文將首先介紹MySQL的總體邏輯架構，而後分析MySQL的存儲引擎API並介紹如何編寫本身的MySQL存儲引擎。

MySQL邏輯架構

MySQL做爲一個大型的網絡程序、數據管理系統，架構很是複雜。下圖大體畫出了其邏輯架構。

MySQL由如下幾部分組成：

1. 鏈接池組件。
2. 管理服務和工具組件。
3. SQL接口組件。
4. 查詢分析器組件。
5. 優化器組件。
6. 緩衝（Cache）組件。
7. 插件式存儲引擎。
8. 物理文件。

Connectors

MySQL首先是一個網絡程序，其在TCP之上定義了本身的應用層協議。因此要使用MySQL，咱們能夠編寫代碼，跟MySQL Server創建TCP鏈接，以後按照其定義好的協議進行交互。固然這樣比較麻煩，比較方便的辦法是調用SDK，好比Native C API、JDBC、PHP等各語言MySQL Connector，或者經過ODBC。但經過SDK來訪問MySQL，本質上仍是在TCP鏈接上經過MySQL協議跟MySQL進行交互。

Connection Management

每個基於TCP的網絡服務都須要管理客戶端連接，MySQL也不例外。MySQL會爲每個鏈接綁定一個線程，以後這個鏈接上的全部查詢都在這個線程中執行。爲了不頻繁建立和銷燬線程帶來開銷，MySQL一般會緩存線程或者使用線程池，從而避免頻繁的建立和銷燬線程。

客戶端鏈接到MySQL後，在使用MySQL的功能以前，須要進行認證，認證基於用戶名、主機名、密碼。若是用了SSL或者TLS的方式進行鏈接，還會進行證書認證。

SQL Interface

MySQL支持DML（數據操做語言）、DDL（數據定義語言）、存儲過程、視圖、觸發器、自定義函數等多種SQL語言接口。

Parser

MySQL會解析SQL查詢，併爲其建立語法樹，並根據數據字典豐富查詢語法樹，會驗證該客戶端是否具備執行該查詢的權限。建立好語法樹後，MySQL還會對SQl查詢進行語法上的優化，進行查詢重寫。

Optimizer

語法解析和查詢重寫以後，MySQL會根據語法樹和數據的統計信息對SQL進行優化，包括決定表的讀取順序、選擇合適的索引等，最終生成SQL的具體執行步驟。這些具體的執行步驟裏真正的數據操做都是經過預先定義好的存儲引擎API來進行的，與具體的存儲引擎實現無關。

Caches & Buffers

MySQL內部維持着一些Cache和Buffer，好比Query Cache用來緩存一條Select語句的執行結果，若是可以在其中找到對應的查詢結果，那麼就沒必要再進行查詢解析、優化和執行的整個過程了。

Pluggable Storage Engine

存儲引擎的具體實現，這些存儲引擎都實現了MySQl定義好的存儲引擎API的部分或者所有。MySQL能夠動態安裝或移除存儲引擎，能夠有多種存儲引擎同時存在，能夠爲每一個Table設置不一樣的存儲引擎。存儲引擎負責在文件系統之上，管理表的數據、索引的實際內容，同時也會管理運行時的Cache、Buffer、事務、Log等數據和功能。

MySQL 5.7.11默認支持的存儲引擎以下：

mysql> show engines;
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| Engine             | Support | Comment                                                        | Transactions | XA   | Savepoints |
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| InnoDB             | DEFAULT | Supports transactions, row-level locking, and foreign keys     | YES | YES | YES | | MRG_MYISAM | YES | Collection of identical MyISAM tables | NO | NO | NO | | MEMORY | YES | Hash based, stored in memory, useful for temporary tables | NO | NO | NO | | BLACKHOLE | YES | /dev/null storage engine (anything you write to it disappears) | NO | NO | NO | | MyISAM | YES | MyISAM storage engine | NO | NO | NO | | CSV | YES | CSV storage engine | NO | NO | NO | | ARCHIVE | YES | Archive storage engine | NO | NO | NO | | PERFORMANCE_SCHEMA | YES | Performance Schema | NO | NO | NO | | FEDERATED | NO | Federated MySQL storage engine | NULL | NULL | NULL | +--------------------+---------+----------------------------------------------------------------+--------------+------+------------+ 

File System

全部的數據，數據庫、表的定義，表的每一行的內容，索引，都是存在文件系統上，以文件的方式存在的。固然有些存儲引擎好比InnoDB，也支持不使用文件系統直接管理裸設備，但現代文件系統的實現使得這樣作沒有必要了。

在文件系統之下，可使用本地磁盤，可使用DAS、NAS、SAN等各類存儲系統。

存儲引擎API

MySQL定義了一系列存儲引擎API，以支持插件式存儲引擎架構。API以Handler類的虛函數的方式存在，可在代碼庫下的./sql/handler.h中查看詳細信息，可在handler類的註釋中看到描述：

/** The handler class is the interface for dynamically loadable storage engines. Do not add ifdefs and take care when adding or changing virtual functions to avoid vtable confusion Functions in this class accept and return table columns data. Two data representation formats are used: 1. TableRecordFormat - Used to pass [partial] table records to/from storage engine 2. KeyTupleFormat - used to pass index search tuples (aka "keys") to storage engine. See opt_range.cc for description of this format. TableRecordFormat ================= [Warning: this description is work in progress and may be incomplete] The table record is stored in a fixed-size buffer: record: null_bytes, column1_data, column2_data, ... //篇幅緣由，略去部份內容。 */ class handler :public Sql_alloc { //篇幅緣由，不列出具體代碼。讀者可直接在源碼文件./sql/handler.h中找到具體內容。 }

下面我將分類描述部分存儲引擎API。

建立、打開和關閉表

經過函數create來建立一個table：

/**  *name：要建立的表的名字  *from：一個TABLE類型的結構，要建立的表的定義，跟MySQL Server已經建立好的tablename.frm文件內容是匹配的  *info：一個HA_CREATE_INFO類型的結構，包含了客戶端輸入的CREATE TABLE語句的信息 */ int create(const char *name, TABLE *form, HA_CREATE_INFO *info);

經過函數open來打開一個table：

/** mode包含如下兩種 O_RDONLY - Open read only O_RDWR - Open read/write */ int open(const char *name, int mode, int test_if_locked);

經過函數close來關閉一個table：

int close(void);

對錶加鎖

當客戶端調用LOCK TABLE時，經過external_lock函數加鎖：

int ha_example::external_lock(THD *thd, int lock_type)

全表掃描

//初始化全表掃描 virtual int rnd_init (bool scan); //從表中讀取下一行 virtual int rnd_next (byte* buf);

經過索引訪問table內容

//使用索引前調用該方法 int ha_foo::index_init(uint keynr, bool sorted) //使用索引後調用該方法 int ha_foo::index_end(uint keynr, bool sorted) //讀取索引第一條內容 int ha_index_first(uchar * buf); //讀取索引下一條內容 int ha_index_next(uchar * buf); //讀取索引前一條內容 int ha_index_prev(uchar * buf); //讀取索引最後一條內容 int ha_index_last(uchar * buf); //給定一個key基於索引讀取內容 int index_read(uchar * buf, const uchar * key, uint key_len, enum ha_rkey_function find_flag)

事務處理

//開始一個事務 int my_handler::start_stmt(THD *thd, thr_lock_type lock_type) //回滾一個事務 int (*rollback)(THD *thd, bool all); //提交一個事務 int (*commit)(THD *thd, bool all);

如何編寫本身的存儲引擎

在MySQL的官方文檔上，有對於編寫本身的存儲引擎的指導文檔，連接以下。

做爲編寫本身存儲引擎的開始，你能夠查看MySQL源碼庫中的一個EXAMPLE存儲引擎，它實現了必需要實現的存儲引擎API，能夠經過複製它們做爲編寫咱們本身存儲引擎的開始：

sed -e s/EXAMPLE/FOO/g -e s/example/foo/g ha_example.h > ha_foo.h
sed -e s/EXAMPLE/FOO/g -e s/example/foo/g ha_example.cc > ha_foo.cc