mysql原理圖各個組件說明:
1. connectorsphp
與其餘編程語言中的sql 語句進行交互,如php、java等。java
2. Management Serveices & Utilitiesmysql
系統管理和控制工具sql
3. Connection Pool (鏈接池)數據庫
管理緩衝用戶鏈接,線程處理等須要緩存的需求編程
4. SQL Interface (SQL接口)後端
接受用戶的SQL命令,而且返回用戶須要查詢的結果。好比select from就是調用SQL Interface緩存
5. Parser (解析器)安全
SQL命令傳遞到解析器的時候會被解析器驗證和解析。服務器
主要功能:
a . 將SQL語句分解成數據結構,並將這個結構傳遞到後續步驟,後面SQL語句的傳遞和處理就是基於這個結構的
b. 若是在分解構成中遇到錯誤,那麼就說明這個sql語句是不合理的,語句將不會繼續執行下去
6. Optimizer (查詢優化器)
SQL語句在查詢以前會使用查詢優化器對查詢進行優化(產生多種執行計劃,最終數據庫會選擇最優化的方案去執行,儘快返會結果) 他使用的是「選取-投影-聯接」策略進行查詢。
用一個例子就能夠理解:select uid,name from user where gender = 1;
這個select 查詢先根據where 語句進行選取,而不是先將表所有查詢出來之後再進行gender過濾
這個select查詢先根據uid和name進行屬性投影,而不是將屬性所有取出之後再進行過濾
將這兩個查詢條件聯接起來生成最終查詢結果.
7. Cache和Buffer (查詢緩存)
若是查詢緩存有命中的查詢結果,查詢語句就能夠直接去查詢緩存中取數據。
這個緩存機制是由一系列小緩存組成的。好比表緩存,記錄緩存,key緩存,權限緩存等
8.Engine (存儲引擎)
存儲引擎是MySql中具體的與文件打交道的子系統。也是Mysql最具備特點的一個地方。
Mysql的存儲引擎是插件式的。它根據MySql AB公司提供的文件訪問層的一個抽象接口來定製一種文件訪問機制(這種訪問機制就叫存儲引擎)
SQL 語句執行過程
數據庫一般不會被直接使用,而是由其餘編程語言經過SQL語句調用mysql,由mysql處理並返回執行結果。那麼Mysql接受到SQL語句後,又是如何處理
首先程序的請求會經過mysql的connectors與其進行交互,請求處處後,會暫時存放在鏈接池(connection pool)中並由處理器(Management Serveices & Utilities)管理。當該請求從等待隊列進入處處理隊列,管理器會將該請求丟給SQL接口(SQL Interface)。SQL接口接收到請求後,它會將請求進行hash處理並與緩存中的結果進行對比,若是徹底匹配則經過緩存直接返回處理結果;不然,須要完整的走一趟流程:
(1)由SQL接口丟給後面的解釋器(Parser),解釋器會判斷SQL語句正確與否,若正確則將其轉化爲數據結構。
(2)解釋器處理完,便來到後面的優化器(Optimizer),它會產生多種執行計劃,最終數據庫會選擇最優化的方案去執行,儘快返會結果。
(3)肯定最優執行計劃後,SQL語句此時即可以交由存儲引擎(Engine)處理,存儲引擎將會到後端的存儲設備中取得相應的數據,並原路返回給程序。
注意點
(1)如何緩存查詢數據
存儲引擎處理完數據,並將其返回給程序的同時,它還會將一份數據保留在緩存中,以便更快速的處理下一次相同的請求。具體狀況是,mysql會將查詢的語句、執行結果等進行hash,並保留在cache中,等待下次查詢。
(2)buffer與cache的區別
從mysql原理圖能夠看到,緩存那裏實際上有buffer和cache兩個,那它們之間的區別:簡單的說就是,buffer是寫緩存,cache是讀緩存。
(3)如何判斷緩存中是否已緩存須要的數據
這裏可能有一個誤區,以爲處理SQL語句的時候,爲了判斷是否已緩存查詢結果,會將整個流程走一遍,取得執行結果後再與須要的進行對比,看看是否命中,並以此說,既然無論緩存中有沒有緩存到查詢內容,都要整個流程走一遍,那緩存的優點在哪?
其實並非這樣,在第一次查詢後,mysql便將查詢語句以及查詢結果進行hash處理並保留在緩存中,SQL查詢到達以後,對其進行一樣的hash處理後,將兩個hash值進行對照,若是同樣,則命中,從緩存中返回查詢結果;不然,須要整個流程走一遍。
當數據庫中有多個操做須要修改同一數據時,不可避免的會產生數據的髒讀。這時就須要數據庫具備良好的併發控制能力,這一切在MySQL中都是由服務器和存儲引擎來實現的。
解決併發問題最有效的方案是引入了鎖的機制,鎖在功能上分爲共享鎖(shared lock)和排它鎖(exclusive lock)即一般說的讀鎖和寫鎖。當一個select語句在執行時能夠施加讀鎖,這樣就能夠容許其它的select操做進行,由於在這個過程當中數據信息是不會被改變的這樣就可以提升數據庫的運行效率。當須要對數據更新時,就須要施加寫鎖了,不在容許其它的操做進行,以避免產生數據的髒讀和幻讀。鎖一樣有粒度大小,有表級鎖(table lock)和行級鎖(row lock),分別在數據操做的過程當中完成行的鎖定和表的鎖定。這些根據不一樣的存儲引擎所具備的特性也是不同的。
MySQL大多數事務型的存儲引擎都不是簡單的行級鎖,基於性能的考慮,他們通常都同時實現了多版本併發控制(MVCC)。這一方案也被Oracle等主流的關係數據庫採用。它是經過保存數據中某個時間點的快照來實現的,這樣就保證了每一個事務看到的數據都是一致的。詳細的實現原理能夠參考《高性能MySQL》第三版。
4.事務
1.簡單的說事務就是一組原子性的SQL語句。能夠將這組語句理解成一個工做單元,要麼所有執行要麼都不執行。在MySQL中可使用以下命令操做事務:
start transaction;
select …
update …
insert …
commit;
注意:默認MySQL中自動提交是開啓的:
2.事務具備ACID的特性:
原子性(atomicity):事務中的全部操做要麼所有提交成功,要麼所有失敗回滾。
一致性(consistency):數據庫老是從一個一致性狀態轉換到另外一個一致性狀態。
隔離性(isolation):一個事務所作的修改在提交以前對其它事務是不可見的。
持久性(durability):一旦事務提交,其所作的修改便會永久保存在數據庫中。
3.事務的隔離級別:在SQL標準中定義了四種隔離級別:
READ UNCOMMITTED(讀未提交):事務中的修改即便未提交也是對其它事務可見
READ COMMITTED(讀提交):事務提交後所作的修改纔會被另外一個事務看見,可能產生一個事務中兩次查詢的結果不一樣。
REPEATABLE READ(可重讀):只有當前事務提交才能看見另外一個事務的修改結果。解決了一個事務中兩次查詢的結果不一樣的問題。
SERIALIZABLE(串行化):只有一個事務提交以後纔會執行另外一個事務。
4.MySQL中能夠利用以下語句查詢並臨時修改隔離級別:
5.死鎖:兩個或多個事務在同一資源上相互佔用並請求鎖定對方佔用的資源,從而致使惡性循環的現象。MySQL的部分存儲引擎可以檢測到死鎖的循環依賴併產生相應的錯誤。InnoDB引擎解決死鎖的方案是將持有最少排它鎖的事務進行回滾。
5.MySQL存儲引擎及應用方案
1.MySQL採用插件式的存儲引擎架構,能夠根據不一樣的需求爲不一樣的表設置不一樣的存儲引擎。能夠經過以下命令顯示數據庫中表的狀態信息,以user表爲例,顯示以下:
- Name:顯示的是表名
- Engine:顯示存儲引擎,該表存儲引擎爲MyISAM
- Row_format:顯示行格式,對於MyISAM有Dynamic、Fixed和Compressed三種。非別表示表中有可變的數據類型,表中數據類型爲固定的,以及表是壓縮表的環境。
- Rows:顯示錶中行數
- Avg_row_length:平均行長度(字節)
- Data_length:數據長度(字節)
- Max_data_length:最大存儲數據長度(字節)
- Data_free:已分配但未使用的空間,包括刪除數據空餘出來的空間
- Auto_increment:下一個插入行自動增加字段的值
- Create_time:表的建立時間
- Update_time:表數據的最後修改時間
- Collation:表的默認字符集及排序規則
- Checksum:若是啓用,表示整個表的實時校驗和
- Create_options:建立表示的一些其它選項
- Comment:額外的一些註釋信息,根據存儲引擎的不一樣表示的內容也不脛相同。
2.存儲引擎介紹:
InnoDB引擎:
1.將數據存儲在表空間中,表空間由一系列的數據文件組成,由InnoDB管理;
2.支持每一個表的數據和索引存放在單獨文件中(innodb_file_per_table);
3.支持事務,採用MVCC來控制併發,並實現標準的4個事務隔離級別,支持外鍵;
4.索引基於聚簇索引創建,對於主鍵查詢有較高性能;
5.數據文件的平臺無關性,支持數據在不一樣的架構平臺移植;
6.可以經過一些工具支持真正的熱備。如XtraBackup等;
7.內部進行自身優化如採起可預測性預讀,可以自動在內存中建立hash索引等。
MyISAM引擎:
1.MySQL5.1中默認,不支持事務和行級鎖;
2.提供大量特性如全文索引、空間函數、壓縮、延遲更新等;
3.數據庫故障後,安全恢復性差;
4.對於只讀數據能夠忍受故障恢復,MyISAM依然很是適用;
5.日誌服務器的場景也比較適用,只需插入和數據讀取操做;
6.不支持單表一個文件,會將全部的數據和索引內容分別存在兩個文件中;
7.MyISAM對整張表加鎖而不是對行,因此不適用寫操做比較多的場景;
8.支持索引緩存不支持數據緩存。
Archive引擎:
1.只支持insert和select操做;
2.緩存全部的寫數據並進行壓縮存儲,支持行級鎖但不支持事務;
3.適合高速插入和數據壓縮,減小IO操做,適用於日誌記錄和歸檔服務器。
Blackhole引擎:
1.沒有實現任何存儲機制,會將插入的數據進行丟棄,但會存儲二進制日誌;
2.會在一些特殊須要的複製架構的環境中使用。
CSV引擎:
1.能夠打開CSV文件存儲的數據,能夠將存儲的數據導出,並利用excel打開;
2.能夠做爲一種數據交換的機制,一樣常用。
Memory引擎:
1.將數據在內存中緩存,不消耗IO;
2.存儲數據速度較快但不會被保留,通常做爲臨時表的存儲被使用。
Federated引擎:
可以訪問遠程服務器上的數據的存儲引擎。可以創建一個鏈接連到遠程服務器。
Mrg_MyISAM引擎:
將多個MYISAM表合併爲一個。自己並不存儲數據,數據存在MyISAM表中間。
NDB集羣引擎:
MySQL Cluster專用。
3.第三方存儲引擎:
1.OLTP類:
XtraDB:InnoDB的改進版本。
PBXT:相似InnoDB,但提供引擎級別的複製和外鍵約束,適當支持SSD存儲。
TokuDB(開源):支持分形樹索引結構,支持海量數據的分析。
2.列式存儲引擎:MySQL默認是面向行的存儲
Infobright: 支持數十TB的數據量,爲數據分析和數據倉庫設計的。數據高度壓縮。
InfiniDB:能夠在一組集羣間作分佈式查詢,有商業版但沒有典型應用案例。
3.社區存儲引擎:
Aria:解決MyISAM崩潰安全恢復問題,並可以進行數據緩存。
Groona: 全文索引引擎。
QQGraph: 由Open query研發支持圖操做,好比查找兩點間最短距離。
SphinxSE: 該引擎爲Sphinx全文索引搜索服務器提供SQL接口。
Spider: 支持sharding並可以基於分片實現並列查詢。
VPForMySQL: 支持垂直分區。
4.存儲引擎選取參考因素
1.是否有事務需求
若是須要事務支持最好選擇InnoDB或者XtraDB,若是主要是select和insert操做MyISAM比較合適,通常使用日誌型的應用。
2.備份操做需求
若是可以關閉服務器進行備份,那麼該因素能夠忽略,若是須要在線進行熱備份,則InnoDB引擎是一個不錯的選擇。
3.故障恢復需求
在對恢復要求比較好的場景中推薦使用InnoDB,由於MyISAM數據損壞機率比較大並且恢復速度比較慢。
4.性能上的需求
有些業務需求只有某些特定的存儲引擎纔可以知足,如地理空間索引也只有MyISAM引擎支持。因此在應用架構需求環境中也須要管理員折衷考慮,固然從各方面比較而言,InnoDB引擎仍是默認應該被推薦使用的。
5.表引擎轉換方法
1.直接修改
2.備份修改
利用mysqldump備份工具將數據導出,修改create table語句中的存儲引擎選項。注意修改的同時修改表名。
3.建立插入