MySQL，必須掌握的6個知識點

本人免費整理了Java高級資料，涵蓋了Java、Redis、MongoDB、MySQL、Zookeeper、Spring Cloud、Dubbo高併發分佈式等教程，一共30G，須要本身領取。
傳送門：https://mp.weixin.qq.com/s/JzddfH-7yNudmkjT0IRL8Q

目錄

1、索引B+ Tree 原理

• MySQL 索引
• 索引優化
• 索引的優勢
• 索引的使用條件

2、查詢性能優化使用 Explain 進行分析

• 優化數據訪問
• 重構查詢方式

3、存儲引擎InnoDB

• MyISAM
• 比較

4、數據類型整型

• 浮點數
• 字符串
• 時間和日期

5、切分水平切分

• 垂直切分
• Sharding 策略
• Sharding 存在的問題

6、複製主從複製

• 讀寫分離

1、索引

B+ Tree 原理

1. 數據結構

B Tree 指的是 Balance Tree，也就是平衡樹。平衡樹是一顆查找樹，而且全部葉子節點位於同一層。

B+ Tree 是基於 B Tree 和葉子節點順序訪問指針進行實現，它具備 B Tree 的平衡性，而且經過順序訪問指針來提升區間查詢的性能。

在 B+ Tree 中，一個節點中的 key 從左到右非遞減排列，若是某個指針的左右相鄰 key 分別是 keyi 和 keyi+1，且不爲 null，則該指針指向節點的全部 key 大於等於 keyi 且小於等於 keyi+1。

 

 

 

2. 操做

進行查找操做時，首先在根節點進行二分查找，找到一個 key 所在的指針，而後遞歸地在指針所指向的節點進行查找。直到查找到葉子節點，而後在葉子節點上進行二分查找，找出 key 所對應的 data。

插入刪除操做會破壞平衡樹的平衡性，所以在插入刪除操做以後，須要對樹進行一個分裂、合併、旋轉等操做來維護平衡性。

3. 與紅黑樹的比較

紅黑樹等平衡樹也能夠用來實現索引，可是文件系統及數據庫系統廣泛採用 B+ Tree 做爲索引結構，主要有如下兩個緣由：

（一）更少的查找次數

平衡樹查找操做的時間複雜度和樹高 h 相關，O(h)=O(logdN)，其中 d 爲每一個節點的出度。

紅黑樹的出度爲 2，而 B+ Tree 的出度通常都很是大，因此紅黑樹的樹高 h 很明顯比 B+ Tree 大很是多，查找的次數也就更多。

（二）利用磁盤預讀特性

爲了減小磁盤 I/O 操做，磁盤每每不是嚴格按需讀取，而是每次都會預讀。預讀過程當中，磁盤進行順序讀取，順序讀取不須要進行磁盤尋道，而且只須要很短的磁盤旋轉時間，速度會很是快。

操做系統通常將內存和磁盤分割成固定大小的塊，每一塊稱爲一頁，內存與磁盤以頁爲單位交換數據。數據庫系統將索引的一個節點的大小設置爲頁的大小，使得一次 I/O 就能徹底載入一個節點。而且能夠利用預讀特性，相鄰的節點也可以被預先載入。

MySQL 索引

索引是在存儲引擎層實現的，而不是在服務器層實現的，因此不一樣存儲引擎具備不一樣的索引類型和實現。

1. B+Tree 索引

是大多數 MySQL 存儲引擎的默認索引類型。

由於再也不須要進行全表掃描，只須要對樹進行搜索便可，因此查找速度快不少。

由於 B+ Tree 的有序性，因此除了用於查找，還能夠用於排序和分組。

能夠指定多個列做爲索引列，多個索引列共同組成鍵。

適用於全鍵值、鍵值範圍和鍵前綴查找，其中鍵前綴查找只適用於最左前綴查找。若是不是按照索引列的順序進行查找，則沒法使用索引。

InnoDB 的 B+Tree 索引分爲主索引和輔助索引。主索引的葉子節點 data 域記錄着完整的數據記錄，這種索引方式被稱爲聚簇索引。由於沒法把數據行存放在兩個不一樣的地方，因此一個表只能有一個聚簇索引。

 

 

 

輔助索引的葉子節點的 data 域記錄着主鍵的值，所以在使用輔助索引進行查找時，須要先查找到主鍵值，而後再到主索引中進行查找。

 

 

 

2. 哈希索引

哈希索引能以 O(1) 時間進行查找，可是失去了有序性：

• 沒法用於排序與分組；
• 只支持精確查找，沒法用於部分查找和範圍查找。

InnoDB 存儲引擎有一個特殊的功能叫「自適應哈希索引」，當某個索引值被使用的很是頻繁時，會在 B+Tree 索引之上再建立一個哈希索引，這樣就讓 B+Tree 索引具備哈希索引的一些優勢，好比快速的哈希查找。

3. 全文索引

MyISAM 存儲引擎支持全文索引，用於查找文本中的關鍵詞，而不是直接比較是否相等。

查找條件使用 MATCH AGAINST，而不是普通的 WHERE。

全文索引使用倒排索引實現，它記錄着關鍵詞到其所在文檔的映射。

InnoDB 存儲引擎在 MySQL 5.6.4 版本中也開始支持全文索引。

4. 空間數據索引

MyISAM 存儲引擎支持空間數據索引（R-Tree），能夠用於地理數據存儲。空間數據索引會從全部維度來索引數據，能夠有效地使用任意維度來進行組合查詢。

必須使用 GIS 相關的函數來維護數據。

索引優化

1. 獨立的列

在進行查詢時，索引列不能是表達式的一部分，也不能是函數的參數，不然沒法使用索引。

例以下面的查詢不能使用 actor_id 列的索引：

SELECT actor_id FROM sakila.actor WHERE actor_id + 1 = 5;

2. 多列索引

在須要使用多個列做爲條件進行查詢時，使用多列索引比使用多個單列索引性能更好。例以下面的語句中，最好把 actor_id 和 film_id 設置爲多列索引。

SELECT film_id, actor_ id FROM sakila.film_actor WHERE actor_id = 1 AND film_id = 1;

3. 索引列的順序

讓選擇性最強的索引列放在前面。

索引的選擇性是指：不重複的索引值和記錄總數的比值。最大值爲 1，此時每一個記錄都有惟一的索引與其對應。選擇性越高，每一個記錄的區分度越高，查詢效率也越高。

例以下面顯示的結果中 customer_id 的選擇性比 staff_id 更高，所以最好把 customer_id 列放在多列索引的前面。

SELECT COUNT(DISTINCT staff_id)/COUNT(*) AS staff_id_selectivity, COUNT(DISTINCT customer_id)/COUNT(*) AS customer_id_selectivity, COUNT(*) FROM payment; staff_id_selectivity: 0.0001 customer_id_selectivity: 0.0373 COUNT(*): 16049

 

4. 前綴索引

對於 BLOB、TEXT 和 VARCHAR 類型的列，必須使用前綴索引，只索引開始的部分字符。

前綴長度的選取須要根據索引選擇性來肯定。

5. 覆蓋索引

索引包含全部須要查詢的字段的值。

具備如下優勢：

• 索引一般遠小於數據行的大小，只讀取索引能大大減小數據訪問量。
• 一些存儲引擎（例如 MyISAM）在內存中只緩存索引，而數據依賴於操做系統來緩存。所以，只訪問索引能夠不使用系統調用（一般比較費時）。
• 對於 InnoDB 引擎，若輔助索引可以覆蓋查詢，則無需訪問主索引。

索引的優勢

• 大大減小了服務器須要掃描的數據行數。
• 幫助服務器避免進行排序和分組，以及避免建立臨時表（B+Tree 索引是有序的，能夠用於 ORDER BY 和 GROUP BY 操做。臨時表主要是在排序和分組過程當中建立，不須要排序和分組，也就不須要建立臨時表）。
• 將隨機 I/O 變爲順序 I/O（B+Tree 索引是有序的，會將相鄰的數據都存儲在一塊兒）。

索引的使用條件

• 對於很是小的表、大部分狀況下簡單的全表掃描比創建索引更高效；
• 對於中到大型的表，索引就很是有效；
• 可是對於特大型的表，創建和維護索引的代價將會隨之增加。這種狀況下，須要用到一種技術能夠直接區分出須要查詢的一組數據，而不是一條記錄一條記錄地匹配，例如可使用分區技術。

2、查詢性能優化

使用 Explain 進行分析

Explain 用來分析 SELECT 查詢語句，開發人員能夠經過分析 Explain 結果來優化查詢語句。

比較重要的字段有：

• select_type : 查詢類型，有簡單查詢、聯合查詢、子查詢等
• key : 使用的索引
• rows : 掃描的行數

優化數據訪問

1. 減小請求的數據量

• 只返回必要的列：最好不要使用 SELECT * 語句。
• 只返回必要的行：使用 LIMIT 語句來限制返回的數據。
• 緩存重複查詢的數據：使用緩存能夠避免在數據庫中進行查詢，特別在要查詢的數據常常被重複查詢時，緩存帶來的查詢性能提高將會是很是明顯的。

2. 減小服務器端掃描的行數

最有效的方式是使用索引來覆蓋查詢。

重構查詢方式

1. 切分大查詢

一個大查詢若是一次性執行的話，可能一次鎖住不少數據、佔滿整個事務日誌、耗盡系統資源、阻塞不少小的但重要的查詢。

DELETE FROM messages WHERE create < DATE_SUB(NOW(), INTERVAL 3 MONTH); rows_affected = 0
do { rows_affected = do_query( "DELETE FROM messages WHERE create  < DATE_SUB(NOW(), INTERVAL 3 MONTH) LIMIT 10000") } while rows_affected > 0

 

2. 分解大鏈接查詢

將一個大鏈接查詢分解成對每個表進行一次單表查詢，而後在應用程序中進行關聯，這樣作的好處有：

• 讓緩存更高效。對於鏈接查詢，若是其中一個表發生變化，那麼整個查詢緩存就沒法使用。而分解後的多個查詢，即便其中一個表發生變化，對其它表的查詢緩存依然可使用。
• 分解成多個單表查詢，這些單表查詢的緩存結果更可能被其它查詢使用到，從而減小冗餘記錄的查詢。
• 減小鎖競爭；
• 在應用層進行鏈接，能夠更容易對數據庫進行拆分，從而更容易作到高性能和可伸縮。
• 查詢自己效率也可能會有所提高。例以下面的例子中，使用 IN() 代替鏈接查詢，可讓 MySQL 按照 ID 順序進行查詢，這可能比隨機的鏈接要更高效。

SELECT * FROM tag JOIN tag_post ON tag_post.tag_id=tag.id JOIN post ON tag_post.post_id=post.id WHERE tag.tag='mysql'; SELECT * FROM tag WHERE tag='mysql'; SELECT * FROM tag_post WHERE tag_id=1234; SELECT * FROM post WHERE post.id IN (123,456,567,9098,8904);

 

3、存儲引擎

InnoDB

是 MySQL 默認的事務型存儲引擎，只有在須要它不支持的特性時，才考慮使用其它存儲引擎。

實現了四個標準的隔離級別，默認級別是可重複讀（REPEATABLE READ）。在可重複讀隔離級別下，經過多版本併發控制（MVCC）+ Next-Key Locking 防止幻影讀。

主索引是聚簇索引，在索引中保存了數據，從而避免直接讀取磁盤，所以對查詢性能有很大的提高。

內部作了不少優化，包括從磁盤讀取數據時採用的可預測性讀、可以加快讀操做而且自動建立的自適應哈希索引、可以加速插入操做的插入緩衝區等。

支持真正的在線熱備份。其它存儲引擎不支持在線熱備份，要獲取一致性視圖須要中止對全部表的寫入，而在讀寫混合場景中，中止寫入可能也意味着中止讀取。

MyISAM

設計簡單，數據以緊密格式存儲。對於只讀數據，或者表比較小、能夠容忍修復操做，則依然可使用它。

提供了大量的特性，包括壓縮表、空間數據索引等。

不支持事務。

不支持行級鎖，只能對整張表加鎖，讀取時會對須要讀到的全部表加共享鎖，寫入時則對錶加排它鎖。但在表有讀取操做的同時，也能夠往表中插入新的記錄，這被稱爲併發插入（CONCURRENT INSERT）。

能夠手工或者自動執行檢查和修復操做，可是和事務恢復以及崩潰恢復不一樣，可能致使一些數據丟失，並且修復操做是很是慢的。

若是指定了 DELAY_KEY_WRITE 選項，在每次修改執行完成時，不會當即將修改的索引數據寫入磁盤，而是會寫到內存中的鍵緩衝區，只有在清理鍵緩衝區或者關閉表的時候纔會將對應的索引塊寫入磁盤。這種方式能夠極大的提高寫入性能，可是在數據庫或者主機崩潰時會形成索引損壞，須要執行修復操做。

比較

• 事務：InnoDB 是事務型的，可使用 Commit 和 Rollback 語句。
• 併發：MyISAM 只支持表級鎖，而 InnoDB 還支持行級鎖。
• 外鍵：InnoDB 支持外鍵。
• 備份：InnoDB 支持在線熱備份。
• 崩潰恢復：MyISAM 崩潰後發生損壞的機率比 InnoDB 高不少，並且恢復的速度也更慢。
• 其它特性：MyISAM 支持壓縮表和空間數據索引。

4、數據類型

整型

TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT 分別使用 8, 16, 24, 32, 64 位存儲空間，通常狀況下越小的列越好。

INT(11) 中的數字只是規定了交互工具顯示字符的個數，對於存儲和計算來講是沒有意義的。

浮點數

FLOAT 和 DOUBLE 爲浮點類型，DECIMAL 爲高精度小數類型。CPU 原生支持浮點運算，可是不支持 DECIMAl 類型的計算，所以 DECIMAL 的計算比浮點類型須要更高的代價。

FLOAT、DOUBLE 和 DECIMAL 均可以指定列寬，例如 DECIMAL(18, 9) 表示總共 18 位，取 9 位存儲小數部分，剩下 9 位存儲整數部分。

字符串

主要有 CHAR 和 VARCHAR 兩種類型，一種是定長的，一種是變長的。

VARCHAR 這種變長類型可以節省空間，由於只須要存儲必要的內容。可是在執行 UPDATE 時可能會使行變得比原來長，當超出一個頁所能容納的大小時，就要執行額外的操做。MyISAM 會將行拆成不一樣的片斷存儲，而 InnoDB 則須要分裂頁來使行放進頁內。

在進行存儲和檢索時，會保留 VARCHAR 末尾的空格，而會刪除 CHAR 末尾的空格。

時間和日期

MySQL 提供了兩種類似的日期時間類型：DATETIME 和 TIMESTAMP。

1. DATETIME

可以保存從 1000 年到 9999 年的日期和時間，精度爲秒，使用 8 字節的存儲空間。

它與時區無關。

默認狀況下，MySQL 以一種可排序的、無歧義的格式顯示 DATETIME 值，例如「2008-01-16 22:37:08」，這是 ANSI 標準定義的日期和時間表示方法。

2. TIMESTAMP

和 UNIX 時間戳相同，保存從 1970 年 1 月 1 日午夜（格林威治時間）以來的秒數，使用 4 個字節，只能表示從 1970 年到 2038 年。

它和時區有關，也就是說一個時間戳在不一樣的時區所表明的具體時間是不一樣的。

MySQL 提供了 FROM_UNIXTIME() 函數把 UNIX 時間戳轉換爲日期，並提供了 UNIX_TIMESTAMP() 函數把日期轉換爲 UNIX 時間戳。

默認狀況下，若是插入時沒有指定 TIMESTAMP 列的值，會將這個值設置爲當前時間。

應該儘可能使用 TIMESTAMP，由於它比 DATETIME 空間效率更高。

5、切分

水平切分

水平切分又稱爲 Sharding，它是將同一個表中的記錄拆分到多個結構相同的表中。

當一個表的數據不斷增多時，Sharding 是必然的選擇，它能夠將數據分佈到集羣的不一樣節點上，從而緩存單個數據庫的壓力。

 

 

 

垂直切分

垂直切分是將一張表按列切分紅多個表，一般是按照列的關係密集程度進行切分，也能夠利用垂直切分將常常被使用的列和不常常被使用的列切分到不一樣的表中。

在數據庫的層面使用垂直切分將按數據庫中表的密集程度部署到不一樣的庫中，例如將原來的電商數據庫垂直切分紅商品數據庫、用戶數據庫等。

 

 

 

Sharding 策略

• 哈希取模：hash(key) % N；
• 範圍：能夠是 ID 範圍也能夠是時間範圍；
• 映射表：使用單獨的一個數據庫來存儲映射關係。

Sharding 存在的問題

1. 事務問題

使用分佈式事務來解決，好比 XA 接口。

2. 鏈接

能夠將原來的鏈接分解成多個單表查詢，而後在用戶程序中進行鏈接。

3. ID 惟一性

• 使用全局惟一 ID（GUID）
• 爲每一個分片指定一個 ID 範圍
• 分佈式 ID 生成器 (如 Twitter 的 Snowflake 算法)

6、複製

主從複製

主要涉及三個線程：binlog 線程、I/O 線程和 SQL 線程。

• binlog 線程 ：負責將主服務器上的數據更改寫入二進制日誌（Binary log）中。
• I/O 線程 ：負責從主服務器上讀取二進制日誌，並寫入從服務器的中繼日誌（Relay log）。
• SQL 線程 ：負責讀取中繼日誌，解析出主服務器已經執行的數據更改並在從服務器中重放（Replay）。

 

 

 

讀寫分離

主服務器處理寫操做以及實時性要求比較高的讀操做，而從服務器處理讀操做。

讀寫分離能提升性能的緣由在於：

• 主從服務器負責各自的讀和寫，極大程度緩解了鎖的爭用；
• 從服務器可使用 MyISAM，提高查詢性能以及節約系統開銷；
• 增長冗餘，提升可用性。

讀寫分離經常使用代理方式來實現，代理服務器接收應用層傳來的讀寫請求，而後決定轉發到哪一個服務器。