Mysql高性能優化規範建議

做者：聽風。
博客園：cnblogs.com/huchong/p/10219318.html

數據庫命令規範

• 全部數據庫對象名稱必須使用小寫字母並用下劃線分割
• 全部數據庫對象名稱禁止使用mysql保留關鍵字（若是表名中包含關鍵字查詢時，須要將其用單引號括起來）
• 數據庫對象的命名要能作到見名識意，而且最後不要超過32個字符
• 臨時庫表必須以tmp_爲前綴並以日期爲後綴，備份表必須以bak_爲前綴並以日期(時間戳)爲後綴
• 全部存儲相同數據的列名和列類型必須一致（通常做爲關聯列，若是查詢時關聯列類型不一致會自動進行數據類型隱式轉換，會形成列上的索引失效，致使查詢效率下降）

數據庫基本設計規範

1. 全部表必須使用Innodb存儲引擎

沒有特殊要求（即Innodb沒法知足的功能如：列存儲，存儲空間數據等）的狀況下，全部表必須使用Innodb存儲引擎（mysql5.5以前默認使用Myisam，5.6之後默認的爲Innodb）。
Innodb 支持事務，支持行級鎖，更好的恢復性，高併發下性能更好。

2. 數據庫和表的字符集統一使用UTF8

兼容性更好，統一字符集能夠避免因爲字符集轉換產生的亂碼，不一樣的字符集進行比較前須要進行轉換會形成索引失效，若是數據庫中有存儲emoji表情的須要，字符集須要採用utf8mb4字符集。

3. 全部表和字段都須要添加註釋

使用comment從句添加表和列的備註，從一開始就進行數據字典的維護

4. 儘可能控制單表數據量的大小，建議控制在500萬之內。

500萬並非Mysql數據庫的限制，過大會形成修改表結構，備份，恢復都會有很大的問題。

能夠用歷史數據歸檔（應用於日誌數據），分庫分表（應用於業務數據）等手段來控制數據量大小

5. 謹慎使用Mysql分區表

分區表在物理上表現爲多個文件，在邏輯上表現爲一個表；
謹慎選擇分區鍵，跨分區查詢效率可能更低；
建議採用物理分表的方式管理大數據。

6. 儘可能作到冷熱數據分離，減少表的寬度

Mysql限制每一個表最多存儲4096列，而且每一行數據的大小不能超過65535字節。

減小磁盤IO,保證熱數據的內存緩存命中率（表越寬，把表裝載進內存緩衝池時所佔用的內存也就越大,也會消耗更多的IO）；

更有效的利用緩存，避免讀入無用的冷數據；

常常一塊兒使用的列放到一個表中（避免更多的關聯操做）。

7. 禁止在表中創建預留字段

預留字段的命名很難作到見名識義。預留字段沒法確認存儲的數據類型，因此沒法選擇合適的類型。對預留字段類型的修改，會對錶進行鎖定。

8. 禁止在數據庫中存儲圖片，文件等大的二進制數據

一般文件很大，會短期內形成數據量快速增加，數據庫進行數據庫讀取時，一般會進行大量的隨機IO操做，文件很大時，IO操做很耗時。

一般存儲於文件服務器，數據庫只存儲文件地址信息

9. 禁止在線上作數據庫壓力測試

10. 禁止從開發環境，測試環境直接鏈接生成環境數據庫

數據庫字段設計規範

1. 優先選擇符合存儲須要的最小的數據類型

緣由：

列的字段越大，創建索引時所須要的空間也就越大，這樣一頁中所能存儲的索引節點的數量也就越少也越少，在遍歷時所須要的IO次數也就越多，索引的性能也就越差。

方法：

• 將字符串轉換成數字類型存儲，如：將IP地址轉換成整形數據

mysql提供了兩個方法來處理ip地址

• inet_aton 把ip轉爲無符號整型(4-8位)
• inet_ntoa 把整型的ip轉爲地址

插入數據前，先用inet_aton把ip地址轉爲整型，能夠節省空間，顯示數據時，使用inet_ntoa把整型的ip地址轉爲地址顯示便可。

• 對於非負型的數據（如自增ID、整型IP）來講，要優先使用無符號整型來存儲

緣由：

無符號相對於有符號能夠多出一倍的存儲空間

SIGNED INT -2147483648~2147483647
UNSIGNED INT 0~4294967295

VARCHAR(N)中的N表明的是字符數，而不是字節數，使用UTF8存儲255個漢字 Varchar(255)=765個字節。*過大的長度會消耗更多的內存。

2. 避免使用TEXT、BLOB數據類型，最多見的TEXT類型能夠存儲64k的數據

• 建議把BLOB或是TEXT列分離到單獨的擴展表中

Mysql內存臨時表不支持TEXT、BLOB這樣的大數據類型，若是查詢中包含這樣的數據，在排序等操做時，就不能使用內存臨時表，必須使用磁盤臨時表進行。

並且對於這種數據，Mysql仍是要進行二次查詢，會使sql性能變得不好，可是不是說必定不能使用這樣的數據類型。

若是必定要使用，建議把BLOB或是TEXT列分離到單獨的擴展表中，查詢時必定不要使用select * 而只須要取出必要的列，不須要TEXT列的數據時不要對該列進行查詢。

• TEXT或BLOB類型只能使用前綴索引

由於MySQL對索引字段長度是有限制的，因此TEXT類型只能使用前綴索引，而且TEXT列上是不能有默認值的

3. 避免使用ENUM類型

修改ENUM值須要使用ALTER語句

ENUM類型的ORDER BY操做效率低，須要額外操做

禁止使用數值做爲ENUM的枚舉值

4. 儘量把全部列定義爲NOT NULL

緣由：

索引NULL列須要額外的空間來保存，因此要佔用更多的空間
進行比較和計算時要對NULL值作特別的處理

5. 使用TIMESTAMP（4個字節）或DATETIME類型（8個字節）存儲時間

TIMESTAMP 存儲的時間範圍 1970-01-01 00:00:01 ~ 2038-01-19-03:14:07
TIMESTAMP 佔用4字節和INT相同，但比INT可讀性高
超出TIMESTAMP取值範圍的使用DATETIME類型存儲

常常會有人用字符串存儲日期型的數據（不正確的作法）

• 缺點1：沒法用日期函數進行計算和比較
• 缺點2：用字符串存儲日期要佔用更多的空間

6. 同財務相關的金額類數據必須使用decimal類型

• 非精準浮點：float,double
• 精準浮點：decimal

Decimal類型爲精準浮點數，在計算時不會丟失精度
佔用空間由定義的寬度決定，每4個字節能夠存儲9位數字，而且小數點要佔用一個字節
可用於存儲比bigint更大的整型數據

索引設計規範

1. 限制每張表上的索引數量，建議單張表索引不超過5個

索引並非越多越好！索引能夠提升效率一樣能夠下降效率。

索引能夠增長查詢效率，但一樣也會下降插入和更新的效率，甚至有些狀況下會下降查詢效率。

由於mysql優化器在選擇如何優化查詢時，會根據統一信息，對每個能夠用到的索引來進行評估，以生成出一個最好的執行計劃，若是同時有不少個索引均可以用於查詢，就會增長mysql優化器生成執行計劃的時間，一樣會下降查詢性能。

2. 禁止給表中的每一列都創建單獨的索引

5.6版本以前，一個sql只能使用到一個表中的一個索引，5.6之後，雖然有了合併索引的優化方式，可是仍是遠遠沒有使用一個聯合索引的查詢方式好。

3. 每一個Innodb表必須有個主鍵

Innodb是一種索引組織表：數據的存儲的邏輯順序和索引的順序是相同的。每一個表均可以有多個索引，可是表的存儲順序只能有一種。

Innodb是按照主鍵索引的順序來組織表的

• 不要使用更新頻繁的列做爲主鍵，不適用多列主鍵（至關於聯合索引）
• 不要使用UUID,MD5,HASH,字符串列做爲主鍵（沒法保證數據的順序增加）
• 主鍵建議使用自增ID值

常見索引列建議

• 出如今SELECT、UPDATE、DELETE語句的WHERE從句中的列
• 包含在ORDER BY、GROUP BY、DISTINCT中的字段
• 並不要將符合1和2中的字段的列都創建一個索引， 一般將一、2中的字段創建聯合索引效果更好
• 多表join的關聯列

如何選擇索引列的順序

創建索引的目的是：但願經過索引進行數據查找，減小隨機IO，增長查詢性能 ，索引能過濾出越少的數據，則從磁盤中讀入的數據也就越少。

• 區分度最高的放在聯合索引的最左側（區分度=列中不一樣值的數量/列的總行數）
• 儘可能把字段長度小的列放在聯合索引的最左側（由於字段長度越小，一頁能存儲的數據量越大，IO性能也就越好）
• 使用最頻繁的列放到聯合索引的左側（這樣能夠比較少的創建一些索引）

避免創建冗餘索引和重複索引（增長了查詢優化器生成執行計劃的時間）

• 重複索引示例：primary key(id)、index(id)、unique index(id)
• 冗餘索引示例：index(a,b,c)、index(a,b)、index(a)

對於頻繁的查詢優先考慮使用覆蓋索引

覆蓋索引：就是包含了全部查詢字段(where,select,ordery by,group by包含的字段)的索引

覆蓋索引的好處：

• 避免Innodb表進行索引的二次查詢

Innodb是以彙集索引的順序來存儲的，對於Innodb來講，二級索引在葉子節點中所保存的是行的主鍵信息，若是是用二級索引查詢數據的話，在查找到相應的鍵值後，還要經過主鍵進行二次查詢才能獲取咱們真實所須要的數據。

而在覆蓋索引中，二級索引的鍵值中能夠獲取全部的數據，避免了對主鍵的二次查詢 ，減小了IO操做，提高了查詢效率。

• 能夠把隨機IO變成順序IO加快查詢效率

因爲覆蓋索引是按鍵值的順序存儲的，對於IO密集型的範圍查找來講，對比隨機從磁盤讀取每一行的數據IO要少的多，所以利用覆蓋索引在訪問時也能夠把磁盤的隨機讀取的IO轉變成索引查找的順序IO。

索引SET規範

儘可能避免使用外鍵約束

• 不建議使用外鍵約束（foreign key），但必定要在表與表之間的關聯鍵上創建索引
• 外鍵可用於保證數據的參照完整性，但建議在業務端實現
• 外鍵會影響父表和子表的寫操做從而下降性能

數據庫SQL開發規範

1. 建議使用預編譯語句進行數據庫操做

預編譯語句能夠重複使用這些計劃，減小SQL編譯所須要的時間，還能夠解決動態SQL所帶來的SQL注入的問題。

只傳參數，比傳遞SQL語句更高效。

相同語句能夠一次解析，屢次使用，提升處理效率。

2. 避免數據類型的隱式轉換

隱式轉換會致使索引失效如:

select name,phone from customer where id = '111';

3. 充分利用表上已經存在的索引

避免使用雙%號的查詢條件。如：a like '%123%'，（若是無前置%,只有後置%，是能夠用到列上的索引的）

一個SQL只能利用到複合索引中的一列進行範圍查詢。如：有 a,b,c列的聯合索引，在查詢條件中有a列的範圍查詢，則在b,c列上的索引將不會被用到。

在定義聯合索引時，若是a列要用到範圍查找的話，就要把a列放到聯合索引的右側，使用left join 或 not exists 來優化not in 操做，由於not in 也一般會使用索引失效。

4. 數據庫設計時，應該要對之後擴展進行考慮

5. 程序鏈接不一樣的數據庫使用不一樣的帳號，進制跨庫查詢

• 爲數據庫遷移和分庫分表留出餘地
• 下降業務耦合度
• 避免權限過大而產生的安全風險

6. 禁止使用SELECT * 必須使用SELECT <字段列表> 查詢

緣由：

• 消耗更多的CPU和IO以網絡帶寬資源
• 沒法使用覆蓋索引
• 可減小表結構變動帶來的影響

7. 禁止使用不含字段列表的INSERT語句

如：

insert into values ('a','b','c');

應使用：

insert into t(c1,c2,c3) values ('a','b','c');

8. 避免使用子查詢，能夠把子查詢優化爲join操做

一般子查詢在in子句中，且子查詢中爲簡單SQL(不包含union、group by、order by、limit從句)時,才能夠把子查詢轉化爲關聯查詢進行優化。

子查詢性能差的緣由：

子查詢的結果集沒法使用索引，一般子查詢的結果集會被存儲到臨時表中，不管是內存臨時表仍是磁盤臨時表都不會存在索引，因此查詢性能會受到必定的影響。特別是對於返回結果集比較大的子查詢，其對查詢性能的影響也就越大。

因爲子查詢會產生大量的臨時表也沒有索引，因此會消耗過多的CPU和IO資源，產生大量的慢查詢。

9. 避免使用JOIN關聯太多的表

對於Mysql來講，是存在關聯緩存的，緩存的大小能夠由join_buffer_size參數進行設置。

在Mysql中，對於同一個SQL多關聯（join）一個表，就會多分配一個關聯緩存，若是在一個SQL中關聯的表越多，所佔用的內存也就越大。

若是程序中大量的使用了多表關聯的操做，同時join_buffer_size設置的也不合理的狀況下，就容易形成服務器內存溢出的狀況，就會影響到服務器數據庫性能的穩定性。

同時對於關聯操做來講，會產生臨時表操做，影響查詢效率，Mysql最多容許關聯61個表，建議不超過5個。

10. 減小同數據庫的交互次數

數據庫更適合處理批量操做，合併多個相同的操做到一塊兒，能夠提升處理效率。

11. 對應同一列進行or判斷時，使用in代替or

in 的值不要超過500個，in 操做能夠更有效的利用索引，or大多數狀況下不多能利用到索引。

12. 禁止使用order by rand() 進行隨機排序

order by rand()會把表中全部符合條件的數據裝載到內存中，而後在內存中對全部數據根據隨機生成的值進行排序，而且可能會對每一行都生成一個隨機值，若是知足條件的數據集很是大，就會消耗大量的CPU和IO及內存資源。

推薦在程序中獲取一個隨機值，而後從數據庫中獲取數據的方式。

13. WHERE從句中禁止對列進行函數轉換和計算

對列進行函數轉換或計算時會致使沒法使用索引

不推薦：

where date(create_time)='20190101'

推薦：

where create_time >= '20190101' and create_time < '20190102'

14. 在明顯不會有重複值時使用UNION ALL 而不是UNION

• UNION 會把兩個結果集的全部數據放到臨時表中後再進行去重操做
• UNION ALL 不會再對結果集進行去重操做

15. 拆分複雜的大SQL爲多個小SQL

• 大SQL邏輯上比較複雜，須要佔用大量CPU進行計算的SQL
• MySQL中，一個SQL只能使用一個CPU進行計算
• SQL拆分後能夠經過並行執行來提升處理效率

數據庫操做行爲規範

超100萬行的批量寫（UPDATE、DELETE、INSERT）操做，要分批屢次進行操做

一、大批量操做可能會形成嚴重的主從延遲

主從環境中,大批量操做可能會形成嚴重的主從延遲，大批量的寫操做通常都須要執行必定長的時間

而只有當主庫上執行完成後，纔會在其餘從庫上執行，因此會形成主庫與從庫長時間的延遲狀況

二、binlog日誌爲row格式時會產生大量的日誌

大批量寫操做會產生大量日誌，特別是對於row格式二進制數據而言，因爲在row格式中會記錄每一行數據的修改，咱們一次修改的數據越多，產生的日誌量也就會越多，日誌的傳輸和恢復所須要的時間也就越長，這也是形成主從延遲的一個緣由

三、避免產生大事務操做

大批量修改數據，必定是在一個事務中進行的，這就會形成表中大批量數據進行鎖定，從而致使大量的阻塞，阻塞會對MySQL的性能產生很是大的影響。

特別是長時間的阻塞會佔滿全部數據庫的可用鏈接，這會使生產環境中的其餘應用沒法鏈接到數據庫，所以必定要注意大批量寫操做要進行分批

對於大表使用pt-online-schema-change修改表結構

• 避免大表修改產生的主從延遲
• 避免在對錶字段進行修改時進行鎖表

對大表數據結構的修改必定要謹慎，會形成嚴重的鎖表操做，尤爲是生產環境，是不能容忍的。

pt-online-schema-change它會首先創建一個與原表結構相同的新表，而且在新表上進行表結構的修改，而後再把原表中的數據複製到新表中，並在原表中增長一些觸發器。

把原表中新增的數據也複製到新表中，在行全部數據複製完成以後，把新表命名成原表，並把原來的表刪除掉。把原來一個DDL操做，分解成多個小的批次進行。

禁止爲程序使用的帳號賦予super權限

• 當達到最大鏈接數限制時，還運行1個有super權限的用戶鏈接
• super權限只能留給DBA處理問題的帳號使用

對於程序鏈接數據庫帳號，遵循權限最小原則

• 程序使用數據庫帳號只能在一個DB下使用，不許跨庫
• 程序使用的帳號原則上不許有drop權限