MySQL規範

1、數據庫命令規範

• 全部數據庫對象名稱必須使用小寫字母並用下劃線分割

• 全部數據庫對象名稱禁止使用mysql保留關鍵字（若是表名中包含關鍵字查詢時，須要將其用單引號括起來）

• 數據庫對象的命名要能作到見名識意，而且最後不要超過32個字符

• 臨時庫表必須以tmp_爲前綴並以日期爲後綴，備份表必須以bak_爲前綴並以日期(時間戳)爲後綴

• 全部存儲相同數據的列名和列類型必須一致（通常做爲關聯列，若是查詢時關聯列類型不一致會自動進行數據類型隱式轉換，會形成列上的索引失效，致使查詢效率下降）

2、數據庫基本設計規範

一、全部表必須使用Innodb存儲引擎

 

沒有特殊要求（即Innodb沒法知足的功能如：列存儲，存儲空間數據等）的狀況下，全部表必須使用Innodb存儲引擎（mysql5.5以前默認使用Myisam，5.6之後默認的爲Innodb）Innodb 支持事務，支持行級鎖，更好的恢復性，高併發下性能更好

 

二、數據庫和表的字符集統一使用UTF8

 

兼容性更好，統一字符集能夠避免因爲字符集轉換產生的亂碼，不一樣的字符集進行比較前須要進行轉換會形成索引失效

 

三、全部表和字段都須要添加註釋

 

使用comment從句添加表和列的備註 從一開始就進行數據字典的維護

 

四、儘可能控制單表數據量的大小，建議控制在500萬之內

 

500萬並非MySQL數據庫的限制，過大會形成修改表結構，備份，恢復都會有很大的問題

 

能夠用歷史數據歸檔（應用於日誌數據），分庫分表（應用於業務數據）等手段來控制數據量大小

 

五、謹慎使用MySQL分區表

 

分區表在物理上表現爲多個文件，在邏輯上表現爲一個表 謹慎選擇分區鍵，跨分區查詢效率可能更低 建議採用物理分表的方式管理大數據

 

六、儘可能作到冷熱數據分離，減少表的寬度

 

MySQL限制每一個表最多存儲4096列，而且每一行數據的大小不能超過65535字節 減小磁盤IO,保證熱數據的內存緩存命中率（表越寬，把表裝載進內存緩衝池時所佔用的內存也就越大,也會消耗更多的IO） 更有效的利用緩存，避免讀入無用的冷數據 常常一塊兒使用的列放到一個表中（避免更多的關聯操做）

 

七、禁止在表中創建預留字段

 

預留字段的命名很難作到見名識義 預留字段沒法確認存儲的數據類型，因此沒法選擇合適的類型 對預留字段類型的修改，會對錶進行鎖定

 

八、禁止在數據庫中存儲圖片，文件等大的二進制數據

 

一般文件很大，會短期內形成數據量快速增加，數據庫進行數據庫讀取時，一般會進行大量的隨機IO操做，文件很大時，IO操做很耗時 一般存儲於文件服務器，數據庫只存儲文件地址信息

 

九、禁止在線上作數據庫壓力測試

 

十、禁止從開發環境，測試環境直接鏈接生成環境數據庫

3、數據庫字段設計規範

一、優先選擇符合存儲須要的最小的數據類型

 

• 緣由

 

列的字段越大，創建索引時所須要的空間也就越大，這樣一頁中所能存儲的索引節點的數量也就越少也越少，在遍歷時所須要的IO次數也就越多， 索引的性能也就越差

 

• 方法

 

1）將字符串轉換成數字類型存儲，如：將IP地址轉換成整形數據。

 

mysql提供了兩個方法來處理ip地址：

 

inet_aton 把ip轉爲無符號整型(4-8位)

inet_ntoa 把整型的ip轉爲地址

插入數據前，先用inet_aton把ip地址轉爲整型，能夠節省空間。顯示數據時，使用inet_ntoa把整型的ip地址轉爲地址顯示便可。

 

2）對於非負型的數據（如自增ID、整型IP）來講，要優先使用無符號整型來存儲

 

由於：無符號相對於有符號能夠多出一倍的存儲空間

SIGNED INT -2147483648~2147483647

UNSIGNED INT 0~4294967295

VARCHAR(N)中的N表明的是字符數，而不是字節數

使用UTF8存儲255個漢字 Varchar(255)=765個字節。過大的長度會消耗更多的內存

 

二、避免使用TEXT、BLOB數據類型，最多見的TEXT類型能夠存儲64k的數據

 

建議把BLOB或是TEXT列分離到單獨的擴展表中

 

Mysql內存臨時表不支持TEXT、BLOB這樣的大數據類型，若是查詢中包含這樣的數據，在排序等操做時，就不能使用內存臨時表，必須使用磁盤臨時表進行。

 

並且對於這種數據，Mysql仍是要進行二次查詢，會使sql性能變得不好，可是不是說必定不能使用這樣的數據類型。

 

若是必定要使用，建議把BLOB或是TEXT列分離到單獨的擴展表中，查詢時必定不要使用select * 而只須要取出必要的列，不須要TEXT列的數據時不要對該列進行查詢。

 

• TEXT或BLOB類型只能使用前綴索引

 

由於MySQL對索引字段長度是有限制的，因此TEXT類型只能使用前綴索引，而且TEXT列上是不能有默認值的。

 

三、避免使用ENUM類型

 

• 修改ENUM值須要使用ALTER語句

• ENUM類型的ORDER BY操做效率低，須要額外操做

• 禁止使用數值做爲ENUM的枚舉值

 

四、儘量把全部列定義爲NOT

 

緣由：

 

• 索引列須要額外的空間來保存，因此要佔用更多的空間；

• 進行比較和計算時要對值作特別的處理

 

五、使用TIMESTAMP（4個字節）或DATETIME類型（8個字節）存儲時間

 

TIMESTAMP 佔用4字節和INT相同，但比INT可讀性高

 

超出TIMESTAMP取值範圍的使用DATETIME類型存儲。

 

常常會有人用字符串存儲日期型的數據（不正確的作法）：

 

• 缺點1：沒法用日期函數進行計算和比較

• 缺點2：用字符串存儲日期要佔用更多的空間

 

六、同財務相關的金額類數據必須使用decimal類型

 

• 非精準浮點：float,double

• 精準浮點：decimal

 

Decimal類型爲精準浮點數，在計算時不會丟失精度。佔用空間由定義的寬度決定，每4個字節能夠存儲9位數字，而且小數點要佔用一個字節。可用於存儲比bigint更大的整型數據。

4、索引設計規範

一、限制每張表上的索引數量，建議單張表索引不超過5個

 

索引並非越多越好！索引能夠提升效率一樣能夠下降效率。

 

索引能夠增長查詢效率，但一樣也會下降插入和更新的效率，甚至有些狀況下會下降查詢效率。

 

由於mysql優化器在選擇如何優化查詢時，會根據統一信息，對每個能夠用到的索引來進行評估，以生成出一個最好的執行計劃，若是同時有不少個索引均可以用於查詢，就會增長mysql優化器生成執行計劃的時間，一樣會下降查詢性能。

 

二、禁止給表中的每一列都創建單獨的索引

 

5.6版本以前，一個sql只能使用到一個表中的一個索引，5.6之後，雖然有了合併索引的優化方式，可是仍是遠遠沒有使用一個聯合索引的查詢方式好

 

三、每一個Innodb表必須有個主鍵

 

Innodb是一種索引組織表：數據的存儲的邏輯順序和索引的順序是相同的。

 

每一個表均可以有多個索引，可是表的存儲順序只能有一種 Innodb是按照主鍵索引的順序來組織表的。

 

不要使用更新頻繁的列做爲主鍵，不適用多列主鍵（至關於聯合索引） 不要使用UUID、MD五、HASH、字符串列做爲主鍵（沒法保證數據的順序增加）。

 

主鍵建議使用自增ID值。

5、常見索引列建議

• 出如今SELECT、UPDATE、DELETE語句的WHERE從句中的列

• 包含在ORDER BY、GROUP BY、DISTINCT中的字段

• 並不要將符合1和2中的字段的列都創建一個索引，一般將一、2中的字段創建聯合索引效果更好

• 多表join的關聯列

6、如何選擇索引列的順序

創建索引的目的是：但願經過索引進行數據查找，減小隨機IO，增長查詢性能 ，索引能過濾出越少的數據，則從磁盤中讀入的數據也就越少。

 

• 區分度最高的放在聯合索引的最左側（區分度=列中不一樣值的數量/列的總行數）；

• 儘可能把字段長度小的列放在聯合索引的最左側（由於字段長度越小，一頁能存儲的數據量越大，IO性能也就越好）；

• 使用最頻繁的列放到聯合索引的左側（這樣能夠比較少的創建一些索引）。

7、避免創建冗餘索引和重複索引

由於這樣會增長查詢優化器生成執行計劃的時間。

 

• 重複索引示例：primary key(id)、index(id)、unique index(id)

• 冗餘索引示例：index(a,b,c)、index(a,b)、index(a)

8、優先考慮覆蓋索引

對於頻繁的查詢優先考慮使用覆蓋索引。

 

覆蓋索引：就是包含了全部查詢字段(where,select,ordery by,group by包含的字段)的索引

 

覆蓋索引的好處：

 

• 避免Innodb表進行索引的二次查詢

 

Innodb是以彙集索引的順序來存儲的，對於Innodb來講，二級索引在葉子節點中所保存的是行的主鍵信息，

 

若是是用二級索引查詢數據的話，在查找到相應的鍵值後，還要經過主鍵進行二次查詢才能獲取咱們真實所須要的數據。而在覆蓋索引中，二級索引的鍵值中能夠獲取全部的數據，避免了對主鍵的二次查詢 ，減小了IO操做，提高了查詢效率。

 

• 能夠把隨機IO變成順序IO加快查詢效率

 

因爲覆蓋索引是按鍵值的順序存儲的，對於IO密集型的範圍查找來講，對比隨機從磁盤讀取每一行的數據IO要少的多，所以利用覆蓋索引在訪問時也能夠把磁盤的隨機讀取的IO轉變成索引查找的順序IO。

9、索引SET規範

儘可能避免使用外鍵約束

 

• 不建議使用外鍵約束（foreign key），但必定要在表與表之間的關聯鍵上創建索引；

• 外鍵可用於保證數據的參照完整性，但建議在業務端實現；

• 外鍵會影響父表和子表的寫操做從而下降性能。

10、數據庫SQL開發規範

一、建議使用預編譯語句進行數據庫操做

 

預編譯語句能夠重複使用這些計劃，減小SQL編譯所須要的時間，還能夠解決動態SQL所帶來的SQL注入的問題 只傳參數，比傳遞SQL語句更高效 相同語句能夠一次解析，屢次使用，提升處理效率。

 

二、避免數據類型的隱式轉換

 

隱式轉換會致使索引失效。如：select name,phone from customer where id = 111;

 

三、充分利用表上已經存在的索引

 

• 避免使用雙%號的查詢條件。

 

如a like %123%，（若是無前置%,只有後置%，是能夠用到列上的索引的）

 

• 一個SQL只能利用到複合索引中的一列進行範圍查詢

 

如：有 a,b,c列的聯合索引，在查詢條件中有a列的範圍查詢，則在b,c列上的索引將不會被用到，在定義聯合索引時，若是a列要用到範圍查找的話，就要把a列放到聯合索引的右側。

 

• 使用left join或 not exists來優化not in操做

 

由於not in 也一般會使用索引失效。

 

四、數據庫設計時，應該要對之後擴展進行考慮

 

五、程序鏈接不一樣的數據庫使用不一樣的帳號，進制跨庫查詢

 

• 爲數據庫遷移和分庫分表留出餘地

• 下降業務耦合度

• 避免權限過大而產生的安全風險

 

六、禁止使用SELECT * 必須使用SELECT <字段列表> 查詢

 

緣由：

 

• 消耗更多的CPU和IO以網絡帶寬資源

• 沒法使用覆蓋索引

• 可減小表結構變動帶來的影響

 

七、禁止使用不含字段列表的INSERT語句

 

如：insert into values (a,b,c);

應使用insert into t(c1,c2,c3) values (a,b,c);

 

八、避免使用子查詢，能夠把子查詢優化爲join操做

 

一般子查詢在in子句中，且子查詢中爲簡單SQL(不包含union、group by、order by、limit從句)時，才能夠把子查詢轉化爲關聯查詢進行優化。

 

子查詢性能差的緣由：

 

• 子查詢的結果集沒法使用索引，一般子查詢的結果集會被存儲到臨時表中，不管是內存臨時表仍是磁盤臨時表都不會存在索引，因此查詢性能會受到必定的影響；

• 特別是對於返回結果集比較大的子查詢，其對查詢性能的影響也就越大；

• 因爲子查詢會產生大量的臨時表也沒有索引，因此會消耗過多的CPU和IO資源，產生大量的慢查詢。

 

九、避免使用JOIN關聯太多的表

 

對於Mysql來講，是存在關聯緩存的，緩存的大小能夠由join_buffer_size參數進行設置。

 

在Mysql中，對於同一個SQL多關聯（join）一個表，就會多分配一個關聯緩存，若是在一個SQL中關聯的表越多，所佔用的內存也就越大。

 

若是程序中大量的使用了多表關聯的操做，同時join_buffer_size設置的也不合理的狀況下，就容易形成服務器內存溢出的狀況，就會影響到服務器數據庫性能的穩定性。

同時對於關聯操做來講，會產生臨時表操做，影響查詢效率Mysql最多容許關聯61個表，建議不超過5個。

 

十、減小同數據庫的交互次數

 

數據庫更適合處理批量操做 合併多個相同的操做到一塊兒，能夠提升處理效率

 

十一、對應同一列進行or判斷時，使用in代替or

 

in的值不要超過500個in操做能夠更有效的利用索引，or大多數狀況下不多能利用到索引。

 

十二、禁止使用order by rand 進行隨機排序

 

會把表中全部符合條件的數據裝載到內存中，而後在內存中對全部數據根據隨機生成的值進行排序，而且可能會對每一行都生成一個隨機值，若是知足條件的數據集很是大，就會消耗大量的CPU和IO及內存資源。

 

推薦在程序中獲取一個隨機值，而後從數據庫中獲取數據的方式

 

1三、WHERE從句中禁止對列進行函數轉換和計算

 

對列進行函數轉換或計算時會致使沒法使用索引。

 

• 不推薦：

 

where date(create_time)=20190101

 

• 推薦：

 

where create_time >= 20190101 and create_time < 20190102

 

1四、在明顯不會有重複值時使用UNION ALL而不是UNION

 

• UNION會把兩個結果集的全部數據放到臨時表中後再進行去重操做

• UNION ALL不會再對結果集進行去重操做

 

1五、拆分複雜的大SQL爲多個小SQL

 

• 大SQL：邏輯上比較複雜，須要佔用大量CPU進行計算的SQL

• MySQL：一個SQL只能使用一個CPU進行計算

• SQL拆分後能夠經過並行執行來提升處理效率

11、數據庫操做行爲規範

一、超100萬行的批量寫（UPDATE、DELETE、INSERT）操做，要分批屢次進行操做

 

• 大批量操做可能會形成嚴重的主從延遲

 

主從環境中，大批量操做可能會形成嚴重的主從延遲，大批量的寫操做通常都須要執行必定長的時間，而只有當主庫上執行完成後，纔會在其餘從庫上執行，因此會形成主庫與從庫長時間的延遲狀況

 

• binlog日誌爲row格式時會產生大量的日誌

 

大批量寫操做會產生大量日誌，特別是對於row格式二進制數據而言，因爲在row格式中會記錄每一行數據的修改，咱們一次修改的數據越多，產生的日誌量也就會越多，日誌的傳輸和恢復所須要的時間也就越長，這也是形成主從延遲的一個緣由。

 

• 避免產生大事務操做

 

大批量修改數據，必定是在一個事務中進行的，這就會形成表中大批量數據進行鎖定，從而致使大量的阻塞，阻塞會對MySQL的性能產生很是大的影響。

特別是長時間的阻塞會佔滿全部數據庫的可用鏈接，這會使生產環境中的其餘應用沒法鏈接到數據庫，所以必定要注意大批量寫操做要進行分批。

 

二、對於大表使用pt-online-schema-change修改表結構

 

• 避免大表修改產生的主從延遲

• 避免在對錶字段進行修改時進行鎖表

 

對大表數據結構的修改必定要謹慎，會形成嚴重的鎖表操做，尤爲是生產環境，是不能容忍的。

 

pt-online-schema-change它會首先創建一個與原表結構相同的新表，而且在新表上進行表結構的修改，而後再把原表中的數據複製到新表中，並在原表中增長一些觸發器。

 

把原表中新增的數據也複製到新表中，在行全部數據複製完成以後，把新表命名成原表，並把原來的表刪除掉。

 

把原來一個DDL操做，分解成多個小的批次進行。

 

三、禁止爲程序使用的帳號賦予super權限

 

 

當達到最大鏈接數限制時，還運行1個有super權限的用戶鏈接super權限只能留給DBA處理問題的帳號使用。

 

四、對於程序鏈接數據庫帳號，遵循權限最小原則

 

程序使用數據庫帳號只能在一個DB下使用，不許跨庫 程序使用的帳號原則上不許有drop權限。