作一個積極的人 編碼、改bug、提高本身 我有一個樂園,面向編程,春暖花開!html
本文從芋道源碼轉載,在原有內容基礎上結合阿里巴巴Java開發手冊中Mysql數據庫章節的介紹,加上本身的理解和說明,整理而成。涉及的內容較多,建議收藏後仔細閱讀!mysql
正例:aliyun _ admin , rdc _ config , level 3_ name 反例:AliyunAdmin , rdcConfig , level _3_ name
mysql5.7 關鍵字 官方文檔地址:https://dev.mysql.com/doc/refman/5.7/en/keywords.htmlsql
設計時多查一查,下面只是列舉了一部分,所有關鍵字查看官方文檔內容。以下:數據庫
ACCESSIBLE (R) |
ACCOUNT [a] |
ACTION |
---|---|---|
ADD (R) |
AFTER |
AGAINST |
AGGREGATE |
ALGORITHM |
ALL (R) |
ALTER (R) |
ALWAYS [b] |
ANALYSE |
ANALYZE (R) |
AND (R) |
ANY |
AS (R) |
ASC (R) |
ASCII |
其中一些有R,(R)是保留關鍵字編程
說明:有些人可能還不明白關鍵字和保留關鍵字的區別,簡單的說,關鍵字分兩種:非保留和保留,保留關鍵字又有一個特殊類別叫將來保留。緩存
注:這裏要提一下的是mysql是支持使用關鍵字作字段名的,可是針對保留關鍵字是必需要加引用安全
舉例:interval begin、end都是關鍵字,interval是保留關鍵字。服務器
-- 方式1 mysql> CREATE TABLE interval (begin INT, end INT); ERROR 1064 (42000): You have an error in your SQL syntax ... near 'interval (begin INT, end INT)' -- 方式2 mysql> CREATE TABLE `interval` (begin INT, end INT); Query OK, 0 rows affected
數據庫對象的命名要能作到見名識意,<font color='red'>表名不使用複數名詞</font>,而且最後不要超過32個字符網絡
臨時庫表必須以tmp_爲前綴並以日期爲後綴,備份表必須以bak_爲前綴並以日期(時間戳)爲後綴mysql優化
全部存儲相同數據的列名和列類型必須一致(通常做爲關聯列,若是查詢時關聯列類型不一致會自動進行數據類型隱式轉換,會形成列上的索引失效,致使查詢效率下降,注10.2有具體分析)
沒有特殊要求(即Innodb沒法知足的功能如:列存儲,存儲空間數據等)的狀況下,全部表必須使用Innodb存儲引擎(mysql5.5以前默認使用Myisam,5.6之後默認的爲Innodb)Innodb 支持事務,支持行級鎖,更好的恢復性,高併發下性能更好。
統一字符集,兼容性更好,能夠避免因爲字符集轉換產生的亂碼,不一樣的字符集進行比較前須要進行轉換會形成索引失效。
MySQL在5.5.3以後增長了這個utf8mb4的編碼,mb4就是most bytes 4的意思,專門用來兼容四字節的unicode。好在utf8mb4是utf8的超集,除了將編碼改成utf8mb4外不須要作其餘轉換。固然,爲了節省空間,通常狀況下使用utf8也就夠了。
<font color='red'>爲何建議選擇utf8mb4?</font>
由於若是要存儲emoji表情的話,utf8存儲會報錯,致使沒法存儲。具體就不展開說了,感興趣的夥伴能夠自行查找相關資料。
使用comment從句添加表和列的備註 從一開始就進行數據字典的維護! 這個真的要切記,方便後續維護!
500萬並非MySQL數據庫的限制,過大會形成修改表結構,備份,恢復都會有很大的問題,
能夠用歷史數據歸檔(應用於日誌數據),分庫分表(應用於業務數據)等手段來控制數據量大小!
數據量大的表在設計的時候就要考慮索引,或者使用分佈式數據庫了,要考慮到後續的維護和擴展問題。
分區表在物理上表現爲多個文件,在邏輯上表現爲一個表 謹慎選擇分區鍵,跨分區查詢效率可能更低 建議採用物理分表的方式管理大數據!
58沈劍 架構師之路公衆號寫過一篇,互聯網公司爲啥都不用MySQL分區表?https://mp.weixin.qq.com/s/qyc_89wz5Tdgz6FWQfgwLQ ,有興趣能夠看看!
MySQL限制每一個表最多存儲4096列,而且每一行數據的大小不能超過65535字節 減小磁盤IO,保證熱數據的內存緩存命中率(表越寬,把表裝載進內存緩衝池時所佔用的內存也就越大,也會消耗更多的IO) 更有效的利用緩存,避免讀入無用的冷數據 常常一塊兒使用的列放到一個表中(避免更多的關聯操做)。
預留字段的命名很難作到見名識義 預留字段沒法確認存儲的數據類型,因此沒法選擇合適的類型 對預留字段類型的修改,會對錶進行鎖定!
一般文件很大,會短期內形成數據量快速增加,數據庫進行數據庫讀取時,一般會進行大量的隨機IO操做,文件很大時,IO操做很耗時 一般存儲於文件服務器,數據庫只存儲文件地址信息
對待線上環境,要有敬畏之心!
對待線上環境,要有敬畏之心!
緣由 :列的字段越大,創建索引時所須要的空間也就越大,這樣一頁中所能存儲的索引節點的數量也就越少也越少,在遍歷時所須要的IO次數也就越多, 索引的性能也就越差。【大數據量要考慮,省一點是一點】
方法: 1)將字符串轉換成數字類型存儲,如:將IP地址轉換成整形數據。
mysql提供了兩個方法來處理ip地址:
inet_aton 把ip轉爲無符號整型(4-8位)
inet_ntoa 把整型的ip轉爲地址
插入數據前,先用inet_aton把ip地址轉爲整型,能夠節省空間。顯示數據時,使用inet_ntoa把整型的ip地址轉爲地址顯示便可。
2)對於非負型的數據(如自增ID、整型IP)來講,要優先使用無符號整型來存儲
由於:無符號相對於有符號能夠多出一倍的存儲空間
SIGNED INT -2147483648~2147483647
UNSIGNED INT 0~4294967295
VARCHAR(N)中的N表明的是字符數,而不是字節數
使用UTF8存儲255個漢字 Varchar(255)=765個字節。過大的長度會消耗更多的內存!
3)varchar是可變長字符串,不預先分配存儲空間,長度不要超過5000,若是存儲大於此值,定義字段類型爲 text,獨立出來一張表,用主鍵來對應,避免影響其餘字段索引效率。具體見下面2說明。
建議把BLOB或是TEXT列分離到單獨的擴展表中 Mysql內存臨時表不支持TEXT、BLOB這樣的大數據類型,若是查詢中包含這樣的數據,在排序等操做時,就不能使用內存臨時表,必須使用磁盤臨時表進行。
並且對於這種數據,Mysql仍是要進行二次查詢,會使sql性能變得不好,可是不是說必定不能使用這樣的數據類型。
若是必定要使用,建議把BLOB或是TEXT列分離到單獨的擴展表中,查詢時必定不要使用select * 而只須要取出必要的列,不須要TEXT列的數據時不要對該列進行查詢。
TEXT或BLOB類型只能使用前綴索引 由於MySQL對索引字段長度是有限制的,因此TEXT類型只能使用前綴索引,而且TEXT列上是不能有默認值的。
修改ENUM值須要使用ALTER語句 ENUM類型的ORDER BY操做效率低,須要額外操做 禁止使用數值做爲ENUM的枚舉值
緣由:
索引NULL列須要額外的空間來保存,因此要佔用更多的空間; 進行比較和計算時要對NULL值作特別的處理
TIMESTAMP 存儲的時間範圍 1970-01-01 00:00:01 ~ 2038-01-19-03:14:07。
TIMESTAMP 佔用4字節和INT相同,但比INT可讀性高
超出TIMESTAMP取值範圍的使用DATETIME類型存儲。
常常會有人用字符串存儲日期型的數據(不正確的作法):
缺點1:沒法用日期函數進行計算和比較 缺點2:用字符串存儲日期要佔用更多的空間
非精準浮點:float,double 精準浮點:decimal Decimal類型爲精準浮點數,在計算時不會丟失精度。佔用空間由定義的寬度決定,每4個字節能夠存儲9位數字,而且小數點要佔用一個字節。可用於存儲比bigint更大的整型數據。
索引並非越多越好!索引能夠提升效率一樣能夠下降效率。【索引也會佔用存儲空間,消耗資源】
索引能夠增長查詢效率,但一樣也會下降插入和更新的效率,甚至有些狀況下會下降查詢效率。若太多則應考慮一些不常使用到的列上建的索引是否有必要。
由於mysql優化器在選擇如何優化查詢時,會根據統一信息,對每個能夠用到的索引來進行評估,以生成出一個最好的執行計劃,若是同時有不少個索引均可以用於查詢,就會增長mysql優化器生成執行計劃的時間,一樣會下降查詢性能。
5.6版本以前,一個sql只能使用到一個表中的一個索引,5.6之後,雖然有了合併索引的優化方式,可是仍是遠遠沒有使用一個聯合索引的查詢方式好。
Innodb是一種索引組織表:數據的存儲的邏輯順序和索引的順序是相同的。
每一個表均可以有多個索引,可是表的存儲順序只能有一種 Innodb是按照主鍵索引的順序來組織表的。
不要使用更新頻繁的列做爲主鍵,不適用多列主鍵(至關於聯合索引) 不要使用UUID、MD五、HASH、字符串列做爲主鍵(沒法保證數據的順序增加)。
主鍵建議使用自增ID值。
創建索引的目的是:但願經過索引進行數據查找,減小隨機IO,增長查詢性能 ,索引能過濾出越少的數據,則從磁盤中讀入的數據也就越少。
區分度最高的放在聯合索引的最左側(區分度=列中不一樣值的數量/列的總行數); 儘可能把字段長度小的列放在聯合索引的最左側(由於字段長度越小,一頁能存儲的數據量越大,IO性能也就越好); 使用最頻繁的列放到聯合索引的左側(這樣能夠比較少的創建一些索引)。
由於這樣會增長查詢優化器生成執行計劃的時間。
重複索引示例:primary key(id)、index(id)、unique index(id) 冗餘索引示例:index(a,b,c)、index(a,b)、index(a)
對於頻繁的查詢優先考慮使用覆蓋索引。
覆蓋索引:就是包含了全部查詢字段(where,select,ordery by,group by包含的字段)的索引
覆蓋索引的好處:
避免Innodb表進行索引的二次查詢 Innodb是以彙集索引的順序來存儲的,對於Innodb來講,二級索引在葉子節點中所保存的是行的主鍵信息,
若是是用二級索引查詢數據的話,在查找到相應的鍵值後,還要經過主鍵進行二次查詢才能獲取咱們真實所須要的數據。而在覆蓋索引中,二級索引的鍵值中能夠獲取全部的數據,避免了對主鍵的二次查詢 ,減小了IO操做,提高了查詢效率。
能夠把隨機IO變成順序IO加快查詢效率 因爲覆蓋索引是按鍵值的順序存儲的,對於IO密集型的範圍查找來講,對比隨機從磁盤讀取每一行的數據IO要少的多,所以利用覆蓋索引在訪問時也能夠把磁盤的隨機讀取的IO轉變成索引查找的順序IO。
儘可能避免使用外鍵約束
不建議使用外鍵約束(foreign key),但必定要在表與表之間的關聯鍵上創建索引; 外鍵可用於保證數據的參照完整性,但建議在業務端實現; 外鍵會影響父表和子表的寫操做從而下降性能。
預編譯語句能夠重複使用這些計劃,減小SQL編譯所須要的時間,還能夠解決動態SQL所帶來的SQL注入的問題 只傳參數,比傳遞SQL語句更高效 相同語句能夠一次解析,屢次使用,提升處理效率。
隱式轉換會致使索引失效。如:
SELECT * FROM `camera` where name= 1 ;
name爲 varchat 類型,此時查詢中使用數字查詢,會致使索引失效。使用以前講解過的explain能夠查看。
-- 使用字符查詢 mysql> EXPLAIN SELECT * FROM `camera` where name= '1' ; +----+-------------+--------+------------+------+---------------+------------+---------+-------+------+----------+-------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+--------+------------+------+---------------+------------+---------+-------+------+----------+-------+ | 1 | SIMPLE | camera | NULL | ref | index_name | index_name | 1539 | const | 1 | 100 | NULL | +----+-------------+--------+------------+------+---------------+------------+---------+-------+------+----------+-------+ -- 使用數字查詢 mysql> EXPLAIN SELECT * FROM `camera` where name= 1 ; +----+-------------+--------+------------+------+---------------+------+---------+------+-------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+--------+------------+------+---------------+------+---------+------+-------+----------+-------------+ | 1 | SIMPLE | camera | NULL | ALL | index_name | NULL | NULL | NULL | 52116 | 10 | Using where | +----+-------------+--------+------------+------+---------------+------+---------+------+-------+----------+-------------+
避免使用雙%號的查詢條件。 如a like '%123%',(若是無前置%,只有後置%,是能夠用到列上的索引的)
一個SQL只能利用到複合索引中的一列進行範圍查詢 如:有 a,b,c列的聯合索引,在查詢條件中有a列的範圍查詢,則在b,c列上的索引將不會被用到,在定義聯合索引時,若是a列要用到範圍查找的話,就要把a列放到聯合索引的右側。
使用left join或 not exists來優化not in操做 由於not in 也一般會使用索引失效。
能夠在前期設計的時候加一些ext 字段,即擴展字段。
爲數據庫遷移和分庫分表留出餘地 下降業務耦合度 避免權限過大而產生的安全風險
緣由:
消耗更多的CPU和IO以網絡帶寬資源 沒法使用覆蓋索引 可減小表結構變動帶來的影響
如:insert into values ('a','b','c');
應使用insert into t(c1,c2,c3) values ('a','b','c');
一般子查詢在in子句中,且子查詢中爲簡單SQL(不包含union、group by、order by、limit從句)時,才能夠把子查詢轉化爲關聯查詢進行優化。
子查詢性能差的緣由:
子查詢的結果集沒法使用索引,一般子查詢的結果集會被存儲到臨時表中,不管是內存臨時表仍是磁盤臨時表都不會存在索引,因此查詢性能會受到必定的影響; 特別是對於返回結果集比較大的子查詢,其對查詢性能的影響也就越大; 因爲子查詢會產生大量的臨時表也沒有索引,因此會消耗過多的CPU和IO資源,產生大量的慢查詢。
對於Mysql來講,是存在關聯緩存的,緩存的大小能夠由join_buffer_size參數進行設置。
在Mysql中,對於同一個SQL多關聯(join)一個表,就會多分配一個關聯緩存,若是在一個SQL中關聯的表越多,所佔用的內存也就越大。
若是程序中大量的使用了多表關聯的操做,同時join_buffer_size設置的也不合理的狀況下,就容易形成服務器內存溢出的狀況,就會影響到服務器數據庫性能的穩定性。
同時對於關聯操做來講,會產生臨時表操做,影響查詢效率Mysql最多容許關聯61個表,建議不超過5個。
數據庫更適合處理批量操做 合併多個相同的操做到一塊兒,能夠提升處理效率
in的值不要超過500個in操做能夠更有效的利用索引,or大多數狀況下不多能利用到索引。
會把表中全部符合條件的數據裝載到內存中,而後在內存中對全部數據根據隨機生成的值進行排序,而且可能會對每一行都生成一個隨機值,若是知足條件的數據集很是大,就會消耗大量的CPU和IO及內存資源。
推薦在程序中獲取一個隨機值,而後從數據庫中獲取數據的方式
對列進行函數轉換或計算時會致使沒法使用索引。
不推薦:
where date(create_time)='20190101'
推薦:
where create_time >= '20190101' and create_time < '20190102'
UNION會把兩個結果集的全部數據放到臨時表中後再進行去重操做 UNION ALL不會再對結果集進行去重操做
大SQL:邏輯上比較複雜,須要佔用大量CPU進行計算的SQL MySQL:一個SQL只能使用一個CPU進行計算 SQL拆分後能夠經過並行執行來提升處理效率
大批量操做可能會形成嚴重的主從延遲 主從環境中,大批量操做可能會形成嚴重的主從延遲,大批量的寫操做通常都須要執行必定長的時間,而只有當主庫上執行完成後,纔會在其餘從庫上執行,因此會形成主庫與從庫長時間的延遲狀況
binlog日誌爲row格式時會產生大量的日誌 大批量寫操做會產生大量日誌,特別是對於row格式二進制數據而言,因爲在row格式中會記錄每一行數據的修改,咱們一次修改的數據越多,產生的日誌量也就會越多,日誌的傳輸和恢復所須要的時間也就越長,這也是形成主從延遲的一個緣由。
避免產生大事務操做 大批量修改數據,必定是在一個事務中進行的,這就會形成表中大批量數據進行鎖定,從而致使大量的阻塞,阻塞會對MySQL的性能產生很是大的影響。
特別是長時間的阻塞會佔滿全部數據庫的可用鏈接,這會使生產環境中的其餘應用沒法鏈接到數據庫,所以必定要注意大批量寫操做要進行分批。
避免大表修改產生的主從延遲 避免在對錶字段進行修改時進行鎖表 對大表數據結構的修改必定要謹慎,會形成嚴重的鎖表操做,尤爲是生產環境,是不能容忍的。
pt-online-schema-change是percona公司開發的一個工具,在percona-toolkit包裏面能夠找到這個功能,它能夠在線修改表結構
原理:
當達到最大鏈接數限制時,還運行1個有super權限的用戶鏈接super權限只能留給DBA處理問題的帳號使用。
程序使用數據庫帳號只能在一個DB下使用,不許跨庫 程序使用的帳號原則上不許有drop權限。
謝謝你的閱讀,若是您以爲這篇博文對你有幫助,請點贊或者喜歡,讓更多的人看到!祝你天天開心愉快!
<br/>
無論作什麼,只要堅持下去就會看到不同!在路上,不卑不亢!
博客首頁 : http://blog.csdn.net/u010648555
願你我在人生的路上能都變成最好的本身,可以成爲一個獨擋一面的人
© 天天都在變得更好的阿飛雲