什麼影響了數據庫查詢速度前端
QPS: QueriesPerSecond
意思是「每秒查詢率」,是一臺服務器每秒可以相應的查詢次數,是對一個特定的查詢服務器在規定時間內所處理流量多少的衡量標準。mysql
TPS:是 TransactionsPerSecond
的縮寫,也就是事務數/秒。它是軟件測試結果的測量單位。客戶機在發送請求時開始計時,收到服務器響應後結束計時,以此來計算使用的時間和完成的事務個數。網站性能測試指標詳解,更多看這篇文章。面試
Tips:最好不要在主庫上數據庫備份,大型活動前取消這樣的計劃。sql
一、效率低下的 sql
:超高的 QPS
與 TPS
。數據庫
二、大量的併發:數據鏈接數被佔滿( max_connection
默認 100
,通常把鏈接數設置得大一些)。緩存
三、超高的 CPU
使用率:CPU
資源耗盡出現宕機。性能優化
四、磁盤 IO
:磁盤 IO
性能忽然降低、大量消耗磁盤性能的計劃任務。解決:更快磁盤設備、調整計劃任務、作好磁盤維護。服務器
一、減小從服務器的數量(從服務器會從主服務器複製日誌)微信
二、進行分級緩存(避免前端大量緩存失效)網絡
三、避免使用 select
進行查詢
四、分離業務網絡和服務器網絡
一、記錄行數巨大,單表超千萬
二、表數據文件巨大,超過 10
個 G
一、慢查詢:很難在短期內過濾出須要的數據
查詢字區分度低 -> 要在大數據量的表中篩選出來其中一部分數據會產生大量的磁盤 io
-> 下降磁盤效率
2.對 DDL
影響:
創建索引須要很長時間:
MySQL-v<5.5
創建索引會鎖表 MySQL-v>=5.5
創建索引會形成主從延遲( mysql
創建索引,先在組上執行,再在庫上執行)
修改表結構須要長時間的鎖表:會形成長時間的主從延遲('480秒延遲')
分庫分表把一張大表分紅多個小表
難點:
一、分表主鍵的選擇
二、分表後跨分區數據的查詢和統計
事務是數據庫系統區別於其餘一切文件系統的重要特性之一
事務是一組具備原子性的SQL語句,或是一個獨立的工做單元
事務要求符合:原子性、一致性、隔離性、持久性
ACID
屬性一、原子性( atomicity
):所有成功,所有回滾失敗。銀行存取款。
二、一致性(consistent):銀行轉帳的總金額不變。三、隔離性(isolation):
隔離性等級:
未提交讀( READ UNCOMMITED
) 髒讀,兩個事務之間互相可見;已提交讀( READ COMMITED
)符合隔離性的基本概念,一個事務進行時,其它已提交的事物對於該事務是可見的,便可以獲取其它事務提交的數據。可重複讀( REPEATABLE READ
) InnoDB的默認隔離等級
。事務進行時,其它全部事務對其不可見,即屢次執行讀,獲得的結果是同樣的!可串行化( SERIALIZABLE
) 在讀取的每一行數據上都加鎖,會形成大量的鎖超時和鎖徵用,嚴格數據一致性且沒有併發是可以使用。
查看系統的事務隔離級別: show variables like'%iso%'
;開啓一個新事務: begin
;提交一個事務: commit
;修改事物的隔離級別: setsession tx_isolation='read-committed'
;推薦:面試問爛的 MySQL 四種隔離級別,看完吊打面試官!關注Java技術棧微信公衆號,在後臺回覆關鍵字:mysql,能夠獲取更多棧長整理的MySQL技術乾貨。
四、持久性( DURABILITY
):從數據庫的角度的持久性,磁盤損壞就不行了
redolog
機制保證事務更新的一致性和持久性
運行時間長,操做數據比較多的事務;
風險:鎖定數據太多,回滾時間長,執行時間長。
一、鎖定太多數據,形成大量阻塞和鎖超時;
二、回滾時所需時間比較長,且數據仍然會處於鎖定;
三、若是執行時間長,將形成主從延遲,由於只有當主服務器所有執行完寫入日誌時,從服務器纔會開始進行同步,形成延遲。關注Java技術棧微信公衆號,在後臺回覆關鍵字:mysql,能夠獲取更多棧長整理的MySQL技術乾貨。
解決思路:
一、避免一次處理太多數據,能夠分批次處理;
二、移出沒必要要的 SELECT
操做,保證事務中只有必要的寫操做。
一、服務器硬件。
二、服務器系統(系統參數優化)。
三、存儲引擎。MyISAM
:不支持事務,表級鎖。InnoDB
: 支持事務,支持行級鎖,事務 ACID
。
四、數據庫參數配置。
五、 數據庫結構設計和SQL語句。(重點優化)
分三層:客戶端->服務層->存儲引擎
一、 MySQL
是插件式的存儲引擎,其中存儲引擎分不少種。只要實現符合mysql存儲引擎的接口,能夠開發本身的存儲引擎! 二、全部跨存儲引擎的功能都是在服務層實現的。
三、MySQL的存儲引擎是針對表的,不是針對庫的。也就是說在一個數據庫中可使用不一樣的存儲引擎。可是不建議這樣作。
MySQL5.5
及以後版本默認的存儲引擎:InnoDB
。
show variables like'innodb_file_per_table
若是innodbfileper_table 爲 ON 將創建獨立的表空間,文件爲tablename.ibd;
若是innodbfileper_table 爲 OFF 將數據存儲到系統的共享表空間,文件爲ibdataX(X爲從1開始的整數);
.frm
:是服務器層面產生的文件,相似服務器層的數據字典,記錄表結構。
MySQL5.6
及之後默認)獨立表空間一、系統表空間沒法簡單的收縮文件大小,形成空間浪費,並會產生大量的磁盤碎片。
二、獨立表空間能夠經過 optimeze table
收縮系統文件,不須要重啓服務器也不會影響對錶的正常訪問。
三、若是對多個表進行刷新時,其實是順序進行的,會產生IO瓶頸。
四、獨立表空間能夠同時向多個文件刷新數據。
強烈創建對Innodb 使用獨立表空間,優化什麼的更方便,可控。
一、使用mysqldump 導出全部數據庫數據(存儲過程、觸發器、計劃任務一塊兒都要導出 )能夠在從服務器上操做。
二、中止MYsql 服務器,修改參數(my.cnf加入innodbfileper_table),並刪除Inoodb相關文件(能夠重建Data目錄)。
三、重啓MYSQL,並重建Innodb系統表空間。
四、 從新導入數據。
或者 Altertable
一樣能夠的轉移,可是沒法回收系統表空間中佔用的空間。
一、 Innodb
是一種事務性存儲引擎。
二、徹底支持事務的 ACID
特性。三、支持事務所須要的兩個特殊日誌類型:RedoLog
和 UndoLog
Redo Log:實現事務的持久性(已提交的事務)。Undo Log:未提交的事務,獨立於表空間,須要隨機訪問,能夠存儲在高性能io設備上。
Undo
日誌記錄某數據被修改前的值,能夠用來在事務失敗時進行 rollback
;Redo
日誌記錄某數據塊被修改後的值,能夠用來恢復未寫入 data file
的已成功事務更新的數據。
一、InnoDB支持行級鎖。
二、行級鎖能夠最大程度地支持併發。
三、行級鎖是由存儲引擎層實現的。
鎖的主要做用是管理共享資源的併發訪問
鎖用於實現事務的隔離性
MySQL的事務支持不是綁定在MySQL服務器自己, 而是與存儲引擎相關
表級鎖
行級鎖
將table_name加表級鎖命令:locktable table_name write
; 寫鎖會阻塞其它用戶對該表的‘讀寫’操做,直到
寫鎖被釋放:unlock tables
;
一、鎖的開銷越大,粒度越小,併發度越高。二、表級鎖一般是在服務器層實現的。三、行級鎖是存儲引擎層實現的。innodb的鎖機制,服務器層是不知道的
一、阻塞是因爲資源不足引發的排隊等待現象。
二、死鎖是因爲兩個對象在擁有一份資源的狀況下申請另外一份資源,而另外一份資源剛好又是這兩對象正持有的,致使兩對象沒法完成操做,且所持資源沒法釋放。
參考條件:
一、事務 二、備份( Innobd
免費在線備份) 三、崩潰恢復 四、存儲引擎的特有特性
總結: nnodb大法好。注意: 別使用混合存儲引擎,好比回滾會出問題在線熱備問題。
肯定可使用的內存上限。
內存的使用上限不能超過物理內存,不然容易形成內存溢出;(對於32位操做系統,MySQL只能試用3G如下的內存。37 個 MySQL 數據庫小技巧,推薦看一下。關注Java技術棧微信公衆號,在後臺回覆關鍵字:mysql,能夠獲取更多棧長整理的MySQL技術乾貨。
肯定MySQL的每一個鏈接 單獨
使用的內存。
sort_buffer_size
定義了每一個線程排序緩存區的大小,MySQL在有查詢、須要作排序操做時纔會爲每一個緩衝區分配內存(直接分配該參數的所有內存);
join_buffer_size
定義了每一個線程所使用的鏈接緩衝區的大小,若是一個查詢關聯了多張表,MySQL會爲每張表分配一個鏈接緩衝,致使一個查詢產生了多個鏈接緩衝;
read_buffer_size
定義了當對一張MyISAM進行全表掃描時所分配讀緩衝池大小,MySQL有查詢須要時會爲其分配內存,其必須是4k的倍數;
read_rnd_buffer_size
索引緩衝區大小,MySQL有查詢須要時會爲其分配內存,只會分配須要的大小。
注意:以上四個參數是爲一個線程分配的,若是有100個鏈接,那麼須要×100。
MySQL數據庫實例:
MySQL是單進程多線程(而oracle是多進程),也就是說 MySQL
實例在系統上表現就是一個服務進程,即進程;
MySQL實例是線程和內存組成,實例纔是真正用於操做數據庫文件的;
通常狀況下一個實例操做一個或多個數據庫;集羣狀況下多個實例操做一個或多個數據庫。
如何爲緩存池分配內存:
Innodb_buffer_pool_size
定義了Innodb所使用緩存池的大小,對其性能十分重要,必須足夠大,可是過大時,使得Innodb 關閉時候須要更多時間把髒頁從緩衝池中刷新到磁盤中;
總內存-(每一個線程所須要的內存*鏈接數)- 統保留內存
key_buffer_size
定義了MyISAM所使用的緩存池的大小,因爲數據是依賴存儲操做系統緩存的,因此要爲操做系統預留更大的內存空間;
select sum(index_length) from information_schema.talbes where engine='myisam'
注意:即便開發使用的表所有是Innodb表,也要爲MyISAM預留內存,由於MySQL系統使用的表仍然是MyISAM表。
max_connections
控制容許的最大鏈接數, 通常2000更大。不要使用外鍵約束保證數據的完整性
庫結構設計和SQL語句
數據庫存儲引擎的選擇和參數配置
系統選擇及優化
硬件升級
兩種最長使用的 Innodb 和 Myisam 區別
1. 事務的支持不一樣(innodb支持事務,myisam不支持事務)
2. 鎖粒度(innodb行鎖應用,myisam表鎖)
3. 存儲空間(innodb既緩存索引文件又緩存數據文件,myisam只能緩存索引文件)
4. 存儲結構
(myisam:數據文件的擴展名爲.MYD myData ,索引文件的擴展名是.MYI myIndex)
(innodb:全部的表都保存在同一個數據文件裏面 即爲.Ibd)
5. 統計記錄行數 (myisam:保存有表的總行數,select count(*) from table;會直接取出出該值) (innodb:沒有保存表的總行數,select count(*) from table;就會遍歷整個表,消耗至關大)