MySQL之鎖、事務、優化、OLAP、OLTP

 

本節目錄html

一 鎖的分類及特性

  數據庫鎖定機制簡單來講,就是數據庫爲了保證數據的一致性,而使各類共享資源在被併發訪問變得有序所設計的一種規則。對於任何一種數據庫來講都須要有相應的鎖定機制,因此MySQL天然也不能例外。MySQL數據庫因爲其自身架構的特色,存在多種數據存儲引擎,每種存儲引擎所針對的應用場景特色都不太同樣,爲了知足各自特定應用場景的需求,每種存儲引擎的鎖定機制都是爲各自所面對的特定場景而優化設計,因此各存儲引擎的鎖定機制也有較大區別。MySQL各存儲引擎使用了三種類型(級別)的鎖定機制:表級鎖定,行級鎖定和頁級鎖定。
  1.表級鎖定(table-level)mysql


    表級別的鎖定是MySQL各存儲引擎中最大顆粒度的鎖定機制。該鎖定機制最大的特色是實現邏輯很是簡單,帶來的系統負面影響最小。因此獲取鎖和釋放鎖的速度很快。因爲表級鎖一次會將整個表鎖定,因此能夠很好的避免困擾咱們的死鎖問題。
    固然,鎖定顆粒度大所帶來最大的負面影響就是出現鎖定資源爭用的機率也會最高,導致並大度大打折扣。
    使用表級鎖定的主要是MyISAM,MEMORY,CSV等一些非事務性存儲引擎。  git

  2.行級鎖定(row-level)    

    行級鎖定最大的特色就是鎖定對象的顆粒度很小,也是目前各大數據庫管理軟件所實現的鎖定顆粒度最小的。因爲鎖定顆粒度很小,因此發生鎖定資源爭用的機率也最小,可以給予應用程序儘量大的併發處理能力而提升一些須要高併發應用系統的總體性能。
    雖然可以在併發處理能力上面有較大的優點,可是行級鎖定也所以帶來了很多弊端。因爲鎖定資源的顆粒度很小,因此每次獲取鎖和釋放鎖須要作的事情也更多,帶來的消耗天然也就更大了。此外,行級鎖定也最容易發生死鎖。
    使用行級鎖定的主要是InnoDB存儲引擎。  github

  3.頁級鎖定(page-level)    

    頁級鎖定是MySQL中比較獨特的一種鎖定級別,在其餘數據庫管理軟件中也並非太常見。頁級鎖定的特色是鎖定顆粒度介於行級鎖定與表級鎖之間,因此獲取鎖定所須要的資源開銷,以及所能提供的併發處理能力也一樣是介於上面兩者之間。另外,頁級鎖定和行級鎖定同樣,會發生死鎖。
    在數據庫實現資源鎖定的過程當中,隨着鎖定資源顆粒度的減少,鎖定相同數據量的數據所須要消耗的內存數量是愈來愈多的,實現算法也會愈來愈複雜。不過,隨着鎖定資源顆粒度的減少,應用程序的訪問請求遇到鎖等待的可能性也會隨之下降,系統總體併發度也隨之提高。
    使用頁級鎖定的主要是BerkeleyDB存儲引擎。
    總的來講,MySQL這3種鎖的特性可大體概括以下:
      表級鎖:開銷小,加鎖快;不會出現死鎖;鎖定粒度大,發生鎖衝突的機率最高,併發度最低;
      行級鎖:開銷大,加鎖慢;會出現死鎖;鎖定粒度最小,發生鎖衝突的機率最低,併發度也最高;    
      頁面鎖:開銷和加鎖時間界於表鎖和行鎖之間;會出現死鎖;鎖定粒度界於表鎖和行鎖之間,併發度通常。
    適用:從鎖的角度來講,表級鎖更適合於以查詢爲主,只有少許按索引條件更新數據的應用,如Web應用;而行級鎖則更適合於有大量按索引條件併發更新少許不一樣數據,同時又有併發查詢的應用,如一些在線事務處理(OLTP)系統。  算法

 

二 表級鎖定(MyISAM舉例)

  

  因爲MyISAM存儲引擎使用的鎖定機制徹底是由MySQL提供的表級鎖定實現,因此下面咱們將以MyISAM存儲引擎做爲示例存儲引擎。
  1.MySQL表級鎖的鎖模式
    MySQL的表級鎖有兩種模式:表共享讀鎖(Table Read Lock)和表獨佔寫鎖(Table Write Lock)。鎖模式的兼容性:
    對MyISAM表的讀操做,不會阻塞其餘用戶對同一表的讀請求,但會阻塞對同一表的寫請求;
    對MyISAM表的寫操做,則會阻塞其餘用戶對同一表的讀和寫操做;
    MyISAM表的讀操做與寫操做之間,以及寫操做之間是串行的。當一個線程得到對一個表的寫鎖後,只有持有鎖的線程能夠對錶進行更新操做。其餘線程的讀、寫操做都會等待,直到鎖被釋放爲止。sql

    總結:表鎖,讀鎖會阻塞寫,不會阻塞讀。而寫鎖則會把讀寫都阻塞
  2.如何加表鎖
    MyISAM在執行查詢語句(SELECT)前,會自動給涉及的全部表加讀鎖,在執行更新操做(UPDATE、DELETE、INSERT等)前,會自動給涉及的表加寫鎖,這個過程並不須要用戶干預,所以,用戶通常不須要直接用LOCK TABLE命令給MyISAM表顯式加鎖。數據庫

    顯示加鎖:
      共享讀鎖:lock table tableName read;
      獨佔寫鎖:lock table tableName write;緩存

                      同時加多鎖:lock table t1 write,t2 read;
      批量解鎖:unlock tables;
  3.MyISAM表鎖優化建議
    對於MyISAM存儲引擎,雖然使用表級鎖定在鎖定實現的過程當中比實現行級鎖定或者頁級鎖所帶來的附加成本都要小,鎖定自己所消耗的資源也是最少。可是因爲鎖定的顆粒度比較到,因此形成鎖定資源的爭用狀況也會比其餘的鎖定級別都要多,從而在較大程度上會下降併發處理能力。因此,在優化MyISAM存儲引擎鎖定問題的時候,最關鍵的就是如何讓其提升併發度。因爲鎖定級別是不可能改變的了,因此咱們首先須要儘量讓鎖定的時間變短,而後就是讓可能併發進行的操做盡量的併發。
    (1)查詢表級鎖爭用狀況
      MySQL內部有兩組專門的狀態變量記錄系統內部鎖資源爭用狀況:服務器

 
mysql> show status like 'table%';
+----------------------------+---------+
| Variable_name              | Value   |
+----------------------------+---------+
| Table_locks_immediate      | 100     |
| Table_locks_waited         | 11      |
+----------------------------+---------+
 

 

      這裏有兩個狀態變量記錄MySQL內部表級鎖定的狀況,兩個變量說明以下:架構

      Table_locks_immediate:產生表級鎖定的次數;
      Table_locks_waited:出現表級鎖定爭用而發生等待的次數;此值越高則說明存在着越嚴重的表級鎖爭用狀況。此外,MyISAM的讀寫鎖調度是寫優先,這也是MyISAM不適合作寫爲主表的存儲引擎。由於寫鎖後,其餘線程不能作任何操做,大量的更新會使查詢很可貴到鎖,從而形成永久阻塞。

      兩個狀態值都是從系統啓動後開始記錄,出現一次對應的事件則數量加1。若是這裏的Table_locks_waited狀態值比較高,那麼說明系統中表級鎖定爭用現象比較嚴重,就須要進一步分析爲何會有較多的鎖定資源爭用了。
    (2)縮短鎖定時間
      如何讓鎖定時間儘量的短呢?惟一的辦法就是讓咱們的Query執行時間儘量的短。
      a)盡兩減小大的複雜Query,將複雜Query分拆成幾個小的Query分佈進行;
      b)儘量的創建足夠高效的索引,讓數據檢索更迅速;
      c)儘可能讓MyISAM存儲引擎的表只存放必要的信息,控制字段類型;
      d)利用合適的機會優化MyISAM表數據文件。
    (3)分離能並行的操做
  說到MyISAM的表鎖,並且是讀寫互相阻塞的表鎖,可能有些人會認爲在MyISAM存儲引擎的表上就只能是徹底的串行化,沒辦法再並行了。你們不要忘記了,MyISAM的存儲引擎還有一個很是有用的特性,那就是ConcurrentInsert(併發插入)的特性。
  MyISAM存儲引擎有一個控制是否打開Concurrent Insert功能的參數選項:concurrent_insert,能夠設置爲0,1或者2。三個值的具體說明以下:
    concurrent_insert=2,不管MyISAM表中有沒有空洞,都容許在表尾併發插入記錄;
    concurrent_insert=1,若是MyISAM表中沒有空洞(即表的中間沒有被刪除的行),MyISAM容許在一個進程讀表的同時,另外一個進程從表尾插入記錄。這也是MySQL的默認設置;
    concurrent_insert=0,不容許併發插入。
  能夠利用MyISAM存儲引擎的併發插入特性,來解決應用中對同一表查詢和插入的鎖爭用。例如,將concurrent_insert系統變量設爲2,老是容許併發插入;同時,經過按期在系統空閒時段執行OPTIMIZE TABLE語句來整理空間碎片,收回因刪除記錄而產生的中間空洞。
    (4)合理利用讀寫優先級
      MyISAM存儲引擎的是讀寫互相阻塞的,那麼,一個進程請求某個MyISAM表的讀鎖,同時另外一個進程也請求同一表的寫鎖,MySQL如何處理呢?
      答案是寫進程先得到鎖。不只如此,即便讀請求先到鎖等待隊列,寫請求後到,寫鎖也會插到讀鎖請求以前。
      這是由於MySQL的表級鎖定對於讀和寫是有不一樣優先級設定的,默認狀況下是寫優先級要大於讀優先級。
      因此,若是咱們能夠根據各自系統環境的差別決定讀與寫的優先級:
      經過執行命令SET LOW_PRIORITY_UPDATES=1,使該鏈接讀比寫的優先級高。若是咱們的系統是一個以讀爲主,能夠設置此參數,若是以寫爲主,則不用設置;
      經過指定INSERT、UPDATE、DELETE語句的LOW_PRIORITY屬性,下降該語句的優先級。
      雖然上面方法都是要麼更新優先,要麼查詢優先的方法,但仍是能夠用其來解決查詢相對重要的應用(如用戶登陸系統)中,讀鎖等待嚴重的問題。
      另外,MySQL也提供了一種折中的辦法來調節讀寫衝突,即給系統參數max_write_lock_count設置一個合適的值,當一個表的讀鎖達到這個值後,MySQL就暫時將寫請求的優先級下降,給讀進程必定得到鎖的機會。
      這裏還要強調一點:一些須要長時間運行的查詢操做,也會使寫進程「餓死」,所以,應用中應儘可能避免出現長時間運行的查詢操做,不要總想用一條SELECT語句來解決問題,由於這種看似巧妙的SQL語句,每每比較複雜,執行時間較長,在可能的狀況下能夠經過使用中間表等措施對SQL語句作必定的「分解」,使每一步查詢都能在較短期完成,從而減小鎖衝突。若是複雜查詢不可避免,應儘可能安排在數據庫空閒時段執行,好比一些按期統計能夠安排在夜間執行。

     

    InnoDB默認採用行鎖,在未使用索引字段查詢時升級爲表鎖。MySQL這樣設計並非給你挖坑。它有本身的設計目的。
    即使你在條件中使用了索引字段,MySQL會根據自身的執行計劃,考慮是否使用索引(因此explain命令中會有possible_key 和 key)。若是MySQL認爲全表掃描效率更高,它就不會使用索引,這種狀況下InnoDB將使用表鎖,而不是行鎖。所以,在分析鎖衝突時,別忘了檢查SQL的執行計劃,以確認是否真正使用了索引。關於執行計劃

    第一種狀況:全表更新。事務須要更新大部分或所有數據,且表又比較大。若使用行鎖,會致使事務執行效率低,從而可能形成其餘事務長時間鎖等待和更多的鎖衝突。

    第二種狀況:多表級聯。事務涉及多個表,比較複雜的關聯查詢,極可能引發死鎖,形成大量事務回滾。這種狀況若能一次性鎖定事務涉及的表,從而能夠避免死鎖、減小數據庫因事務回滾帶來的開銷。

 

 

三 行級鎖定

 

  行級鎖定不是MySQL本身實現的鎖定方式,而是由其餘存儲引擎本身所實現的,如廣爲你們所知的InnoDB存儲引擎,以及MySQL的分佈式存儲引擎NDBCluster等都是實現了行級鎖定。考慮到行級鎖定君由各個存儲引擎自行實現,並且具體實現也各有差異,而InnoDB是目前事務型存儲引擎中使用最爲普遍的存儲引擎,因此這裏咱們就主要分析一下InnoDB的鎖定特性。
  1.InnoDB鎖定模式及實現機制
    考慮到行級鎖定君由各個存儲引擎自行實現,並且具體實現也各有差異,而InnoDB是目前事務型存儲引擎中使用最爲普遍的存儲引擎,因此這裏咱們就主要分析一下InnoDB的鎖定特性。
    總的來講,InnoDB的鎖定機制和Oracle數據庫有很多類似之處。InnoDB的行級鎖定一樣分爲兩種類型,共享鎖和排他鎖,而在鎖定機制的實現過程當中爲了讓行級鎖定和表級鎖定共存,InnoDB也一樣使用了意向鎖(表級鎖定)的概念,也就有了意向共享鎖和意向排他鎖這兩種。
    當一個事務須要給本身須要的某個資源加鎖的時候,若是遇到一個共享鎖正鎖定着本身須要的資源的時候,本身能夠再加一個共享鎖,不過不能加排他鎖。可是,若是遇到本身須要鎖定的資源已經被一個排他鎖佔有以後,則只能等待該鎖定釋放資源以後本身才能獲取鎖定資源並添加本身的鎖定。而意向鎖的做用就是當一個事務在須要獲取資源鎖定的時候,若是遇到本身須要的資源已經被排他鎖佔用的時候,該事務能夠須要鎖定行的表上面添加一個合適的意向鎖。若是本身須要一個共享鎖,那麼就在表上面添加一個意向共享鎖。而若是本身須要的是某行(或者某些行)上面添加一個排他鎖的話,則先在表上面添加一個意向排他鎖。意向共享鎖能夠同時並存多個,可是意向排他鎖同時只能有一個存在。因此,能夠說InnoDB的鎖定模式實際上能夠分爲四種:共享鎖(S),排他鎖(X),意向共享鎖(IS)和意向排他鎖(IX),咱們能夠經過如下表格來總結上面這四種所的共存邏輯關係:
    

    若是一個事務請求的鎖模式與當前的鎖兼容,InnoDB就將請求的鎖授予該事務;反之,若是二者不兼容,該事務就要等待鎖釋放。
    意向鎖是InnoDB自動加的,不需用戶干預。對於UPDATE、DELETE和INSERT語句,InnoDB會自動給涉及數據集加排他鎖(X);對於普通SELECT語句,InnoDB不會加任何鎖;事務能夠經過如下語句顯示給記錄集加共享鎖或排他鎖。

共享鎖(S):SELECT * FROM table_name WHERE ... LOCK IN SHARE MODE
排他鎖(X):SELECT * FROM table_name WHERE ... FOR UPDATE

    用SELECT ... IN SHARE MODE得到共享鎖,主要用在須要數據依存關係時來確認某行記錄是否存在,並確保沒有人對這個記錄進行UPDATE或者DELETE操做。
    可是若是當前事務也須要對該記錄進行更新操做,則頗有可能形成死鎖,對於鎖定行記錄後須要進行更新操做的應用,應該使用SELECT... FOR UPDATE方式得到排他鎖。
  2.InnoDB行鎖實現方式
    InnoDB行鎖是經過給索引上的索引項加鎖來實現的,只有經過索引條件檢索數據,InnoDB才使用行級鎖,不然,InnoDB將使用表鎖
    在實際應用中,要特別注意InnoDB行鎖的這一特性,否則的話,可能致使大量的鎖衝突,從而影響併發性能。下面經過一些實際例子來加以說明。
    (1)在不經過索引條件查詢的時候,InnoDB確實使用的是表鎖,而不是行鎖。
    (2)因爲MySQL的行鎖是針對索引加的鎖,不是針對記錄加的鎖,因此雖然是訪問不一樣行的記錄,可是若是是使用相同的索引鍵,是會出現鎖衝突的。
    (3)當表有多個索引的時候,不一樣的事務可使用不一樣的索引鎖定不一樣的行,另外,不管是使用主鍵索引、惟一索引或普通索引,InnoDB都會使用行鎖來對數據加鎖。
    (4)即使在條件中使用了索引字段,可是否使用索引來檢索數據是由MySQL經過判斷不一樣執行計劃的代價來決定的,若是MySQL認爲全表掃描效率更高,好比對一些很小的表,它就不會使用索引,這種狀況下InnoDB將使用表鎖,而不是行鎖。所以,在分析鎖衝突時,別忘了檢查SQL的執行計劃,以確認是否真正使用了索引。
  3.間隙鎖(Next-Key鎖)
    當咱們用範圍條件而不是相等條件檢索數據,並請求共享或排他鎖時,InnoDB會給符合條件的已有數據記錄的索引項加鎖;
    對於鍵值在條件範圍內但並不存在的記錄,叫作「間隙(GAP)」,InnoDB也會對這個「間隙」加鎖,這種鎖機制就是所謂的間隙鎖(Next-Key鎖)。
    例:
    假如emp表中只有101條記錄,其empid的值分別是 1,2,...,100,101,下面的SQL:

mysql> select * from emp where empid > 100 for update;

    是一個範圍條件的檢索,InnoDB不只會對符合條件的empid值爲101的記錄加鎖,也會對empid大於101(這些記錄並不存在)的「間隙」加鎖。
    InnoDB使用間隙鎖的目的:
    (1)防止幻讀,以知足相關隔離級別的要求(關於事務的隔離級別)。對於上面的例子,要是不使用間隙鎖,若是其餘事務插入了empid大於100的任何記錄,那麼本事務若是再次執行上述語句,就會發生幻讀;
    (2)爲了知足其恢復和複製的須要。
    很顯然,在使用範圍條件檢索並鎖定記錄時,即便某些不存在的鍵值也會被無辜的鎖定,而形成在鎖定的時候沒法插入鎖定鍵值範圍內的任何數據。在某些場景下這可能會對性能形成很大的危害。
除了間隙鎖給InnoDB帶來性能的負面影響以外,經過索引實現鎖定的方式還存在其餘幾個較大的性能隱患:
    (1)當Query沒法利用索引的時候,InnoDB會放棄使用行級別鎖定而改用表級別的鎖定,形成併發性能的下降;
    (2)當Query使用的索引並不包含全部過濾條件的時候,數據檢索使用到的索引鍵所只想的數據可能有部分並不屬於該Query的結果集的行列,可是也會被鎖定,由於間隙鎖鎖定的是一個範圍,而不是具體的索引鍵;
    (3)當Query在使用索引定位數據的時候,若是使用的索引鍵同樣但訪問的數據行不一樣的時候(索引只是過濾條件的一部分),同樣會被鎖定。
    所以,在實際應用開發中,尤爲是併發插入比較多的應用,咱們要儘可能優化業務邏輯,儘可能使用相等條件來訪問更新數據,避免使用範圍條件。
    還要特別說明的是,InnoDB除了經過範圍條件加鎖時使用間隙鎖外,若是使用相等條件請求給一個不存在的記錄加鎖,InnoDB也會使用間隙鎖。
  4.死鎖
    上文講過,MyISAM表鎖是deadlock free的,這是由於MyISAM老是一次得到所需的所有鎖,要麼所有知足,要麼等待,所以不會出現死鎖。但在InnoDB中,除單個SQL組成的事務外,鎖是逐步得到的,當兩個事務都須要得到對方持有的排他鎖才能繼續完成事務,這種循環鎖等待就是典型的死鎖。
    在InnoDB的事務管理和鎖定機制中,有專門檢測死鎖的機制,會在系統中產生死鎖以後的很短期內就檢測到該死鎖的存在。當InnoDB檢測到系統中產生了死鎖以後,InnoDB會經過相應的判斷來選這產生死鎖的兩個事務中較小的事務來回滾,而讓另一個較大的事務成功完成。
    那InnoDB是以什麼來爲標準斷定事務的大小的呢?MySQL官方手冊中也提到了這個問題,實際上在InnoDB發現死鎖以後,會計算出兩個事務各自插入、更新或者刪除的數據量來斷定兩個事務的大小。也就是說哪一個事務所改變的記錄條數越多,在死鎖中就越不會被回滾掉。
    可是有一點須要注意的就是,當產生死鎖的場景中涉及到不止InnoDB存儲引擎的時候,InnoDB是沒辦法檢測到該死鎖的,這時候就只能經過鎖定超時限制參數InnoDB_lock_wait_timeout來解決。
    須要說明的是,這個參數並非只用來解決死鎖問題,在併發訪問比較高的狀況下,若是大量事務因沒法當即得到所需的鎖而掛起,會佔用大量計算機資源,形成嚴重性能問題,甚至拖跨數據庫。咱們經過設置合適的鎖等待超時閾值,能夠避免這種狀況發生。
    一般來講,死鎖都是應用設計的問題,經過調整業務流程、數據庫對象設計、事務大小,以及訪問數據庫的SQL語句,絕大部分死鎖均可以免。下面就經過實例來介紹幾種避免死鎖的經常使用方法:
      (1)在應用中,若是不一樣的程序會併發存取多個表,應儘可能約定以相同的順序來訪問表,這樣能夠大大下降產生死鎖的機會。
      (2)在程序以批量方式處理數據的時候,若是事先對數據排序,保證每一個線程按固定的順序來處理記錄,也能夠大大下降出現死鎖的可能。
      (3)在事務中,若是要更新記錄,應該直接申請足夠級別的鎖,即排他鎖,而不該先申請共享鎖,更新時再申請排他鎖,由於當用戶申請排他鎖時,其餘事務可能又已經得到了相同記錄的共享鎖,從而形成鎖衝突,甚至死鎖。
      (4)在REPEATABLE-READ隔離級別下,若是兩個線程同時對相同條件記錄用SELECT...FOR UPDATE加排他鎖,在沒有符合該條件記錄狀況下,兩個線程都會加鎖成功。程序發現記錄尚不存在,就試圖插入一條新記錄,若是兩個線程都這麼作,就會出現死鎖。這種狀況下,將隔離級別改爲READ COMMITTED,就可避免問題。
      (5)當隔離級別爲READ COMMITTED時,若是兩個線程都先執行SELECT...FOR UPDATE,判斷是否存在符合條件的記錄,若是沒有,就插入記錄。此時,只有一個線程能插入成功,另外一個線程會出現鎖等待,當第1個線程提交後,第2個線程會因主鍵重出錯,但雖然這個線程出錯了,卻會得到一個排他鎖。這時若是有第3個線程又來申請排他鎖,也會出現死鎖。對於這種狀況,能夠直接作插入操做,而後再捕獲主鍵重異常,或者在遇到主鍵重錯誤時,老是執行ROLLBACK釋放得到的排他鎖。
  5.何時使用表鎖
    對於InnoDB表,在絕大部分狀況下都應該使用行級鎖,由於事務和行鎖每每是咱們之因此選擇InnoDB表的理由。但在個別特殊事務中,也能夠考慮使用表級鎖:
    (1)事務須要更新大部分或所有數據,表又比較大,若是使用默認的行鎖,不只這個事務執行效率低,並且可能形成其餘事務長時間鎖等待和鎖衝突,這種狀況下能夠考慮使用表鎖來提升該事務的執行速度。
    (2)事務涉及多個表,比較複雜,極可能引發死鎖,形成大量事務回滾。這種狀況也能夠考慮一次性鎖定事務涉及的表,從而避免死鎖、減小數據庫因事務回滾帶來的開銷。
固然,應用中這兩種事務不能太多,不然,就應該考慮使用MyISAM表了。
    在InnoDB下,使用表鎖要注意如下兩點。
    (1)使用LOCK TABLES雖然能夠給InnoDB加表級鎖,但必須說明的是,表鎖不是由InnoDB存儲引擎層管理的,而是由其上一層──MySQL Server負責的,僅當autocommit=0(不自動提交,默認是自動提交的)、InnoDB_table_locks=1(默認設置)時,InnoDB層才能知道MySQL加的表鎖,MySQL Server也才能感知InnoDB加的行鎖,這種狀況下,InnoDB才能自動識別涉及表級鎖的死鎖,不然,InnoDB將沒法自動檢測並處理這種死鎖。
    (2)在用 LOCK TABLES對InnoDB表加鎖時要注意,要將AUTOCOMMIT設爲0,不然MySQL不會給表加鎖;事務結束前,不要用UNLOCK TABLES釋放表鎖,由於UNLOCK TABLES會隱含地提交事務;COMMIT或ROLLBACK並不能釋放用LOCK TABLES加的表級鎖,必須用UNLOCK TABLES釋放表鎖。正確的方式見以下語句:
    例如,若是須要寫表t1並從表t讀,能夠按以下作:

SET AUTOCOMMIT=0;
LOCK TABLES t1 WRITE, t2 READ, ...;
[do something with tables t1 and t2 here];
COMMIT;
UNLOCK TABLES;

  6.InnoDB行鎖優化建議
    InnoDB存儲引擎因爲實現了行級鎖定,雖然在鎖定機制的實現方面所帶來的性能損耗可能比表級鎖定會要更高一些,可是在總體併發處理能力方面要遠遠優於MyISAM的表級鎖定的。當系統併發量較高的時候,InnoDB的總體性能和MyISAM相比就會有比較明顯的優點了。可是,InnoDB的行級鎖定一樣也有其脆弱的一面,當咱們使用不當的時候,可能會讓InnoDB的總體性能表現不只不能比MyISAM高,甚至可能會更差。
    (1)要想合理利用InnoDB的行級鎖定,作到揚長避短,咱們必須作好如下工做:
      a)儘量讓全部的數據檢索都經過索引來完成,從而避免InnoDB由於沒法經過索引鍵加鎖而升級爲表級鎖定;
      b)合理設計索引,讓InnoDB在索引鍵上面加鎖的時候儘量準確,儘量的縮小鎖定範圍,避免形成沒必要要的鎖定而影響其餘Query的執行;
      c)儘量減小基於範圍的數據檢索過濾條件,避免由於間隙鎖帶來的負面影響而鎖定了不應鎖定的記錄;
      d)儘可能控制事務的大小,減小鎖定的資源量和鎖定時間長度;
      e)在業務環境容許的狀況下,儘可能使用較低級別的事務隔離,以減小MySQL由於實現事務隔離級別所帶來的附加成本。
    (2)因爲InnoDB的行級鎖定和事務性,因此確定會產生死鎖,下面是一些比較經常使用的減小死鎖產生機率的小建議:
      a)相似業務模塊中,儘量按照相同的訪問順序來訪問,防止產生死鎖;
      b)在同一個事務中,儘量作到一次鎖定所須要的全部資源,減小死鎖產生機率;
      c)對於很是容易產生死鎖的業務部分,能夠嘗試使用升級鎖定顆粒度,經過表級鎖定來減小死鎖產生的機率。
    (3)能夠經過檢查InnoDB_row_lock狀態變量來分析系統上的行鎖的爭奪狀況:

 
mysql> show status like 'InnoDB_row_lock%';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| InnoDB_row_lock_current_waits | 0     |
| InnoDB_row_lock_time          | 0     |
| InnoDB_row_lock_time_avg      | 0     |
| InnoDB_row_lock_time_max      | 0     |
| InnoDB_row_lock_waits         | 0     |
+-------------------------------+-------+
 

 

  InnoDB 的行級鎖定狀態變量不只記錄了鎖定等待次數,還記錄了鎖定總時長,每次平均時長,以及最大時長,此外還有一個非累積狀態量顯示了當前正在等待鎖定的等待數量。對各個狀態量的說明以下:

  InnoDB_row_lock_current_waits:當前正在等待鎖定的數量;
  InnoDB_row_lock_time:從系統啓動到如今鎖定總時間長度;
  InnoDB_row_lock_time_avg:每次等待所花平均時間;
  InnoDB_row_lock_time_max:從系統啓動到如今等待最常的一次所花的時間;
  InnoDB_row_lock_waits:系統啓動後到如今總共等待的次數;
  對於這5個狀態變量,比較重要的主要是InnoDB_row_lock_time_avg(等待平均時長),InnoDB_row_lock_waits(等待總次數)以及InnoDB_row_lock_time(等待總時長)這三項。尤爲是當等待次數很高,並且每次等待時長也不小的時候,咱們就須要分析系統中爲何會有如此多的等待,而後根據分析結果着手指定優化計劃。
  若是發現鎖爭用比較嚴重,如InnoDB_row_lock_waits和InnoDB_row_lock_time_avg的值比較高,還能夠經過設置InnoDB Monitors 來進一步觀察發生鎖衝突的表、數據行等,並分析鎖爭用的緣由。
  鎖衝突的表、數據行等,並分析鎖爭用的緣由。具體方法以下:

mysql> create table InnoDB_monitor(a INT) engine=InnoDB;

  而後就能夠用下面的語句來進行查看:

mysql> show engine InnoDB status;

  監視器能夠經過發出下列語句來中止查看:

mysql> drop table InnoDB_monitor;

  設置監視器後,會有詳細的當前鎖等待的信息,包括表名、鎖類型、鎖定記錄的狀況等,便於進行進一步的分析和問題的肯定。可能會有讀者朋友問爲何要先建立一個叫InnoDB_monitor的表呢?由於建立該表實際上就是告訴InnoDB咱們開始要監控他的細節狀態了,而後InnoDB就會將比較詳細的事務以及鎖定信息記錄進入MySQL的errorlog中,以便咱們後面作進一步分析使用。打開監視器之後,默認狀況下每15秒會向日志中記錄監控的內容,若是長時間打開會致使.err文件變得很是的巨大,因此用戶在確認問題緣由以後,要記得刪除監控表以關閉監視器,或者經過使用「--console」選項來啓動服務器以關閉寫日誌文件。

 

四 查看死鎖、解除鎖

 

  結合上面對錶鎖和行鎖的分析狀況,解除正在死鎖的狀態有兩種方法:

    第一種:

      1.查詢是否鎖表

        show OPEN TABLES where In_use > 0;

      2.查詢進程(若是您有SUPER權限,您能夠看到全部線程。不然,您只能看到您本身的線程)

        show processlist

      3.殺死進程id(就是上面命令的id列)

        kill id

    第二種:

      1.查看下在鎖的事務 

        SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;

      2.殺死進程id(就是上面命令的trx_mysql_thread_id列)

        kill 線程ID

  例子:

    查出死鎖進程:SHOW PROCESSLIST
    殺掉進程          KILL 420821;

  其它關於查看死鎖的命令:

    1:查看當前的事務
      SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;

    2:查看當前鎖定的事務

      SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS;

  3:查看當前等鎖的事務
      SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCK_WAITS;

 

五 事務

  1.MySQL 事務屬性

    事務是由一組SQL語句組成的邏輯處理單元,事務具備ACID屬性。
    原子性(Atomicity):事務是一個原子操做單元。在當時原子是不可分割的最小元素,其對數據的修改,要麼所有成功,要麼所有都不成功。
    一致性(Consistent):事務開始到結束的時間段內,數據都必須保持一致狀態。
    隔離性(Isolation):數據庫系統提供必定的隔離機制,保證事務在不受外部併發操做影響的"獨立"環境執行。
    持久性(Durable):事務完成後,它對於數據的修改是永久性的,即便出現系統故障也可以保持。

  2.事務常見問題

    更新丟失(Lost Update)
      緣由:當多個事務選擇同一行操做,而且都是基於最初選定的值,因爲每一個事務都不知道其餘事務的存在,就會發生更新覆蓋的問題。類比github提交衝突。

    髒讀(Dirty Reads)
      緣由:事務A讀取了事務B已經修改但還沒有提交的數據。若事務B回滾數據,事務A的數據存在不一致性的問題。

    不可重複讀(Non-Repeatable Reads)
      緣由:事務A第一次讀取最初數據,第二次讀取事務B已經提交的修改或刪除數據。致使兩次讀取數據不一致。不符合事務的隔離性。

    幻讀(Phantom Reads)
      緣由:事務A根據相同條件第二次查詢到事務B提交的新增數據,兩次數據結果集不一致。不符合事務的隔離性。

    幻讀和髒讀有點相似
    髒讀是事務B裏面修改了數據,
    幻讀是事務B裏面新增了數據。

  3.事務的隔離級別

    數據庫的事務隔離越嚴格,併發反作用越小,但付出的代價也就越大。這是由於事務隔離實質上是將事務在必定程度上"串行"進行,這顯然與"併發"是矛盾的。根據本身的業務邏輯,權衡能接受的最大反作用。從而平衡了"隔離" 和 "併發"的問題。MySQL默認隔離級別是可重複讀。
    髒讀,不可重複讀,幻讀,其實都是數據庫讀一致性問題,必須由數據庫提供必定的事務隔離機制來解決。

 
+------------------------------+---------------------+--------------+--------------+--------------+
| 隔離級別                      | 讀數據一致性         | 髒讀         | 不可重複 讀   | 幻讀         |
+------------------------------+---------------------+--------------+--------------+--------------+
| 未提交讀(Read uncommitted)    | 最低級別            | 是            | 是           | 是           | 
+------------------------------+---------------------+--------------+--------------+--------------+
| 已提交讀(Read committed)      | 語句級              | 否           | 是           | 是           |
+------------------------------+---------------------+--------------+--------------+--------------+
| 可重複讀(Repeatable read)     | 事務級              | 否           | 否           | 是           |
+------------------------------+---------------------+--------------+--------------+--------------+
| 可序列化(Serializable)        | 最高級別,事務級     | 否           | 否           | 否           |
+------------------------------+---------------------+--------------+--------------+--------------+
 

    查看當前數據庫的事務隔離級別:show variables like 'tx_isolation';

mysql> show variables like 'tx_isolation';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| tx_isolation  | REPEATABLE-READ |
+---------------+-----------------+

  4.事務級別的設置

 
1.未提交讀(READ UNCOMMITED) 解決的障礙:無; 引入的問題:髒讀
    set SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;

2.已提交讀 (READ COMMITED) 解決的障礙:髒讀; 引入的問題:不可重複讀
    set SESSION TRANSACTION ISOLATION LEVEL read committed;

3.可重複讀(REPEATABLE READ)解決的障礙:不可重複讀; 引入的問題:
    set SESSION TRANSACTION ISOLATION LEVEL repeatable read;

4.可串行化(SERIALIZABLE)解決的障礙:可重複讀; 引入的問題:鎖全表,性能低下
    set SESSION TRANSACTION ISOLATION LEVEL repeatable read;
 

 

  總結:

    事務隔離級別爲可重複讀時,若是有索引(包括主鍵索引)的時候,以索引列爲條件更新數據,會存在間隙鎖間、行鎖、頁鎖的問題,從而鎖住一些行;若是沒有索引,更新數據時會鎖住整張表

    事務隔離級別爲串行化時,讀寫數據都會鎖住整張表

    隔離級別越高,越能保證數據的完整性和一致性,可是對併發性能的影響也越大,對於多數應用程序,能夠優先考慮把數據庫系統的隔離級別設爲Read Committed,它可以避免髒讀取,並且具備較好的併發性能。

 5.事務保存點,實現部分回滾

    咱們能夠在mysql事務處理過程當中定義保存點(SAVEPOINT),而後回滾到指定的保存點前的狀態。

    定義保存點,以及回滾到指定保存點前狀態的語法以下。

    1.定義保存點---SAVEPOINT 保存點名;

    2.回滾到指定保存點---ROLLBACK TO SAVEPOINT 保存點名:

 
1、查看user表中的數據

mysql> select * from user;
+-----+----------+-----+------+
| mid | name | scx | word |
+-----+----------+-----+------+
| 1 | zhangsan | 0 | NULL |
| 2 | wangwu    | 1 | NULL |
+-----+----------+-----+------+
2 rows in set (0.05 sec)
2、mysql事務開始

mysql> BEGIN; -- 或者start transaction;
Query OK, 0 rows affected (0.00 sec)
3、向表user中插入2條數據

mysql> INSERT INTO user VALUES ('3','one','0','');
Query OK, 1 row affected (0.08 sec)
mysql> INSERT INTO user VALUES ('4,'two','0','');
Query OK, 1 row affected (0.00 sec)
mysql> select * from user;
+-----+----------+-----+------+
| mid | name | scx | word |
+-----+----------+-----+------+
| 1 | zhangsan | 0 | NULL |
| 2 | wangwu    | 1 | NULL |
| 3 | one            | 0 | |
| 4 | two             | 0 | |
+-----+----------+-----+------+
4 rows in set (0.00 sec)
四、指定保存點,保存點名爲test

mysql> SAVEPOINT test;
Query OK, 0 rows affected (0.00 sec)
五、向表user中插入第3條數據

mysql> INSERT INTO user VALUES ('5','three','0','');
Query OK, 1 row affected (0.00 sec)
mysql> select * from user;
+-----+----------+-----+------+
| mid | name | scx | word |
+-----+----------+-----+------+
| 1 | zhangsan | 0 | NULL |
| 2 | wangwu | 1 | NULL |
| 3 | one | 0 | |
| 4 | two | 0 | |
| 5 | three | 0 | |
+-----+----------+-----+------+
5 rows in set (0.02 sec)
六、回滾到保存點test

mysql> ROLLBACK TO SAVEPOINT test;
Query OK, 0 rows affected (0.31 sec)
mysql> select * from user;
+-----+----------+-----+------+
| mid | name | scx | word |
+-----+----------+-----+------+
| 1 | zhangsan | 0 | NULL |
| 2 | wangwu    | 1 | NULL |
| 3 | one            | 0 | |
| 4 | two            | 0 | |
+-----+----------+-----+------+
4 rows in set (0.00 sec)
 

    咱們能夠看到保存點test之後插入的記錄沒有顯示了,即成功團滾到了定義保存點test前的狀態。利用保存點能夠實現只提交事務中部分處理的功能。

   6 事務控制語句

 
BEGIN或START TRANSACTION;顯式地開啓一個事務;
COMMIT;                  也可使用COMMIT WORK,不過兩者是等價的。COMMIT會提交事務,並使已對數據庫進行的全部修改爲爲永久性的;
ROLLBACK;                有可使用ROLLBACK WORK,不過兩者是等價的。回滾會結束用戶的事務,並撤銷正在進行的全部未提交的修改;
SAVEPOINT identifier;    SAVEPOINT容許在事務中建立一個保存點,一個事務中能夠有多個SAVEPOINT;
RELEASE SAVEPOINT identifier;    刪除一個事務的保存點,當沒有指定的保存點時,執行該語句會拋出一個異常;
ROLLBACK TO identifier;   把事務回滾到標記點;
SET TRANSACTION;   用來設置事務的隔離級別。InnoDB存儲引擎提供事務的隔離級別有READ UNCOMMITTEDREAD COMMITTEDREPEATABLE READ和SERIALIZABLE。

  用 BEGIN, ROLLBACK, COMMIT來實現
  BEGIN 開始一個事務
  ROLLBACK 事務回滾
  COMMIT 事務確認
  直接用 SET 來改變 MySQL 的自動提交模式:
  SET AUTOCOMMIT=0或者off 禁止自動提交
  SET AUTOCOMMIT=1或者on 開啓自動提交

 

 

 

 

 

六 慢查詢、執行計劃、sql優化

 

  什麼是慢查詢

    慢查詢日誌,顧名思義,就是查詢慢的日誌,是指mysql記錄全部執行超過long_query_time參數設定的時間閾值的SQL語句的日誌。該日誌能爲SQL語句的優化帶來很好的幫助。默認狀況下,慢查詢日誌是關閉的,要使用慢查詢日誌功能,首先要開啓慢查詢日誌功能。

   慢查詢基本配置

     slow_query_log 啓動中止技術慢查詢日誌

     slow_query_log_file 指定慢查詢日誌得存儲路徑及文件(默認和數據文件放一塊兒)

     long_query_time 指定記錄慢查詢日誌SQL執行時間得伐值(單位:秒,默認10秒)

     log_queries_not_using_indexes  是否記錄未使用索引的SQL

     log_output 日誌存放的地方【TABLE】【FILE】【FILE,TABLE】

    配置了慢查詢後,它會記錄符合條件的SQL

    包括:

      查詢語句

      數據修改語句

      已經回滾得SQL

  實操:

    經過下面命令查看下上面的配置:

      show VARIABLES like '%slow_query_log%'

      show VARIABLES like '%slow_query_log_file%'

      show VARIABLES like '%long_query_time%'

      show VARIABLES like '%log_queries_not_using_indexes%'

      show VARIABLES like 'log_output'

      set global long_query_time=0;   ---默認10秒,這裏爲了演示方便設置爲0

      set GLOBAL  slow_query_log = 1; --開啓慢查詢日誌

      set global log_output='FILE,TABLE'  --項目開發中日誌只能記錄在日誌文件中,不能記表中

      設置完成後,查詢一些列表能夠發現慢查詢的日誌文件裏面有數據了。

       

     慢查詢解讀

      從慢查詢日誌裏面摘選一條慢查詢日誌,數據組成以下

       

      第一行:用戶名 、用戶的IP信息、線程ID號

      第二行:執行花費的時間【單位:毫秒】

      第三行:執行得到鎖的時間

      第四行:得到的結果行數

      第五行:掃描的數據行數

      第六行:這SQL執行的具體時間

      第七行:具體的SQL語句

 

  執行計劃(explain select...、explain extended select...)

      使用EXPLAIN關鍵字能夠模擬優化器執行SQL查詢語句,從而知道MySQL是如何處理你的SQL語句的。分析你的查詢語句或是表結構的性能瓶頸。

     執行計劃做用

       表的讀取順序

       數據讀取操做的操做類型

       哪些索引可使用

       哪些索引被實際使用

       表之間的引用

       每張表有多少行被優化器查詢

    執行計劃的語法

      執行計劃的語法其實很是簡單: 在SQL查詢的前面加上EXPLAIN關鍵字就行。

      好比:EXPLAIN select * from table1

      重點的就是EXPLAIN後面你要分析的SQL語句 

       

 

    ID列

      ID列:描述select查詢的序列號,包含一組數字,表示查詢中執行select子句或操做表的順序

      根據ID的數值結果能夠分紅一下三種狀況

      id相同:執行順序由上至下

      id不一樣:若是是子查詢,id的序號會遞增,id值越大優先級越高,越先被執行

      id相同不一樣:同時存在

      分別舉例來看

         

      如上圖所示,ID列的值全爲1,表明執行的容許從t1開始加載,依次爲t3與t2

      EXPLAIN  select t2.* from t1,t2,t3  where t1.id = t2.id and t1.id = t3.id and t1.other_column = '';

      Id不一樣

         

        

      若是是子查詢,id的序號會遞增,id值越大優先級越高,越先被執行

      EXPLAIN select t2.* from  t2 where id = (

        select id from t1 where id =  (select t3.id from t3 where t3.other_column='')

      );

       Id相同又不一樣

         

      id若是相同,能夠認爲是一組,從上往下順序執行;

      在全部組中,id值越大,優先級越高,越先執行

      EXPLAIN select t2.* from (select t3.id from t3 where t3.other_column = '') s1 ,t2 where s1.id = t2.id;

     select_type列

      Select_type:查詢的類型,要是用於區別:普通查詢、聯合查詢、子查詢等的複雜查詢

      類型以下

       

      SIMPLE

        EXPLAIN select * from t1

        簡單的 select 查詢,查詢中不包含子查詢或者UNION

           

        PRIMARY與SUBQUERY

        PRIMARY:查詢中若包含任何複雜的子部分,最外層查詢則被標記爲

        SUBQUERY:在SELECT或WHERE列表中包含了子查詢

        EXPLAIN select t1.*,(select t2.id from t2 where t2.id = 1 ) from t1 

           

 

       DERIVED

        在FROM列表中包含的子查詢被標記爲DERIVED(衍生)

        MySQL會遞歸執行這些子查詢, 把結果放在臨時表裏。

           

      .UNION RESULT 與UNION

        UNION:若第二個SELECT出如今UNION以後,則被標記爲UNION;

        UNION RESULT:從UNION表獲取結果的SELECT

        #UNION RESULT ,UNION

        EXPLAIN select * from t1 UNION select * from t2

           

     table列

      顯示這一行的數據是關於哪張表的

         

    Type列

        type顯示的是訪問類型,是較爲重要的一個指標,結果值從最好到最壞依次是:

        system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

        須要記憶的

          system>const>eq_ref>ref>range>index>ALL

        通常來講,得保證查詢至少達到range級別,最好能達到ref。

         System與const

          System:表只有一行記錄(等於系統表),這是const類型的特列,平時不會出現,這個也能夠忽略不計

          Const:表示經過索引一次就找到了

          const用於比較primary key或者unique索引。由於只匹配一行數據,因此很快

        如將主鍵置於where列表中,MySQL就能將該查詢轉換爲一個常量

           

        eq_ref

           惟一性索引掃描,對於每一個索引鍵,表中只有一條記錄與之匹配。常見於主鍵或惟一索引掃描

           

        Ref

           非惟一性索引掃描,返回匹配某個單獨值的全部行.

          本質上也是一種索引訪問,它返回全部匹配某個單獨值的行,然而,它可能會找到多個符合條件的行,因此他應該屬於查找和掃描的混合體

           

        Range

        只檢索給定範圍的行,使用一個索引來選擇行。key 列顯示使用了哪一個索引

        通常就是在你的where語句中出現了between、<、>、in等的查詢

        這種範圍掃描索引掃描比全表掃描要好,由於它只須要開始於索引的某一點,而結束語另外一點,不用掃描所有索引。

         

 

        Index

        當查詢的結果全爲索引列的時候,雖然也是所有掃描,可是隻查詢的索引庫,而沒有去查詢數據。

         

        All

          Full Table Scan,將遍歷全表以找到匹配的行

           

 

        possible_keys 與Key 

          possible_keys:可能使用的key

          Key:實際使用的索引。若是爲NULL,則沒有使用索引

          查詢中若使用了覆蓋索引,則該索引和查詢的select字段重疊

           

    key_len列

      Key_len表示索引中使用的字節數,可經過該列計算查詢中使用的索引的長度。在不損失精確性的狀況下,長度越短越好

      key_len顯示的值爲索引字段的最大可能長度,並不是實際使用長度,即key_len是根據表定義計算而得,不是經過表內檢索出的

       

 

       key_len表示索引使用的字節數,

       根據這個值,就能夠判斷索引使用狀況,特別是在組合索引的時候,判斷全部的索引字段是否都被查詢用到。

       char和varchar跟字符編碼也有密切的聯繫,

       latin1佔用1個字節,gbk佔用2個字節,utf8佔用3個字節。(不一樣字符編碼佔用的存儲空間不一樣)

         

 

      字符類型

         

      字符類型-索引字段爲char類型+不可爲Null時

         

        name這一列爲char(10),字符集爲utf-8佔用3個字節Keylen=10*3

      字符類型-索引字段爲char類型+容許爲Null時

         

        name這一列爲char(10),字符集爲utf-8佔用3個字節,外加須要存入一個null值

        Keylen=10*3+1(null) 結果爲31

      索引字段爲varchar類型+不可爲Null時

         

        Keylen=varchar(n)變長字段+不容許Null=n*(utf8=3,gbk=2,latin1=1)+2

       索引字段爲varchar類型+容許爲Null時

         

      Keylen=varchar(n)變長字段+容許Null=n*(utf8=3,gbk=2,latin1=1)+1(NULL)+2

    總結

      字符類型

        變長字段須要額外的2個字節(VARCHAR值保存時只保存須要的字符數,另加一個字節來記錄長度(若是列聲明的長度超過255,則使用兩個字節),因此VARCAHR索引長度計算時候要加2),固定長度字段不須要額外的字節。

        而NULL都須要1個字節的額外空間,因此索引字段最好不要爲NULL,由於NULL讓統計更加複雜而且須要額外的存儲空間。

        複合索引有最左前綴的特性,若是複合索引能所有使用上,則是複合索引字段的索引長度之和,這也能夠用來斷定複合索引是否部分使用,仍是所有使用。

      整數/浮點數/時間類型的索引長度

        NOT NULL=字段自己的字段長度

              NULL=字段自己的字段長度+1(由於須要有是否爲空的標記,這個標記須要佔用1個字節)

      datetime類型在5.6中字段長度是5個字節,datetime類型在5.5中字段長度是8個字節

 

    Ref列

      顯示索引的哪一列被使用了,若是可能的話,是一個常數。哪些列或常量被用於查找索引列上的值

       

      由key_len可知t1表的idx_col1_col2被充分使用,col1匹配t2表的col1,col2匹配了一個常量,即 'ac'

      其中 【shared.t2.col1】 爲 【數據庫.表.列】

    Rows列

      根據表統計信息及索引選用狀況,大體估算出找到所需的記錄所須要讀取的行數

       

    Extra列

      包含不適合在其餘列中顯示但十分重要的額外信息。

         

      Using filesort

        說明mysql會對數據使用一個外部的索引排序,而不是按照表內的索引順序進行讀取。MySQL中沒法利用索引完成的排序操做稱爲「文件排序」

        當發現有Using filesort 後,實際上就是發現了能夠優化的地方

         

        上圖實際上是一種索引失效的狀況,後面會講,能夠看出查詢中用到了個聯合索引,索引分別爲col1,col2,col3

         

        當我排序新增了個col2,發現using filesort 就沒有了。

 

      Using temporary

        使了用臨時表保存中間結果,MySQL在對查詢結果排序時使用臨時表。常見於排序 order by 和分組查詢 group by。

         

         

        尤爲發如今執行計劃裏面有using filesort並且還有Using temporary的時候,特別須要注意

      Using index

        表示相應的select操做中使用了覆蓋索引(Covering Index),避免訪問了表的數據行,效率不錯!

        若是同時出現using where,代表索引被用來執行索引鍵值的查找;

         

        若是沒有同時出現using where,代表索引用來讀取數據而非執行查找動做

         

 

      Using where 與 using join buffer

        Using where

          代表使用了where過濾

        using join buffer

          使用了鏈接緩存:

         

       impossible where

        where子句的值老是false,不能用來獲取任何元組

         

     filtered列

       使用explain extended時顯示,顯示針對表裏符合某個條件(where子句或者聯結條件)的記錄數的百分比所作的一個悲觀估算,即mysql將要過濾行數的百分比。

    

  sql優化順口溜

     全職匹配我最愛,最左前綴要遵照;

     帶頭大哥不能死,中間兄弟不能斷;

     索引列上少計算,範圍以後全失效;

     LIKE百分寫最右,覆蓋索引不寫*;

 

     全職匹配我最愛?

     

    當創建了索引列後,能在where條件中使用索引的儘可能所用。

 

    最左前綴要遵照,帶頭大哥不能死,中間兄弟不能斷?

     

    若是索引了多列,要遵照最左前綴法則。指的是查詢從索引的最左前列開始而且不跳過索引中的列。

 

七 OLTP與OLAP的介紹和對比

 

  OLTP與OLAP的介紹

      數據處理大體能夠分紅兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型數據庫的主要應用,主要是基本的、平常的事務處理,例如銀行交易。OLAP是數據倉庫系統的主要應用,支持複雜的分析操做,側重決策支持,而且提供直觀易懂的查詢結果。 

    OLTP 系統強調數據庫內存效率,強調內存各類指標的命令率,強調綁定變量,強調併發操做;
    OLAP 系統則強調數據分析,強調SQL執行市場,強調磁盤I/O,強調分區等。 

  OLTP與OLAP之間的比較:   

    OLTP,也叫聯機事務處理(Online Transaction Processing),表示事務性很是高的系統,通常都是高可用的在線系統,以小的事務以及小的查詢爲主,評估其系統的時候,通常看其每秒執行的Transaction以及Execute SQL的數量。在這樣的系統中,單個數據庫每秒處理的Transaction每每超過幾百個,或者是幾千個,Select 語句的執行量每秒幾千甚至幾萬個。典型的OLTP系統有電子商務系統、銀行、證券等,如美國eBay的業務數據庫,就是很典型的OLTP數據庫。
OLTP系統最容易出現瓶頸的地方就是CPU與磁盤子系統。
    (1)CPU出現瓶頸常表如今邏輯讀總量與計算性函數或者是過程上,邏輯讀總量等於單個語句的邏輯讀乘以執行次數,若是單個語句執行速度雖然很快,可是執行次數很是多,那麼,也可能會致使很大的邏輯讀總量。設計的方法與優化的方法就是減小單個語句的邏輯讀,或者是減小它們的執行次數。另外,一些計算型的函數,如自定義函數、decode等的頻繁使用,也會消耗大量的CPU時間,形成系統的負載升高,正確的設計方法或者是優化方法,須要儘可能避免計算過程,如保存計算結果到統計表就是一個好的方法。
    (2)磁盤子系統在OLTP環境中,它的承載能力通常取決於它的IOPS處理能力. 由於在OLTP環境中,磁盤物理讀通常都是db file sequential read,也就是單塊讀,可是這個讀的次數很是頻繁。若是頻繁到磁盤子系統都不能承載其IOPS的時候,就會出現大的性能問題。
        OLTP比較經常使用的設計與優化方式爲Cache技術與B-tree索引技術,Cache決定了不少語句不須要從磁盤子系統得到數據,因此,Web cache與Oracle data buffer對OLTP系統是很重要的。另外,在索引使用方面,語句越簡單越好,這樣執行計劃也穩定,並且必定要使用綁定變量,減小語句解析,儘可能減小表關聯,儘可能減小分佈式事務,基本不使用分區技術、MV技術、並行技術及位圖索引。由於併發量很高,批量更新時要分批快速提交,以免阻塞的發生。 
OLTP 系統是一個數據塊變化很是頻繁,SQL 語句提交很是頻繁的系統。 對於數據塊來講,應儘量讓數據塊保存在內存當中,對於SQL來講,儘量使用變量綁定技術來達到SQL重用,減小物理I/O 和重複的SQL 解析,從而極大的改善數據庫的性能。
        這裏影響性能除了綁定變量,還有多是熱快(hot block)。 當一個塊被多個用戶同時讀取時,Oracle 爲了維護數據的一致性,須要使用Latch來串行化用戶的操做。當一個用戶得到了latch後,其餘用戶就只能等待,獲取這個數據塊的用戶越多,等待就越明顯。 這就是熱快的問題。 這種熱快多是數據塊,也多是回滾端塊。 對於數據塊來說,一般是數據庫的數據分佈不均勻致使,若是是索引的數據塊,能夠考慮建立反向索引來達到從新分佈數據的目的,對於回滾段數據塊,能夠適當多增長几個回滾段來避免這種爭用。 
    OLAP,也叫聯機分析處理(Online Analytical Processing)系統,有的時候也叫DSS決策支持系統,就是咱們說的數據倉庫。在這樣的系統中,語句的執行量不是考覈標準,由於一條語句的執行時間可能會很是長,讀取的數據也很是多。因此,在這樣的系統中,考覈的標準每每是磁盤子系統的吞吐量(帶寬),如能達到多少MB/s的流量。
          磁盤子系統的吞吐量則每每取決於磁盤的個數,這個時候,Cache基本是沒有效果的,數據庫的讀寫類型基本上是db file scattered read與direct path read/write。應儘可能採用個數比較多的磁盤以及比較大的帶寬,如4Gb的光纖接口。
    在OLAP系統中,常使用分區技術、並行技術。
          分區技術在OLAP系統中的重要性主要體如今數據庫管理上,好比數據庫加載,能夠經過分區交換的方式實現,備份能夠經過備份分區表空間實現,刪除數據能夠經過分區進行刪除,至於分區在性能上的影響,它可使得一些大表的掃描變得很快(只掃描單個分區)。另外,若是分區結合並行的話,也可使得整個表的掃描會變得很快。總之,分區主要的功能是管理上的方便性,它並不能絕對保證查詢性能的提升,有時候分區會帶來性能上的提升,有時候會下降。
          並行技術除了與分區技術結合外,在Oracle 10g中,與RAC結合實現多節點的同時掃描,效果也很是不錯,可把一個任務,如select的全表掃描,平均地分派到多個RAC的節點上去。
          在OLAP系統中,不須要使用綁定(BIND)變量,由於整個系統的執行量很小,分析時間對於執行時間來講,能夠忽略,並且可避免出現錯誤的執行計劃。可是OLAP中能夠大量使用位圖索引,物化視圖,對於大的事務,儘可能尋求速度上的優化,沒有必要像OLTP要求快速提交,甚至要刻意減慢執行的速度。
          綁定變量真正的用途是在OLTP系統中,這個系統一般有這樣的特色,用戶併發數很大,用戶的請求十分密集,而且這些請求的SQL 大多數是能夠重複使用的。
          對於OLAP系統來講,絕大多數時候數據庫上運行着的是報表做業,執行基本上是聚合類的SQL 操做,好比group by,這時候,把優化器模式設置爲all_rows是恰當的。 而對於一些分頁操做比較多的網站類數據庫,設置爲first_rows會更好一些。 但有時候對於OLAP 系統,咱們又有分頁的狀況下,咱們能夠考慮在每條SQL 中用hint。 如:
          Select  a.* from table a;
  分開設計與優化
    在設計上要特別注意,如在高可用的OLTP環境中,不要盲目地把OLAP的技術拿過來用。
    如分區技術,假設不是大範圍地使用分區關鍵字,而採用其它的字段做爲where條件,那麼,若是是本地索引,將不得不掃描多個索引,而性能變得更爲低下。若是是全局索引,又失去分區的意義。
    並行技術也是如此,通常在完成大型任務時才使用,如在實際生活中,翻譯一本書,能夠先安排多我的,每一個人翻譯不一樣的章節,這樣能夠提升翻譯速度。若是隻是翻譯一頁書,也去分配不一樣的人翻譯不一樣的行,再組合起來,就不必了,由於在分配工做的時間裏,一我的或許早就翻譯完了。
    位圖索引也是同樣,若是用在OLTP環境中,很容易形成阻塞與死鎖。可是,在OLAP環境中,可能會由於其特有的特性,提升OLAP的查詢速度。MV也是基本同樣,包括觸發器等,在DML頻繁的OLTP系統上,很容易成爲瓶頸,甚至是Library Cache等待,而在OLAP環境上,則可能會由於使用恰當而提升查詢速度。
    對於OLAP系統,在內存上可優化的餘地很小,增長CPU 處理速度和磁盤I/O 速度是最直接的提升數據庫性能的方法,固然這也意味着系統成本的增長。      
    好比咱們要對幾億條或者幾十億條數據進行聚合處理,這種海量的數據,所有放在內存中操做是很難的,同時也沒有必要,由於這些數據快不多重用,緩存起來也沒有實際意義,並且還會形成物理I/O至關大。 因此這種系統的瓶頸每每是磁盤I/O上面的。
    對於OLAP系統,SQL 的優化很是重要,由於它的數據量很大,作全表掃描和索引對性能上來講差別是很是大的。
  其餘
      Oracle 10g之前的版本建庫過程當中可供選擇的模板有:
          Data Warehouse (數據倉庫)
          General Purpose  (通用目的、通常用途)
          New Database
          Transaction Processing  (事務處理)
      Oracle 11g的版本建庫過程當中可供選擇的模板有:
          通常用途或事務處理
          定製數據庫

          數據倉庫

  我的對這些模板的理解爲:

       聯機分析處理(OLAP,On-line Analytical Processing),數據量大,DML少。使用數據倉庫模板
       聯機事務處理(OLTP,On-line Transaction Processing),數據量少,DML頻繁,並行事務處理多,可是通常都很短。使用通常用途或事務處理模板。

       決策支持系統(DDS,Decision support system),典型的操做是全表掃描,長查詢,長事務,可是通常事務的個數不多,每每是一個事務獨佔系統。

 

 

八 autocommit測試

  

  MySQL是默認提交的,也就是說默認保存到磁盤上的,可是若是咱們將本次回話設置了set autocommit=0;取消了默認提交的話,看一下效果:

  能夠經過查看「@@AUTOCOMMIT」變量來查看當前自動提交狀態,查看此變量SELECT @@AUTOCOMMIT。

 
mysql> use orm3;
Database changed
mysql> select * from app01_publish;
+----+-----------------+--------+
| id | name            | addr   |
+----+-----------------+--------+
|  1 | 西瓜出版社      | 北京   |
|  2 | 人民出版社      | 天津   |
|  3 | 清華出版社      | 北京   |
|  4 | 南京出版社      | 南京   |
|  5 | hah             | xxxx   |
|  6 | 呵呵            | ssss   |
+----+-----------------+--------+
6 rows in set (0.00 sec)

mysql> set autocommit=0;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into app01_publish values(7,'第七條','上海');
Query OK, 1 row affected (0.00 sec)

mysql> select * from app01_publish;
+----+-----------------+--------+
| id | name            | addr   |
+----+-----------------+--------+
|  1 | 西瓜出版社      | 北京   |
|  2 | 人民出版社      | 天津   |
|  3 | 清華出版社      | 北京   |
|  4 | 南京出版社      | 南京   |
|  5 | hah             | xxxx   |
|  6 | 呵呵            | ssss   |
|  7 | 第七條          | 上海   |
+----+-----------------+--------+
7 rows in set (0.00 sec)

mysql> quit
Bye

C:\Users\zequan>mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.6.21 MySQL Community Server (GPL)

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use orm3;
Database changed
mysql> select * from app01_publish;  #再進來發現新插入的數據沒有了
+----+-----------------+--------+
| id | name            | addr   |
+----+-----------------+--------+
|  1 | 西瓜出版社      | 北京   |
|  2 | 人民出版社      | 天津   |
|  3 | 清華出版社      | 北京   |
|  4 | 南京出版社      | 南京   |
|  5 | hah             | xxxx   |
|  6 | 呵呵            | ssss   |
+----+-----------------+--------+
6 rows in set (0.00 sec)
 

 

 

 

 

 

回到頂部

相關文章
相關標籤/搜索