myql優化,啓動
MySQL
緩存機制,實現命中率100%
配置你的mysql配置文件:主要是配置[mysqld]後面的內容。
1,優化遠程鏈接速度。
在[mysqld]下面添加skip-name-resolve
skip-name-resolve
選項就能禁用DNS解析,鏈接速度會快不少。不過,這樣的話就不能在MySQL的受權表中使用主機名了而只能用ip格式。
2,設置鏈接數,mysql默認的鏈接數是100,太少了。
[mysqld]下面添加
max_connections=512
3,開啓緩存機制
skip-locking#取消文件系統的外部鎖
key_buffer = 512M#索引緩存,根據內存大小而定,若是是獨立的db服務器,能夠設置高達80%的內存總量
#鏈接排隊列表總數
back_log = 200
max_allowed_packet = 2M
#打開表緩存總數,能夠避免頻繁的打開數據表產生的開銷
table_cache = 512
#每一個線程排序所需的緩衝
sort_buffer_size = 4M
#MyISAM表發生變化時從新排序所需的緩衝
myisam_sort_buffer_size = 64M
#緩存可重用的線程數
thread_cache = 128
#查詢結果緩存
query_cache_size = 128M
#設置超時時間,能避免長鏈接
wait_timeout=60
#最大併發線程數,cpu數量*2
thread_concurrency = 4
#記錄慢查詢,而後對慢查詢一一優化
log_output=FILE # also can be FILE,TABLE or TABLE or NONE
slow-query-log=1
slow_query_log_file=log-slow-queries.log
long_query_time = 1
4,安裝mytop監控mysql
apt-get install mytop
執行命令mytop就能夠看到mysql的運行狀態。
如下內容爲轉載的網上的文章,對mysql的配置和調試作了很詳細的講解:
關於 MySQL 調優
有3種方法能夠加快 MySQL 服務器的運行速度,效率從低到高依次爲:
替換有問題的硬件, 對 MySQL 進程的設置進行調優,對查詢進行優化。
替換有問題的硬件一般是咱們的第一考慮,主要緣由是數據庫會佔用大量資源。不過這種解決方案也就僅限於此了。實際上,您一般可讓中央處理器(CPU)或磁盤速度加倍,也可讓內存增大4到8倍。
第二種方法是對 MySQL 服務器(也稱爲 mysqld)進行調優。對這個進程進行調優意味着適當地分配內存,並讓 mysqld 瞭解將會承受何種類型的負載。加快磁盤運行速度不如減小所需的磁盤訪問次數。相似地,確保 MySQL 進程正確操做就意味着它花費在服務查詢上的時間要多於花費在處理後臺任務(如處理臨時磁盤表或打開和關閉文件)上的時間。對 mysqld 進行調優是本文的重點。
最好的方法是確保查詢已經進行了優化。這意味着對錶應用了適當的索引,查詢是按照能夠充分利用 MySQL 功能的方式來編寫的。儘管本文並無包含查詢調優方面的內容(不少著做中已經針對這個主題進行了探討),不過它會配置 mysqld 來報告可能須要進行調優的查詢。
雖然已經爲這些任務指派了次序,可是仍然要注意硬件和 mysqld 的設置以利於適當地調優查詢。機器速度慢也就罷了,我曾經見過速度很快的機器在運行設計良好的查詢時因爲負載太重而失敗,由於 mysqld 被大量繁忙的工做所佔用而不能服務查詢。
記錄慢速查詢
在一個 SQL 服務器中,數據表都是保存在磁盤上的。索引爲服務器提供了一種在表中查找特定數據行的方法,而不用搜索整個表。當必需要搜索整個表時,就稱爲表掃描。一般來講,您可能只但願得到表中數據的一個子集,所以全表掃描會浪費大量的磁盤 I/O,所以也就會浪費大量時間。當必須對數據進行鏈接時,這個問題就更加複雜了,由於必需要對鏈接兩端的多行數據進行比較。
固然,表掃描並不老是會帶來問題;有時讀取整個表反而會比從中挑選出一部分數據更加有效(服務器進程中查詢規劃器用來做出這些決定)。若是索引的使用效率很低,或者根本就不能使用索引,則會減慢查詢速度,並且隨着服務器上的負載和表大小的增長,這個問題會變得更加顯著。執行時間超過給定時間範圍的查詢就稱爲慢速查詢。
您能夠配置 mysqld 將這些慢速查詢記錄到適當命名的慢速查詢日誌中。管理員而後會查看這個日誌來幫助他們肯定應用程序中有哪些部分須要進一步調查。清單 1 給出了要啓用慢速查詢日誌須要在 my.cnf 中所作的配置。
清單 1. 啓用 MySQL 慢速查詢日誌
[mysqld]; enable the slow query log, default 10 secondslog-slow-queries; log queries taking longer than 5 secondslong_query_time = 5; log queries that don't use indexes even if they take less than long_query_time; MySQL 4.1 and newer onlylog-queries-not-using-indexes
這三個設置一塊兒使用,能夠記錄執行時間超過 5 秒和沒有使用索引的查詢。請注意有關 log-queries-not-using-indexes 的警告:您必須使用 MySQL 4.1 或更高版本。慢速查詢日誌都保存在 MySQL 數據目錄中,名爲 hostname-slow.log。若是但願使用一個不一樣的名字或路徑,能夠在 my.cnf 中使用 log-slow-queries = /new/path/to/file 實現此目的。
閱讀慢速查詢日誌最好是經過 mysqldumpslow 命令進行。指定日誌文件的路徑,就能夠看到一個慢速查詢的排序後的列表,而且還顯示了它們在日誌文件中出現的次數。一個很是有用的特性是 mysqldumpslow 在比較結果以前,會刪除任何用戶指定的數據,所以對同一個查詢的不一樣調用被計爲一次;這能夠幫助找出須要工做量最多的查詢。
對查詢進行緩存
不少 LAMP 應用程序都嚴重依賴於數據庫,但卻會反覆執行相同的查詢。每次執行查詢時,數據庫都必需要執行相同的工做 —— 對查詢進行分析,肯定如何執行查詢,從磁盤中加載信息,而後將結果返回給客戶機。MySQL 有一個特性稱爲查詢緩存,它將(後面會用到的)查詢結果保存在內存中。在不少狀況下,這會極大地提升性能。不過,問題是查詢緩存在默認狀況下是禁用的。
將 query_cache_size = 32M 添加到 /etc/my.conf 中能夠啓用 32MB 的查詢緩存。
監視查詢緩存
在啓用查詢緩存以後,重要的是要理解它是否獲得了有效的使用。MySQL 有幾個能夠查看的變量,能夠用來了解緩存中的狀況。清單 2 給出了緩存的狀態。
清單 2. 顯示查詢緩存的統計信息
mysql> SHOW STATUS LIKE 'qcache%';+-------------------------+------------+| Variable_name | Value |+-------------------------+------------+| Qcache_free_blocks | 5216 || Qcache_free_memory | 14640664 || Qcache_hits | 2581646882 || Qcache_inserts | 360210964 || Qcache_lowmem_prunes | 281680433 || Qcache_not_cached | 79740667 || Qcache_queries_in_cache | 16927 || Qcache_total_blocks | 47042 |+-------------------------+------------+8 rows in set (0.00 sec)
這些項的解釋如表 1 所示。
表 1. MySQL 查詢緩存變量
變量名 說明
Qcache_free_blocks 緩存中相鄰內存塊的個數。數目大說明可能有碎片。FLUSH QUERY CACHE 會對緩存中的碎片進行整理,從而獲得一個空閒塊。
Qcache_free_memory 緩存中的空閒內存。
Qcache_hits 每次查詢在緩存中命中時就增大。
Qcache_inserts 每次插入一個查詢時就增大。命中次數除以插入次數就是不中比率;用 1 減去這個值就是命中率。在上面這個例子中,大約有 87% 的查詢都在緩存中命中。
Qcache_lowmem_prunes 緩存出現內存不足而且必需要進行清理以便爲更多查詢提供空間的次數。這個數字最好長時間來看;若是這個數字在不斷增加,就表示可能碎片很是嚴重,或者內存不多。(上面的 free_blocks 和 free_memory 能夠告訴您屬於哪一種狀況)。
Qcache_not_cached 不適合進行緩存的查詢的數量,一般是因爲這些查詢不是 SELECT 語句。
Qcache_queries_in_cache 當前緩存的查詢(和響應)的數量。
Qcache_total_blocks 緩存中塊的數量。
一般,間隔幾秒顯示這些變量就能夠看出區別,這能夠幫助肯定緩存是否正在有效地使用。運行 FLUSH STATUS 能夠重置一些計數器,若是服務器已經運行了一段時間,這會很是有幫助。
使用很是大的查詢緩存,指望能夠緩存全部東西,這種想法很是誘人。因爲 mysqld 必需要對緩存進行維護,例如當內存變得很低時執行剪除,所以服務器可能會在試圖管理緩存時而陷入困境。做爲一條規則,若是 FLUSH QUERY CACHE 佔用了很長時間,那就說明緩存太大了。
強制限制
您能夠在 mysqld 中強制一些限制來確保系統負載不會致使資源耗盡的狀況出現。清單 3 給出了 my.cnf 中與資源有關的一些重要設置。
清單 3. MySQL 資源設置
set-variable=max_connections=500set-variable=wait_timeout=10max_connect_errors = 100
鏈接最大個數是在第一行中進行管理的。與 Apache 中的 MaxClients 相似,其想法是確保只創建服務容許數目的鏈接。要肯定服務器上目前創建過的最大鏈接數,請執行 SHOW STATUS LIKE 'max_used_connections'。
第 2 行告訴 mysqld 終止全部空閒時間超過 10 秒的鏈接。在 LAMP 應用程序中,鏈接數據庫的時間一般就是 Web 服務器處理請求所花費的時間。有時候,若是負載太重,鏈接會掛起,而且會佔用鏈接表空間。若是有多個交互用戶或使用了到數據庫的持久鏈接,那麼將這個值設低一點並不可取!
最後一行是一個安全的方法。若是一個主機在鏈接到服務器時有問題,並重試不少次後放棄,那麼這個主機就會被鎖定,直到 FLUSH HOSTS 以後才能運行。默認狀況下,10 次失敗就足以致使鎖定了。將這個值修改成 100 會給服務器足夠的時間來從問題中恢復。若是重試 100 次都沒法創建鏈接,那麼使用再高的值也不會有太多幫助,可能它根本就沒法鏈接。
緩衝區和緩存
MySQL 支持超過 100 個的可調節設置;可是幸運的是,掌握少數幾個就能夠知足大部分須要。查找這些設置的正確值能夠經過 SHOW STATUS 命令查看狀態變量,從中能夠肯定 mysqld 的運做狀況是否符合咱們的預期。給緩衝區和緩存分配的內存不能超過系統中的現有內存,所以調優一般都須要進行一些妥協。
MySQL 可調節設置能夠應用於整個 mysqld 進程,也能夠應用於單個客戶機會話。
服務器端的設置
每一個表均可以表示爲磁盤上的一個文件,必須先打開,後讀取。爲了加快從文件中讀取數據的過程,mysqld 對這些打開文件進行了緩存,其最大數目由 /etc/mysqld.conf 中的 table_cache 指定。清單 4 給出了顯示與打開表有關的活動的方式。
清單 4. 顯示打開表的活動
mysql> SHOW STATUS LIKE 'open%tables';+---------------+-------+| Variable_name | Value |+---------------+-------+| Open_tables | 5000 || Opened_tables | 195 |+---------------+-------+2 rows in set (0.00 sec)
清單 4 說明目前有 5,000 個表是打開的,有 195 個表須要打開,由於如今緩存中已經沒有可用文件描述符了(因爲統計信息在前面已經清除了,所以可能會存在 5,000 個打開表中只有 195 個打開記錄的狀況)。若是 Opened_tables 隨着從新運行 SHOW STATUS 命令快速增長,就說明緩存命中率不夠。若是 Open_tables 比 table_cache 設置小不少,就說明該值太大了(不過有空間能夠增加總不是什麼壞事)。例如,使用 table_cache = 5000 能夠調整表的緩存。
與表的緩存相似,對於線程來講也有一個緩存。 mysqld 在接收鏈接時會根據須要生成線程。在一個鏈接變化很快的繁忙服務器上,對線程進行緩存便於之後使用能夠加快最初的鏈接。
清單 5. 顯示線程使用統計信息
mysql> SHOW STATUS LIKE 'threads%';+-------------------+--------+| Variable_name | Value |+-------------------+--------+| Threads_cached | 27 || Threads_connected | 15 || Threads_created | 838610 || Threads_running | 3 |+-------------------+--------+4 rows in set (0.00 sec)
此處重要的值是 Threads_created,每次 mysqld 須要建立一個新線程時,這個值都會增長。若是這個數字在連續執行 SHOW STATUS 命令時快速增長,就應該嘗試增大線程緩存。例如,能夠在 my.cnf 中使用 thread_cache = 40 來實現此目的。
關鍵字緩衝區保存了 MyISAM 表的索引塊。理想狀況下,對於這些塊的請求應該來自於內存,而不是來自於磁盤。清單 6 顯示瞭如何肯定有多少塊是從磁盤中讀取的,以及有多少塊是從內存中讀取的。
清單 6. 肯定關鍵字效率
mysql> show status like '%key_read%';+-------------------+-----------+| Variable_name | Value |+-------------------+-----------+| Key_read_requests | 163554268 || Key_reads | 98247 |+-------------------+-----------+2 rows in set (0.00 sec)
Key_reads 表明命中磁盤的請求個數, Key_read_requests 是總數。命中磁盤的讀請求數除以讀請求總數就是不中比率 —— 在本例中每 1,000 個請求,大約有 0.6 個沒有命中內存。若是每 1,000 個請求中命中磁盤的數目超過 1 個,就應該考慮增大關鍵字緩衝區了。例如,key_buffer = 384M 會將緩衝區設置爲 384MB。
臨時表能夠在更高級的查詢中使用,其中數據在進一步進行處理(例如 GROUP BY 字句)以前,都必須先保存到臨時表中;理想狀況下,在內存中建立臨時表。可是若是臨時表變得太大,就須要寫入磁盤中。清單 7 給出了與臨時表建立有關的統計信息。
清單 7. 肯定臨時表的使用
mysql> SHOW STATUS LIKE 'created_tmp%';+-------------------------+-------+| Variable_name | Value |+-------------------------+-------+| Created_tmp_disk_tables | 30660 || Created_tmp_files | 2 || Created_tmp_tables | 32912 |+-------------------------+-------+3 rows in set (0.00 sec)
每次使用臨時表都會增大 Created_tmp_tables;基於磁盤的表也會增大 Created_tmp_disk_tables。對於這個比率,並無什麼嚴格的規則,由於這依賴於所涉及的查詢。長時間觀察 Created_tmp_disk_tables 會顯示所建立的磁盤表的比率,您能夠肯定設置的效率。 tmp_table_size 和 max_heap_table_size 均可以控制臨時表的最大大小,所以請確保在 my.cnf 中對這兩個值都進行了設置。
每一個會話的設置
下面這些設置針對於每一個會話。在設置這些數字時要十分謹慎,由於它們在乘以可能存在的鏈接數時候,這些選項表示大量的內存!您能夠經過代碼修改會話中的這些數字,或者在 my.cnf 中爲全部會話修改這些設置。
當 MySQL 必需要進行排序時,就會在從磁盤上讀取數據時分配一個排序緩衝區來存放這些數據行。若是要排序的數據太大,那麼數據就必須保存到磁盤上的臨時文件中,並再次進行排序。若是 sort_merge_passes 狀態變量很大,這就指示了磁盤的活動狀況。清單 8 給出了一些與排序相關的狀態計數器信息。
清單 8. 顯示排序統計信息
mysql> SHOW STATUS LIKE "sort%";+-------------------+---------+| Variable_name | Value |+-------------------+---------+| Sort_merge_passes | 1 || Sort_range | 79192 || Sort_rows | 2066532 || Sort_scan | 44006 |+-------------------+---------+4 rows in set (0.00 sec)
若是 sort_merge_passes 很大,就表示須要注意 sort_buffer_size。例如, sort_buffer_size = 4M 將排序緩衝區設置爲 4MB。
MySQL 也會分配一些內存來讀取表。理想狀況下,索引提供了足夠多的信息,能夠只讀入所須要的行,可是有時候查詢(設計不佳或數據本性使然)須要讀取表中大量數據。要理解這種行爲,須要知道運行了多少個 SELECT 語句,以及須要讀取表中的下一行數據的次數(而不是經過索引直接訪問)。實現這種功能的命令如清單 9 所示。
清單 9. 肯定表掃描比率
mysql> SHOW STATUS LIKE "com_select";+---------------+--------+| Variable_name | Value |+---------------+--------+| Com_select | 318243 |+---------------+--------+1 row in set (0.00 sec)mysql> SHOW STATUS LIKE "handler_read_rnd_next";+-----------------------+-----------+| Variable_name | Value |+-----------------------+-----------+| Handler_read_rnd_next | 165959471 |+-----------------------+-----------+1 row in set (0.00 sec)
Handler_read_rnd_next / Com_select 得出了表掃描比率 —— 在本例中是 521:1。若是該值超過 4000,就應該查看 read_buffer_size,例如 read_buffer_size = 4M。若是這個數字超過了 8M,就應該與開發人員討論一下對這些查詢進行調優了!
3 個必不可少的工具
儘管在瞭解具體設置時,SHOW STATUS 命令會很是有用,可是您還須要一些工具來解釋 mysqld 所提供的大量數據。我發現有 3 個工具是必不可少的;在 參考資料 一節中您能夠找到相應的連接。
大部分系統管理員都很是熟悉 top 命令,它爲任務所消耗的 CPU 和內存提供了一個不斷更新的視圖。 mytop 對 top 進行了仿真;它爲全部鏈接上的客戶機以及它們正在運行的查詢提供了一個視圖。mytop 還提供了一個有關關鍵字緩衝區和查詢緩存效率的實時數據和歷史數據,以及有關正在運行的查詢的統計信息。這是一個頗有用的工具,能夠查看系統中(好比 10 秒鐘以內)的情況,您能夠得到有關服務器健康信息的視圖,並顯示致使問題的任何鏈接。
mysqlard 是一個鏈接到 MySQL 服務器上的守護程序,負責每 5 分鐘蒐集一次數據,並將它們存儲到後臺的一個 Round Robin Database 中。有一個 Web 頁面會顯示這些數據,例如表緩存的使用狀況、關鍵字效率、鏈接上的客戶機以及臨時表的使用狀況。儘管 mytop 提供了服務器健康信息的快照,可是 mysqlard 則提供了長期的健康信息。做爲獎勵,mysqlard 使用本身蒐集到的一些信息針對如何對服務器進行調優給出一些建議。
蒐集 SHOW STATUS 信息的另一個工具是 mysqlreport。其報告要遠比 mysqlard 更加複雜,由於須要對服務器的每一個方面都進行分析。這是對服務器進行調優的一個很是好的工具,由於它對狀態變量進行適當計算來幫助肯定須要修正哪些問題。
結束語
本文介紹了對 MySQL 進行調優的一些基礎知識,並對這個針對 LAMP 組件進行調優的 3 部分系列文章進行了總結。調優很大程度上須要理解組件的工做原理,肯定它們是否正常工做,進行一些調整,並從新評測。每一個組件 —— Linux、Apache、PHP 或 MySQL —— 都有各類各樣的需求。分別理解各個組件能夠幫助減小可能會致使應用程序速度變慢的瓶頸。
mytop使用方法:
# mytop -u root -p 123456 -d mydb_name
顯示結果:
第一行顯示了主機名稱,還有至今 MySQL 的運行時間 (以 days+hour:minutes:seconds 爲格式)。
第二行的 Queries 顯示了至今執行的 SQL 查詢語句總數,另外還有目前每秒處理的查詢數和速度。
第三行的 Key Efficiency 就是傳說中的緩存命中率了,若是過低了你可能要調整你的 MySQL 設置,或者調整一下表的結構,後面還有目前的進出速度。
最下方的區域就是目前連接到數據庫的各個線程,你能夠按 k 殺死一個線程,或者按 f 瞭解特定線程的信息。
配置你的mysql配置文件:主要是配置[mysqld]後面的內容。
1,優化遠程鏈接速度。
在[mysqld]下面添加skip-name-resolve
skip-name-resolve
選項就能禁用DNS解析,鏈接速度會快不少。不過,這樣的話就不能在MySQL的受權表中使用主機名了而只能用ip格式。
2,設置鏈接數,mysql默認的鏈接數是100,太少了。
[mysqld]下面添加
max_connections=512
3,開啓緩存機制
skip-locking#取消文件系統的外部鎖
key_buffer = 512M#索引緩存,根據內存大小而定,若是是獨立的db服務器,能夠設置高達80%的內存總量
#鏈接排隊列表總數
back_log = 200
max_allowed_packet = 2M
#打開表緩存總數,能夠避免頻繁的打開數據表產生的開銷
table_cache = 512
#每一個線程排序所需的緩衝
sort_buffer_size = 4M
#MyISAM表發生變化時從新排序所需的緩衝
myisam_sort_buffer_size = 64M
#緩存可重用的線程數
thread_cache = 128
#查詢結果緩存
query_cache_size = 128M
#設置超時時間,能避免長鏈接
wait_timeout=60
#最大併發線程數,cpu數量*2
thread_concurrency = 4
#記錄慢查詢,而後對慢查詢一一優化
log_output=FILE # also can be FILE,TABLE or TABLE or NONE
slow-query-log=1
slow_query_log_file=log-slow-queries.log
long_query_time = 1
4,安裝mytop監控mysql
apt-get install mytop
執行命令mytop就能夠看到mysql的運行狀態。
如下內容爲轉載的網上的文章,對mysql的配置和調試作了很詳細的講解:
關於 MySQL 調優
有3種方法能夠加快 MySQL 服務器的運行速度,效率從低到高依次爲:
替換有問題的硬件, 對 MySQL 進程的設置進行調優,對查詢進行優化。
替換有問題的硬件一般是咱們的第一考慮,主要緣由是數據庫會佔用大量資源。不過這種解決方案也就僅限於此了。實際上,您一般可讓中央處理器(CPU)或磁盤速度加倍,也可讓內存增大4到8倍。
第二種方法是對 MySQL 服務器(也稱爲 mysqld)進行調優。對這個進程進行調優意味着適當地分配內存,並讓 mysqld 瞭解將會承受何種類型的負載。加快磁盤運行速度不如減小所需的磁盤訪問次數。相似地,確保 MySQL 進程正確操做就意味着它花費在服務查詢上的時間要多於花費在處理後臺任務(如處理臨時磁盤表或打開和關閉文件)上的時間。對 mysqld 進行調優是本文的重點。
最好的方法是確保查詢已經進行了優化。這意味着對錶應用了適當的索引,查詢是按照能夠充分利用 MySQL 功能的方式來編寫的。儘管本文並無包含查詢調優方面的內容(不少著做中已經針對這個主題進行了探討),不過它會配置 mysqld 來報告可能須要進行調優的查詢。
雖然已經爲這些任務指派了次序,可是仍然要注意硬件和 mysqld 的設置以利於適當地調優查詢。機器速度慢也就罷了,我曾經見過速度很快的機器在運行設計良好的查詢時因爲負載太重而失敗,由於 mysqld 被大量繁忙的工做所佔用而不能服務查詢。
記錄慢速查詢
在一個 SQL 服務器中,數據表都是保存在磁盤上的。索引爲服務器提供了一種在表中查找特定數據行的方法,而不用搜索整個表。當必需要搜索整個表時,就稱爲表掃描。一般來講,您可能只但願得到表中數據的一個子集,所以全表掃描會浪費大量的磁盤 I/O,所以也就會浪費大量時間。當必須對數據進行鏈接時,這個問題就更加複雜了,由於必需要對鏈接兩端的多行數據進行比較。
固然,表掃描並不老是會帶來問題;有時讀取整個表反而會比從中挑選出一部分數據更加有效(服務器進程中查詢規劃器用來做出這些決定)。若是索引的使用效率很低,或者根本就不能使用索引,則會減慢查詢速度,並且隨着服務器上的負載和表大小的增長,這個問題會變得更加顯著。執行時間超過給定時間範圍的查詢就稱爲慢速查詢。
您能夠配置 mysqld 將這些慢速查詢記錄到適當命名的慢速查詢日誌中。管理員而後會查看這個日誌來幫助他們肯定應用程序中有哪些部分須要進一步調查。清單 1 給出了要啓用慢速查詢日誌須要在 my.cnf 中所作的配置。
清單 1. 啓用 MySQL 慢速查詢日誌
[mysqld]; enable the slow query log, default 10 secondslog-slow-queries; log queries taking longer than 5 secondslong_query_time = 5; log queries that don't use indexes even if they take less than long_query_time; MySQL 4.1 and newer onlylog-queries-not-using-indexes
這三個設置一塊兒使用,能夠記錄執行時間超過 5 秒和沒有使用索引的查詢。請注意有關 log-queries-not-using-indexes 的警告:您必須使用 MySQL 4.1 或更高版本。慢速查詢日誌都保存在 MySQL 數據目錄中,名爲 hostname-slow.log。若是但願使用一個不一樣的名字或路徑,能夠在 my.cnf 中使用 log-slow-queries = /new/path/to/file 實現此目的。
閱讀慢速查詢日誌最好是經過 mysqldumpslow 命令進行。指定日誌文件的路徑,就能夠看到一個慢速查詢的排序後的列表,而且還顯示了它們在日誌文件中出現的次數。一個很是有用的特性是 mysqldumpslow 在比較結果以前,會刪除任何用戶指定的數據,所以對同一個查詢的不一樣調用被計爲一次;這能夠幫助找出須要工做量最多的查詢。
對查詢進行緩存
不少 LAMP 應用程序都嚴重依賴於數據庫,但卻會反覆執行相同的查詢。每次執行查詢時,數據庫都必需要執行相同的工做 —— 對查詢進行分析,肯定如何執行查詢,從磁盤中加載信息,而後將結果返回給客戶機。MySQL 有一個特性稱爲查詢緩存,它將(後面會用到的)查詢結果保存在內存中。在不少狀況下,這會極大地提升性能。不過,問題是查詢緩存在默認狀況下是禁用的。
將 query_cache_size = 32M 添加到 /etc/my.conf 中能夠啓用 32MB 的查詢緩存。
監視查詢緩存
在啓用查詢緩存以後,重要的是要理解它是否獲得了有效的使用。MySQL 有幾個能夠查看的變量,能夠用來了解緩存中的狀況。清單 2 給出了緩存的狀態。
清單 2. 顯示查詢緩存的統計信息
mysql> SHOW STATUS LIKE 'qcache%';+-------------------------+------------+| Variable_name | Value |+-------------------------+------------+| Qcache_free_blocks | 5216 || Qcache_free_memory | 14640664 || Qcache_hits | 2581646882 || Qcache_inserts | 360210964 || Qcache_lowmem_prunes | 281680433 || Qcache_not_cached | 79740667 || Qcache_queries_in_cache | 16927 || Qcache_total_blocks | 47042 |+-------------------------+------------+8 rows in set (0.00 sec)
這些項的解釋如表 1 所示。
表 1. MySQL 查詢緩存變量
變量名 說明
Qcache_free_blocks 緩存中相鄰內存塊的個數。數目大說明可能有碎片。FLUSH QUERY CACHE 會對緩存中的碎片進行整理,從而獲得一個空閒塊。
Qcache_free_memory 緩存中的空閒內存。
Qcache_hits 每次查詢在緩存中命中時就增大。
Qcache_inserts 每次插入一個查詢時就增大。命中次數除以插入次數就是不中比率;用 1 減去這個值就是命中率。在上面這個例子中,大約有 87% 的查詢都在緩存中命中。
Qcache_lowmem_prunes 緩存出現內存不足而且必需要進行清理以便爲更多查詢提供空間的次數。這個數字最好長時間來看;若是這個數字在不斷增加,就表示可能碎片很是嚴重,或者內存不多。(上面的 free_blocks 和 free_memory 能夠告訴您屬於哪一種狀況)。
Qcache_not_cached 不適合進行緩存的查詢的數量,一般是因爲這些查詢不是 SELECT 語句。
Qcache_queries_in_cache 當前緩存的查詢(和響應)的數量。
Qcache_total_blocks 緩存中塊的數量。
一般,間隔幾秒顯示這些變量就能夠看出區別,這能夠幫助肯定緩存是否正在有效地使用。運行 FLUSH STATUS 能夠重置一些計數器,若是服務器已經運行了一段時間,這會很是有幫助。
使用很是大的查詢緩存,指望能夠緩存全部東西,這種想法很是誘人。因爲 mysqld 必需要對緩存進行維護,例如當內存變得很低時執行剪除,所以服務器可能會在試圖管理緩存時而陷入困境。做爲一條規則,若是 FLUSH QUERY CACHE 佔用了很長時間,那就說明緩存太大了。
強制限制
您能夠在 mysqld 中強制一些限制來確保系統負載不會致使資源耗盡的狀況出現。清單 3 給出了 my.cnf 中與資源有關的一些重要設置。
清單 3. MySQL 資源設置
set-variable=max_connections=500set-variable=wait_timeout=10max_connect_errors = 100
鏈接最大個數是在第一行中進行管理的。與 Apache 中的 MaxClients 相似,其想法是確保只創建服務容許數目的鏈接。要肯定服務器上目前創建過的最大鏈接數,請執行 SHOW STATUS LIKE 'max_used_connections'。
第 2 行告訴 mysqld 終止全部空閒時間超過 10 秒的鏈接。在 LAMP 應用程序中,鏈接數據庫的時間一般就是 Web 服務器處理請求所花費的時間。有時候,若是負載太重,鏈接會掛起,而且會佔用鏈接表空間。若是有多個交互用戶或使用了到數據庫的持久鏈接,那麼將這個值設低一點並不可取!
最後一行是一個安全的方法。若是一個主機在鏈接到服務器時有問題,並重試不少次後放棄,那麼這個主機就會被鎖定,直到 FLUSH HOSTS 以後才能運行。默認狀況下,10 次失敗就足以致使鎖定了。將這個值修改成 100 會給服務器足夠的時間來從問題中恢復。若是重試 100 次都沒法創建鏈接,那麼使用再高的值也不會有太多幫助,可能它根本就沒法鏈接。
緩衝區和緩存
MySQL 支持超過 100 個的可調節設置;可是幸運的是,掌握少數幾個就能夠知足大部分須要。查找這些設置的正確值能夠經過 SHOW STATUS 命令查看狀態變量,從中能夠肯定 mysqld 的運做狀況是否符合咱們的預期。給緩衝區和緩存分配的內存不能超過系統中的現有內存,所以調優一般都須要進行一些妥協。
MySQL 可調節設置能夠應用於整個 mysqld 進程,也能夠應用於單個客戶機會話。
服務器端的設置
每一個表均可以表示爲磁盤上的一個文件,必須先打開,後讀取。爲了加快從文件中讀取數據的過程,mysqld 對這些打開文件進行了緩存,其最大數目由 /etc/mysqld.conf 中的 table_cache 指定。清單 4 給出了顯示與打開表有關的活動的方式。
清單 4. 顯示打開表的活動
mysql> SHOW STATUS LIKE 'open%tables';+---------------+-------+| Variable_name | Value |+---------------+-------+| Open_tables | 5000 || Opened_tables | 195 |+---------------+-------+2 rows in set (0.00 sec)
清單 4 說明目前有 5,000 個表是打開的,有 195 個表須要打開,由於如今緩存中已經沒有可用文件描述符了(因爲統計信息在前面已經清除了,所以可能會存在 5,000 個打開表中只有 195 個打開記錄的狀況)。若是 Opened_tables 隨着從新運行 SHOW STATUS 命令快速增長,就說明緩存命中率不夠。若是 Open_tables 比 table_cache 設置小不少,就說明該值太大了(不過有空間能夠增加總不是什麼壞事)。例如,使用 table_cache = 5000 能夠調整表的緩存。
與表的緩存相似,對於線程來講也有一個緩存。 mysqld 在接收鏈接時會根據須要生成線程。在一個鏈接變化很快的繁忙服務器上,對線程進行緩存便於之後使用能夠加快最初的鏈接。
清單 5. 顯示線程使用統計信息
mysql> SHOW STATUS LIKE 'threads%';+-------------------+--------+| Variable_name | Value |+-------------------+--------+| Threads_cached | 27 || Threads_connected | 15 || Threads_created | 838610 || Threads_running | 3 |+-------------------+--------+4 rows in set (0.00 sec)
此處重要的值是 Threads_created,每次 mysqld 須要建立一個新線程時,這個值都會增長。若是這個數字在連續執行 SHOW STATUS 命令時快速增長,就應該嘗試增大線程緩存。例如,能夠在 my.cnf 中使用 thread_cache = 40 來實現此目的。
關鍵字緩衝區保存了 MyISAM 表的索引塊。理想狀況下,對於這些塊的請求應該來自於內存,而不是來自於磁盤。清單 6 顯示瞭如何肯定有多少塊是從磁盤中讀取的,以及有多少塊是從內存中讀取的。
清單 6. 肯定關鍵字效率
mysql> show status like '%key_read%';+-------------------+-----------+| Variable_name | Value |+-------------------+-----------+| Key_read_requests | 163554268 || Key_reads | 98247 |+-------------------+-----------+2 rows in set (0.00 sec)
Key_reads 表明命中磁盤的請求個數, Key_read_requests 是總數。命中磁盤的讀請求數除以讀請求總數就是不中比率 —— 在本例中每 1,000 個請求,大約有 0.6 個沒有命中內存。若是每 1,000 個請求中命中磁盤的數目超過 1 個,就應該考慮增大關鍵字緩衝區了。例如,key_buffer = 384M 會將緩衝區設置爲 384MB。
臨時表能夠在更高級的查詢中使用,其中數據在進一步進行處理(例如 GROUP BY 字句)以前,都必須先保存到臨時表中;理想狀況下,在內存中建立臨時表。可是若是臨時表變得太大,就須要寫入磁盤中。清單 7 給出了與臨時表建立有關的統計信息。
清單 7. 肯定臨時表的使用
mysql> SHOW STATUS LIKE 'created_tmp%';+-------------------------+-------+| Variable_name | Value |+-------------------------+-------+| Created_tmp_disk_tables | 30660 || Created_tmp_files | 2 || Created_tmp_tables | 32912 |+-------------------------+-------+3 rows in set (0.00 sec)
每次使用臨時表都會增大 Created_tmp_tables;基於磁盤的表也會增大 Created_tmp_disk_tables。對於這個比率,並無什麼嚴格的規則,由於這依賴於所涉及的查詢。長時間觀察 Created_tmp_disk_tables 會顯示所建立的磁盤表的比率,您能夠肯定設置的效率。 tmp_table_size 和 max_heap_table_size 均可以控制臨時表的最大大小,所以請確保在 my.cnf 中對這兩個值都進行了設置。
每一個會話的設置
下面這些設置針對於每一個會話。在設置這些數字時要十分謹慎,由於它們在乘以可能存在的鏈接數時候,這些選項表示大量的內存!您能夠經過代碼修改會話中的這些數字,或者在 my.cnf 中爲全部會話修改這些設置。
當 MySQL 必需要進行排序時,就會在從磁盤上讀取數據時分配一個排序緩衝區來存放這些數據行。若是要排序的數據太大,那麼數據就必須保存到磁盤上的臨時文件中,並再次進行排序。若是 sort_merge_passes 狀態變量很大,這就指示了磁盤的活動狀況。清單 8 給出了一些與排序相關的狀態計數器信息。
清單 8. 顯示排序統計信息
mysql> SHOW STATUS LIKE "sort%";+-------------------+---------+| Variable_name | Value |+-------------------+---------+| Sort_merge_passes | 1 || Sort_range | 79192 || Sort_rows | 2066532 || Sort_scan | 44006 |+-------------------+---------+4 rows in set (0.00 sec)
若是 sort_merge_passes 很大,就表示須要注意 sort_buffer_size。例如, sort_buffer_size = 4M 將排序緩衝區設置爲 4MB。
MySQL 也會分配一些內存來讀取表。理想狀況下,索引提供了足夠多的信息,能夠只讀入所須要的行,可是有時候查詢(設計不佳或數據本性使然)須要讀取表中大量數據。要理解這種行爲,須要知道運行了多少個 SELECT 語句,以及須要讀取表中的下一行數據的次數(而不是經過索引直接訪問)。實現這種功能的命令如清單 9 所示。
清單 9. 肯定表掃描比率
mysql> SHOW STATUS LIKE "com_select";+---------------+--------+| Variable_name | Value |+---------------+--------+| Com_select | 318243 |+---------------+--------+1 row in set (0.00 sec)mysql> SHOW STATUS LIKE "handler_read_rnd_next";+-----------------------+-----------+| Variable_name | Value |+-----------------------+-----------+| Handler_read_rnd_next | 165959471 |+-----------------------+-----------+1 row in set (0.00 sec)
Handler_read_rnd_next / Com_select 得出了表掃描比率 —— 在本例中是 521:1。若是該值超過 4000,就應該查看 read_buffer_size,例如 read_buffer_size = 4M。若是這個數字超過了 8M,就應該與開發人員討論一下對這些查詢進行調優了!
3 個必不可少的工具
儘管在瞭解具體設置時,SHOW STATUS 命令會很是有用,可是您還須要一些工具來解釋 mysqld 所提供的大量數據。我發現有 3 個工具是必不可少的;在 參考資料 一節中您能夠找到相應的連接。
大部分系統管理員都很是熟悉 top 命令,它爲任務所消耗的 CPU 和內存提供了一個不斷更新的視圖。 mytop 對 top 進行了仿真;它爲全部鏈接上的客戶機以及它們正在運行的查詢提供了一個視圖。mytop 還提供了一個有關關鍵字緩衝區和查詢緩存效率的實時數據和歷史數據,以及有關正在運行的查詢的統計信息。這是一個頗有用的工具,能夠查看系統中(好比 10 秒鐘以內)的情況,您能夠得到有關服務器健康信息的視圖,並顯示致使問題的任何鏈接。
mysqlard 是一個鏈接到 MySQL 服務器上的守護程序,負責每 5 分鐘蒐集一次數據,並將它們存儲到後臺的一個 Round Robin Database 中。有一個 Web 頁面會顯示這些數據,例如表緩存的使用狀況、關鍵字效率、鏈接上的客戶機以及臨時表的使用狀況。儘管 mytop 提供了服務器健康信息的快照,可是 mysqlard 則提供了長期的健康信息。做爲獎勵,mysqlard 使用本身蒐集到的一些信息針對如何對服務器進行調優給出一些建議。
蒐集 SHOW STATUS 信息的另一個工具是 mysqlreport。其報告要遠比 mysqlard 更加複雜,由於須要對服務器的每一個方面都進行分析。這是對服務器進行調優的一個很是好的工具,由於它對狀態變量進行適當計算來幫助肯定須要修正哪些問題。
結束語
本文介紹了對 MySQL 進行調優的一些基礎知識,並對這個針對 LAMP 組件進行調優的 3 部分系列文章進行了總結。調優很大程度上須要理解組件的工做原理,肯定它們是否正常工做,進行一些調整,並從新評測。每一個組件 —— Linux、Apache、PHP 或 MySQL —— 都有各類各樣的需求。分別理解各個組件能夠幫助減小可能會致使應用程序速度變慢的瓶頸。
mytop使用方法:
# mytop -u root -p 123456 -d mydb_name
顯示結果:
第一行顯示了主機名稱,還有至今 MySQL 的運行時間 (以 days+hour:minutes:seconds 爲格式)。
第二行的 Queries 顯示了至今執行的 SQL 查詢語句總數,另外還有目前每秒處理的查詢數和速度。
第三行的 Key Efficiency 就是傳說中的緩存命中率了,若是過低了你可能要調整你的 MySQL 設置,或者調整一下表的結構,後面還有目前的進出速度。
最下方的區域就是目前連接到數據庫的各個線程,你能夠按 k 殺死一個線程,或者按 f 瞭解特定線程的信息。