（轉）運維角度淺談MySQL數據庫優化

　　

轉自：http://lizhenliang.blog.51cto.com/7876557/1657465

一個成熟的數據庫架構並非一開始設計就具有高可用、高伸縮等特性的，它是隨着用戶量的增長，基礎架構才逐漸完善。這篇博文主要談MySQL數據庫發展週期中所面臨的問題及優化方案，暫且拋開前端應用不說，大體分爲如下五個階段：

一、數據庫表設計

  項目立項後，開發部根據產品部需求開發項目，開發工程師工做其中一部分就是對錶結構設計。對於數據庫來講，這點很重要，若是設計不當，會直接影響訪問速度和用戶體驗。影響的因素不少，好比慢查詢、低效的查詢語句、沒有適當創建索引、數據庫堵塞（死鎖）等。固然，有測試工程師的團隊，會作壓力測試，找bug。對於沒有測試工程師的團隊來講，大多數開發工程師初期不會太多考慮數據庫設計是否合理，而是儘快完成功能實現和轉交付，等項目有必定訪問量後，隱藏的問題就會暴露，這時再去修改就不是這麼容易的事了。

二、數據庫部署

  該運維工程師出場了，項目初期訪問量不會很大，因此單臺部署足以應對在1500左右的QPS（每秒查詢率）。考慮到高可用性，可採用MySQL主從複製+Keepalived作雙擊熱備，常見集羣軟件有Keepalived、Heartbeat。

雙機熱備博文：http://lizhenliang.blog.51cto.com/7876557/1362313

三、數據庫性能優化

  若是將MySQL部署到普通的X86服務器上，在不通過任何優化狀況下，MySQL理論值正常能夠處理2000左右QPS，通過優化後，有可能會提高到2500左右QPS，不然，訪問量當達到1500左右併發鏈接時，數據庫處理性能就會變慢，並且硬件資源還很富裕，這時就該考慮軟件問題了。那麼怎樣讓數據庫最大化發揮性能呢？一方面能夠單臺運行多個MySQL實例讓服務器性能發揮到最大化，另外一方面是對數據庫進行優化，每每操做系統和數據庫默認配置都比較保守，會對數據庫發揮有必定限制，可對這些配置進行適當的調整，儘量的處理更多鏈接數。

具體優化有如下三個層面：

  3.1 數據庫配置優化

  MySQL經常使用有兩種存儲引擎，一個是MyISAM，不支持事務處理，讀性能處理快，表級別鎖。另外一個是InnoDB，支持事務處理（ACID），設計目標是爲處理大容量數據發揮最大化性能，行級別鎖。

  表鎖：開銷小，鎖定粒度大，發生死鎖機率高，相對併發也低。

  行鎖：開銷大，鎖定粒度小，發生死鎖機率低，相對併發也高。

  爲何會出現表鎖和行鎖呢？主要是爲了保證數據的完整性，舉個例子，一個用戶在操做一張表，其餘用戶也想操做這張表，那麼就要等第一個用戶操做完，其餘用戶才能操做，表鎖和行鎖就是這個做用。不然多個用戶同時操做一張表，確定會數據產生衝突或者異常。

  根據以上看來，使用InnoDB存儲引擎是最好的選擇，也是MySQL5.5之後版本中默認存儲引擎。每一個存儲引擎相關聯參數比較多，如下列出主要影響數據庫性能的參數。

  公共參數默認值：

1 2 3 4 5 6 7 8 9 10

max_connections = 151 #同時處理最大鏈接數，推薦設置最大鏈接數是上限鏈接數的80%左右    sort_buffer_size = 2M #查詢排序時緩衝區大小，只對order by和group by起做用，可增大此值爲16M query_cache_limit = 1M   #查詢緩存限制，只有1M如下查詢結果纔會被緩存，以避免結果數據較大把緩存池覆蓋 query_cache_size = 16M   #查看緩衝區大小，用於緩存SELECT查詢結果，下一次有一樣SELECT查詢將直接從緩存池返回結果，可適當成倍增長此值 open_files_limit = 1024  #打開文件數限制，若是show global status like 'open_files'查看的值等於或者大於open_files_limit值時，程序會沒法鏈接數據庫或卡死

  MyISAM參數默認值：

1 2 3 4

key_buffer_size = 16M #索引緩存區大小，通常設置物理內存的30-40% read_buffer_size = 128K   #讀操做緩衝區大小，推薦設置16M或32M

  InnoDB參數默認值：

1 2 3 4 5 6 7 8 9 10

innodb_buffer_pool_size = 128M #索引和數據緩衝區大小，通常設置物理內存的60%-70% innodb_buffer_pool_instances = 1     #緩衝池實例個數，推薦設置4個或8個 innodb_flush_log_at_trx_commit = 1   #關鍵參數，0表明大約每秒寫入到日誌並同步到磁盤，數據庫故障會丟失1秒左右事務數據。1爲每執行一條SQL後寫入到日誌並同步到磁盤，I/O開銷大，執行完SQL要等待日誌讀寫，效率低。2表明只把日誌寫入到系統緩存區，再每秒同步到磁盤，效率很高，若是服務器故障，纔會丟失事務數據。對數據安全性要求不是很高的推薦設置2，性能高，修改後效果明顯。 innodb_file_per_table = OFF   #默認是共享表空間，共享表空間idbdata文件不斷增大，影響必定的I/O性能。推薦開啓獨立表空間模式，每一個表的索引和數據都存在本身獨立的表空間中，能夠實現單表在不一樣數據庫中移動。 innodb_log_buffer_size = 8M   #日誌緩衝區大小，因爲日誌最長每秒鐘刷新一次，因此通常不用超過16M

  3.2 系統內核優化

  大多數MySQL都部署在linux系統上，因此操做系統的一些參數也會影響到MySQL性能，如下對linux內核進行適當優化。

1 2 3 4 5 6 7 8 9 10

net.ipv4.tcp_fin_timeout = 30 #TIME_WAIT超時時間，默認是60s net.ipv4.tcp_tw_reuse = 1     #1表示開啓複用，容許TIME_WAIT socket從新用於新的TCP鏈接，0表示關閉 net.ipv4.tcp_tw_recycle = 1   #1表示開啓TIME_WAIT socket快速回收，0表示關閉 net.ipv4.tcp_max_tw_buckets = 4096    #系統保持TIME_WAIT socket最大數量，若是超出這個數，系統將隨機清除一些TIME_WAIT並打印警告信息 net.ipv4.tcp_max_syn_backlog = 4096 #進入SYN隊列最大長度，加大隊列長度可容納更多的等待鏈接

  在linux系統中，若是進程打開的文件句柄數量超過系統默認值1024，就會提示「too many files open」信息，因此要調整打開文件句柄限制。

1 2 3 4

# vi /etc/security/limits.conf  #加入如下配置，*表明全部用戶，也能夠指定用戶，重啓系統生效 * soft nofile 65535 * hard nofile 65535 # ulimit -SHn 65535   #馬上生效

  3.3 硬件配置

  加大物理內存，提升文件系統性能。linux內核會從內存中分配出緩存區（系統緩存和數據緩存）來存放熱數據，經過文件系統延遲寫入機制，等知足條件時（如緩存區大小到達必定百分比或者執行sync命令）纔會同步到磁盤。也就是說物理內存越大，分配緩存區越大，緩存數據越多。固然，服務器故障會丟失必定的緩存數據。

  SSD硬盤代替SAS硬盤，將RAID級別調整爲RAID1+0，相對於RAID1和RAID5有更好的讀寫性能（IOPS），畢竟數據庫的壓力主要來自磁盤I/O方面。

四、數據庫架構擴展

  隨着業務量愈來愈大，單臺數據庫服務器性能已沒法知足業務需求，該考慮加機器了，該作集羣了~~~。主要思想是分解單臺數據庫負載，突破磁盤I/O性能，熱數據存放緩存中，下降磁盤I/O訪問頻率。

  4.1 主從複製與讀寫分離

  由於生產環境中，數據庫大多都是讀操做，因此部署一主多從架構，主數據庫負責寫操做，並作雙擊熱備，多臺從數據庫作負載均衡，負責讀操做，主流的負載均衡器有LVS、HAProxy、Nginx。

  怎麼來實現讀寫分離呢？大多數企業是在代碼層面實現讀寫分離，效率比較高。另外一個種方式經過代理程序實現讀寫分離，企業中應用較少，常見代理程序有MySQL Proxy、Amoeba。在這樣數據庫集羣架構中，大大增長數據庫高併發能力，解決單臺性能瓶頸問題。若是從數據庫一臺從庫能處理2000 QPS，那麼5臺就能處理1w QPS，數據庫橫向擴展性也很容易。

  有時，面對大量寫操做的應用時，單臺寫性能達不到業務需求。若是作雙主，就會遇到數據庫數據不一致現象，產生這個緣由是在應用程序不一樣的用戶會有可能操做兩臺數據庫，同時的更新操做形成兩臺數據庫數據庫數據發生衝突或者不一致。在單庫時MySQL利用存儲引擎機制表鎖和行鎖來保證數據完整性，怎樣在多臺主庫時解決這個問題呢？有一套基於perl語言開發的主從複製管理工具，叫MySQL-MMM（Master-Master replication managerfor Mysql，Mysql主主複製管理器），這個工具最大的優勢是在同一時間只提供一臺數據庫寫操做，有效保證數據一致性。

  主從複製博文：http://lizhenliang.blog.51cto.com/7876557/1290431

  讀寫分離博文：http://lizhenliang.blog.51cto.com/7876557/1305083

 MySQL-MMM博文：http://lizhenliang.blog.51cto.com/7876557/1354576

  4.2 增長緩存

  給數據庫增長緩存系統，把熱數據緩存到內存中，若是緩存中有要請求的數據就再也不去數據庫中返回結果，提升讀性能。緩存實現有本地緩存和分佈式緩存，本地緩存是將數據緩存到本地服務器內存中或者文件中。分佈式緩存能夠緩存海量數據，擴展性好，主流的分佈式緩存系統有memcached、redis，memcached性能穩定，數據緩存在內存中，速度很快，QPS可達8w左右。若是想數據持久化就選擇用redis，性能不低於memcached。

  工做過程：

  

  4.3 分庫

  分庫是根據業務不一樣把相關的表切分到不一樣的數據庫中，好比web、bbs、blog等庫。若是業務量很大，還可將切分後的庫作主從架構，進一步避免單個庫壓力過大。

  4.4 分表

  數據量的日劇增長，數據庫中某個表有幾百萬條數據，致使查詢和插入耗時太長，怎麼能解決單表壓力呢？你就該考慮是否把這個表拆分紅多個小表，來減輕單個表的壓力，提升處理效率，此方式稱爲分表。

  分表技術比較麻煩，要修改程序代碼裏的SQL語句，還要手動去建立其餘表，也能夠用merge存儲引擎實現分表，相對簡單許多。分表後，程序是對一個總表進行操做，這個總表不存放數據，只有一些分表的關係，以及更新數據的方式，總表會根據不一樣的查詢，將壓力分到不一樣的小表上，所以提升併發能力和磁盤I/O性能。

  分表分爲垂直拆分和水平拆分：

  垂直拆分：把原來的一個不少字段的表拆分多個表，解決表的寬度問題。你能夠把不經常使用的字段單獨放到一個表中，也能夠把大字段獨立放一個表中，或者把關聯密切的字段放一個表中。

  水平拆分：把原來一個表拆分紅多個表，每一個表的結構都同樣，解決單表數據量大的問題。

  4.5 分區

  分區就是把一張表的數據根據表結構中的字段（如range、list、hash等）分紅多個區塊，這些區塊能夠在一個磁盤上，也能夠在不一樣的磁盤上，分區後，表面上仍是一張表，但數據散列在多個位置，這樣一來，多塊硬盤同時處理不一樣的請求，從而提升磁盤I/O讀寫性能，實現比較簡單。

注：增長緩存、分庫、分表和分區主要由程序猿來實現。

五、數據庫維護

  數據庫維護是運維工程師或者DBA主要工做，包括性能監控、性能分析、性能調優、數據庫備份和恢復等。

  5.1 性能狀態關鍵指標

  QPS，Queries Per Second：每秒查詢數，一臺數據庫每秒可以處理的查詢次數

  TPS，Transactions Per Second：每秒處理事務數

  經過show status查看運行狀態，會有300多條狀態信息記錄，其中有幾個值幫能夠咱們計算出QPS和TPS，以下：

  Uptime：服務器已經運行的實際，單位秒

  Questions：已經發送給數據庫查詢數

  Com_select：查詢次數，實際操做數據庫的

  Com_insert：插入次數

  Com_delete：刪除次數

  Com_update：更新次數

  Com_commit：事務次數

  Com_rollback：回滾次數

  那麼，計算方法來了，基於Questions計算出QPS：

1 2	mysql> show global status like  'Questions' ;    mysql> show global status like  'Uptime' ;

  QPS = Questions / Uptime

  基於Com_commit和Com_rollback計算出TPS：

1 2 3

mysql> show global status like  'Com_commit' ;    mysql> show global status like  'Com_rollback' ;    mysql> show global status like  'Uptime' ;

  TPS = (Com_commit + Com_rollback) / Uptime

  另外一計算方式：基於Com_select、Com_insert、Com_delete、Com_update計算出QPS

1	mysql> show global status where Variable_name  in ( 'com_select' , 'com_insert' , 'com_delete' , 'com_update' );

  等待1秒再執行，獲取間隔差值，第二次每一個變量值減去第一次對應的變量值，就是QPS

  TPS計算方法：

1	mysql> show global status where Variable_name  in ( 'com_insert' , 'com_delete' , 'com_update' );

  計算TPS，就不算查詢操做了，計算出插入、刪除、更新四個值便可。

  經網友對這兩個計算方式的測試得出，當數據庫中myisam表比較多時，使用Questions計算比較準確。當數據庫中innodb表比較多時，則以Com_*計算比較準確。

  5.2 開啓慢查詢日誌

  MySQL開啓慢查詢日誌，分析出哪條SQL語句比較慢，使用set設置變量，重啓服務失效，能夠在my.cnf添加參數永久生效。

1 2 3 4

mysql>  set  global slow-query-log=on   #開啓慢查詢功能 mysql>  set  global slow_query_log_file= '/var/log/mysql/mysql-slow.log' ;   #指定慢查詢日誌文件位置 mysql>  set  global log_queries_not_using_indexes=on;    #記錄沒有使用索引的查詢 mysql>  set  global long_query_time=1;    #只記錄處理時間1s以上的慢查詢

  分析慢查詢日誌，可使用MySQL自帶的mysqldumpslow工具，分析的日誌較爲簡單。

  # mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log    #查看最慢的前三個查詢

  也可使用percona公司的pt-query-digest工具，日誌分析功能全面，可分析slow log、binlog、general log。

  分析慢查詢日誌：pt-query-digest /var/log/mysql/mysql-slow.log

  分析binlog日誌：mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql 

  pt-query-digest --type=binlog mysql-bin.000001.sql 

  分析普通日誌：pt-query-digest --type=genlog localhost.log

  5.3 數據庫備份

  備份數據庫是最基本的工做，也是最重要的，不然後果很嚴重，你懂得！但因爲數據庫比較大，上百G，每每備份都很耗費時間，因此就該選擇一個效率高的備份策略，對於數據量大的數據庫，通常都採用增量備份。經常使用的備份工具備mysqldump、mysqlhotcopy、xtrabackup等，mysqldump比較適用於小的數據庫，由於是邏輯備份，因此備份和恢復耗時都比較長。mysqlhotcopy和xtrabackup是物理備份，備份和恢復速度快，不影響數據庫服務狀況下進行熱拷貝，建議使用xtrabackup，支持增量備份。

  Xtrabackup備份工具使用博文：http://lizhenliang.blog.51cto.com/7876557/1612800

  5.4 數據庫修復

  有時候MySQL服務器忽然斷電、異常關閉，會致使表損壞，沒法讀取表數據。這時就能夠用到MySQL自帶的兩個工具進行修復，myisamchk和mysqlcheck。

  myisamchk：只能修復myisam表，須要中止數據庫

  經常使用參數：

  -f --force    強制修復，覆蓋老的臨時文件，通常不使用

  -r --recover  恢復模式

  -q --quik     快速恢復

  -a --analyze  分析表

  -o --safe-recover 老的恢復模式，若是-r沒法修復，可使用此參數試試

  -F --fast     只檢查沒有正常關閉的表

  快速修復weibo數據庫:

  # cd /var/lib/mysql/weibo 

  # myisamchk -r -q *.MYI

  mysqlcheck：myisam和innodb表均可以用，不須要中止數據庫，如修復單個表，可在數據庫後面添加表名，以空格分割

  經常使用參數：

  -a  --all-databases  檢查全部的庫

  -r  --repair   修復表

  -c  --check    檢查表，默認選項

  -a  --analyze  分析表

  -o  --optimize 優化表

  -q  --quik   最快檢查或修復表

  -F  --fast   只檢查沒有正常關閉的表

  快速修復weibo數據庫:

  mysqlcheck -r -q -uroot -p123 weibo 

  5.5 另外，查看CPU和I/O性能方法

  #查看CPU性能

  #參數-P是顯示CPU數，ALL爲全部，也能夠只顯示第幾顆CPU

  #查看I/O性能

 

  #參數-m是以M單位顯示，默認K

  #%util：當達到100%時，說明I/O很忙。

  #await：請求在隊列中等待時間，直接影響read時間。

  I/O極限：IOPS（r/s+w/s）,通常RAID0/10在1200左右。（IOPS，每秒進行讀寫（I/O）操做次數）

  I/O帶寬：在順序讀寫模式下SAS硬盤理論值在300M/s左右，SSD硬盤理論值在600M/s左右。

 

  以上是本人使用MySQL三年來總結的一些主要優化方案，能力有限，有些不太全面，但這些基本可以知足中小型企業數據庫需求。

  因爲關係型數據庫初衷設計限制，一些BAT公司海量數據放到關係型數據庫中，在海量數據查詢和分析方面已經達不到更好的性能。所以NoSQL火起來了，非關係型數據庫，大數據量，具備高性能，同時也彌補了關係型數據庫某方面不足，漸漸大多數公司已經將部分業務數據庫存放到NoSQL中，如MongoDB、HBase等。數據存儲方面採用分佈式文件系統，如HDFS、GFS等。海量數據計算分析採用Hadoop、Spark、Storm等。這些都是與運維相關的前沿技術，也是在存儲方面主要學習對象，小夥伴們共同加油吧！哪位博友有更好的優化方案，歡迎交流哦。