單機MySQL數據庫的優化
1、服務器硬件對MySQL性能的影響
①磁盤尋道能力(磁盤I/O),咱們如今上的都是SAS15000轉的硬盤。MySQL每秒鐘都在進行大量、複雜的查詢操做,對磁盤的讀寫量可想而知。因此,一般認爲磁盤I/O是制約MySQL性能的最大因素之一,對於日均訪 問量在100萬PV以上的Discuz!論壇,因爲磁盤I/O的制約,MySQL的性能會很是低下!解決這一制約因素能夠考慮如下幾種解決方案: 使用RAID1+0磁盤陣列,注意不要嘗試使用RAID-5,MySQL在RAID-5磁盤陣列上的效率不會像你期待的那樣快。
②CPU 對於MySQL應用,推薦使用DELL R710,E5620 @2.40GHz(4 core)* 2 ,我如今比較喜歡DELL R710,也在用其做Linuxakg 虛擬化應用;
③物理內存對於一臺使用MySQL的Database Server來講,服務器內存建議不要小於2GB,推薦使用4GB以上的物理內存,不過內存對於如今的服務器而言能夠說是一個能夠忽略的問題,工做中遇到高端服務器基本上內存都超過了32G。
咱們工做中用得比較多的數據庫服務器是HP DL580G5和DELL R710,穩定性和性能都不錯;特別是DELL R710,我發現許多同行都是採用它做數據庫的服務器,因此重點推薦下。mysql
2、MySQL的線上安裝我建議採起編譯安裝的方法,這樣性能上有較大提高,服務器系統我建議用64bit的Centos5.5,源碼包的編譯參數會默認以Debgu模式生成二進制代碼,而Debug模式給MySQL帶來的性能損失是比較大的,因此當咱們編譯準備安裝的產品代碼時,必定不要忘記使用「—without-debug」參數禁用Debug模式。而若是把—with-mysqld-ldflags和—with-client-ldflags二個編譯參數設置爲—all-static的話,能夠告訴編譯器以靜態方式編譯和編譯結果代碼獲得最高的性能。使用靜態編譯和使用動態編譯的代碼相比,性能差距可能會達到5%至10%之多。我參考了簡朝陽先生的編譯參數,特列以下,供你們參考,編譯參數以下所示:程序員
./configure --prefix=/usr/local/mysql --without-debug --without-bench --enable-thread-safe-client --enable-assembler --enable-profiling --with-mysqld-ldflags=-all-static --with-client-ldflags=-all-static --with-charset=latin1 --with-extra-charset=utf8,gbk --with-innodb --with-csv-storage-engine --with-federated-storage-engine --with-mysqld-user=mysql --without-embedded-server --with-server-suffix=-community --with-unix-socket-path=/usr/local/mysql/sock/mysql.sock
3、MySQL自身因素當解決了上述服務器硬件制約因素後,讓咱們看看MySQL自身的優化是如何操做的。對 MySQL自身的優化主要是對其配置文件my.cnf中的各項參數進行優化調整。下面咱們介紹一些對性能影響較大的參數。sql
下面,咱們根據以上硬件配置結合一份已經優化好的my.cnf進行說明:
#vim /etc/my.cnf
如下只列出my.cnf文件中[mysqld]段落中的內容,其餘段落內容對MySQL運行性能影響甚微,於是姑且忽略。
[mysqld]
port = 3306
serverid = 1
socket = /tmp/mysql.sock
skip-locking
#避免MySQL的外部鎖定,減小出錯概率加強穩定性。
skip-name-resolve
#禁止MySQL對外部鏈接進行DNS解析,使用這一選項能夠消除MySQL進行DNS解析的時間。但須要注意,若是開啓該選項,則全部遠程主機鏈接受權都要使用IP地址方式,不然MySQL將沒法正常處理鏈接請求!
back_log = 384
#back_log參數的值指出在MySQL暫時中止響應新請求以前的短期內多少個請求能夠被存在堆棧中。 若是系統在一個短期內有不少鏈接,則須要增大該參數的值,該參數值指定到來的TCP/IP鏈接的偵聽隊列的大小。不一樣的操做系統在這個隊列大小上有它自 己的限制。 試圖設定back_log高於你的操做系統的限制將是無效的。默認值爲50。對於Linux系統推薦設置爲小於512的整數。
key_buffer_size = 384M
#key_buffer_size指定用於索引的緩衝區大小,增長它可獲得更好的索引處理性能。對於內存在4GB左右的服務器該參數可設置爲256M或384M。注意:該參數值設置的過大反而會是服務器總體效率下降!
max_allowed_packet = 4M
thread_stack = 256K
table_cache = 614K
sort_buffer_size = 6M
#查詢排序時所能使用的緩衝區大小。注意:該參數對應的分配內存是每鏈接獨佔,若是有100個鏈接,那麼實際分配的總共排序緩衝區大小爲100 × 6 = 600MB。因此,對於內存在4GB左右的服務器推薦設置爲6-8M。
read_buffer_size = 4M
#讀查詢操做所能使用的緩衝區大小。和sort_buffer_size同樣,該參數對應的分配內存也是每鏈接獨享。
join_buffer_size = 8M
#聯合查詢操做所能使用的緩衝區大小,和sort_buffer_size同樣,該參數對應的分配內存也是每鏈接獨享。
myisam_sort_buffer_size = 64M
table_cache = 512
thread_cache_size = 64
query_cache_size = 64M
#指定MySQL查詢緩衝區的大小。能夠經過在MySQL控制檯觀察,若是Qcache_lowmem_prunes的值很是大,則代表常常出現緩衝不夠 的狀況;若是Qcache_hits的值很是大,則代表查詢緩衝使用很是頻繁,若是該值較小反而會影響效率,那麼能夠考慮不用查詢緩衝;Qcache_free_blocks,若是該值很是大,則代表緩衝區中碎片不少。
tmp_table_size = 256M
max_connections = 768
#指定MySQL容許的最大鏈接進程數。若是在訪問論壇時常常出現Too Many Connections的錯誤提 示,則須要增大該參數值。
max_connect_errors = 1000
wait_timeout = 10
#指定一個請求的最大鏈接時間,對於4GB左右內存的服務器能夠設置爲5-10。
thread_concurrency = 8
#該參數取值爲服務器邏輯CPU數量*2,在本例中,服務器有2顆物理CPU,而每顆物理CPU又支持H.T超線程,因此實際取值爲4*2=8;這個目前也是雙四核主流服務器配置。
skip-networking
#開啓該選項能夠完全關閉MySQL的TCP/IP鏈接方式,若是WEB服務器是以遠程鏈接的方式訪問MySQL數據庫服務器則不要開啓該選項!不然將沒法正常鏈接!
table_cache=1024
#物理內存越大,設置就越大.默認爲2402,調到512-1024最佳
innodb_additional_mem_pool_size=4M
#默認爲2M
innodb_flush_log_at_trx_commit=1
#設置爲0就是等到innodb_log_buffer_size列隊滿後再統一儲存,默認爲1
innodb_log_buffer_size=2M
#默認爲1M
innodb_thread_concurrency=8
#你的服務器CPU有幾個就設置爲幾,建議用默認通常爲8
key_buffer_size=256M
#默認爲218,調到128最佳
tmp_table_size=64M
#默認爲16M,調到64-256最掛
read_buffer_size=4M
#默認爲64K
read_rnd_buffer_size=16M
#默認爲256K
sort_buffer_size=32M
#默認爲256K
thread_cache_size=120
#默認爲60
query_cache_size=32M
※值得注意的是:
不少狀況須要具體狀況具體分析
1、若是Key_reads太大,則應該把my.cnf中Key_buffer_size變大,保持Key_reads/Key_read_requests至少1/100以上,越小越好。
2、若是Qcache_lowmem_prunes很大,就要增長Query_cache_size的值。
不少時候咱們發現,經過參數設置進行性能優化所帶來的性能提高,可能並不如許多人想象的那樣產生質的飛躍,除非是以前的設置存在嚴重不合理的狀況。咱們不能將性能調優徹底依託於經過DBA在數據庫上線後進行的參數調整,而應該在系統設計和開發階段就儘量減小性能問題。數據庫
【51CTO獨家特稿】若是單MySQL的優化始終仍是頂不住壓力時,這個時候咱們就必須考慮MySQL的高可用架構(不少同窗也愛說成是MySQL集羣)了,目前可行的方案有:
1、MySQL Cluster
優點:可用性很是高,性能很是好。每份數據至少可在不一樣主機存一份拷貝,且冗餘數據拷貝實時同步。但它的維護很是複雜,存在部分Bug,目前還不適合比較核心的線上系統,因此這個我不推薦。
2、DRBD磁盤網絡鏡像方案
優點:軟件功能強大,數據可在底層快設備級別跨物理主機鏡像,且可根據性能和可靠性要求配置不一樣級別的同步。IO操做保持順序,可知足數據庫對數據一致性的苛刻要求。但非分佈式文件系統環境沒法支持鏡像數據同時可見,性能和可靠性二者相互矛盾,沒法適用於性能和可靠性要求都比較苛刻的環境,維護成本高於MySQL Replication。另外,DRBD也是官方推薦的可用於MySQL高可用方案之一,因此這個你們可根據實際環境來考慮是否部署。
3、MySQL Replication
在實際應用場景中,MySQL Replication是使用最爲普遍的一種提升系統擴展性的設計手段。衆多的MySQL使用者經過Replication功能提高系統的擴展性後,經過簡單的增長價格低廉的硬件設備成倍 甚至成數量級地提升了原有系統的性能,是廣大MySQL中低端使用者很是喜歡的功能之一,也是許多MySQL使用者選擇MySQL最爲重要的緣由。
vim
比較常規的MySQL Replication架構也有好幾種,這裏分別簡單說明下
MySQL Replication架構一:常規復制架構--Master-slaves,是由一個Master複製到一個或多個Salve的架構模式,主要用於讀壓力大的應用數據庫端廉價擴展解決方案,讀寫分離,Master主要負責寫方面的壓力。
MySQL Replication架構二:級聯複製架構,即Master-Slaves-Slaves,這個也是爲了防止Slaves的讀壓力過大,而配置一層二級 Slaves,很容易解決Master端由於附屬slave太多而成爲瓶勁的風險。
MySQL Replication架構三:Dual Master與級聯複製結合架構,即Master-Master-Slaves,最大的好處是既能夠避免主Master的寫操做受到Slave集羣的複製帶來的影響,並且保證了主Master的單點故障。
以上就是比較常見的MySQL replication架構方案,你們可根據本身公司的具體環境來設計 ,Mysql 負載均衡可考慮用LVS或Haproxy來作,高可用HA軟件我推薦Heartbeat。
MySQL Replication的不足:若是Master主機硬件故障沒法恢復,則可能形成部分未傳送到slave端的數據丟失。因此你們應該根據本身目前的網絡規劃,選擇本身合理的Mysql架構方案,跟本身的MySQL DBA和程序員多溝涌,多備份(備份我至少會作到本地和異地雙備份),多測試,數據的事是最大的事,出不得半點差錯,切記切記。性能優化