MYSQL千萬級數據量的優化方法積累

一、分庫分表

很明顯，一個主表（也就是很重要的表，例如用戶表）無限制的增加勢必嚴重影響性能，分庫與分表是一個很不錯的解決途徑，也就是性能優化途徑，如今的案例是咱們有一個1000多萬條記錄的用戶表members,查詢起來很是之慢，同事的作法是將其散列到100個表中，分別從members0到members99，而後根據mid分發記錄到這些表中，牛逼的代碼大概是這樣子：

<?php

for($i=0;$i< 100; $i++ ){

     //echo "CREATE TABLE db2.members{$i} LIKE db1.members<br>";

     echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid0={$i}<br>";

}

?>

 

二、不停機修改mysql表結構

一樣仍是members表，前期設計的表結構不盡合理，隨着數據庫不斷運行，其冗餘數據也是增加巨大，同事使用了下面的方法來處理：

先建立一個臨時表：

CREATE TABLE members_tmp LIKE members

而後修改members_tmp的表結構爲新結構，接着使用上面那個for循環來導出數據，由於1000萬的數據一次性導出是不對的，mid是主鍵，一個區間一個區間的導，基本是一次導出5萬條吧，這裏略去了

接着重命名將新表替換上去：

RENAME TABLE members TO members_bak,members_tmp TO members;

就是這樣，基本能夠作到無損失，無需停機更新表結構，但實際上RENAME期間表是被鎖死的，因此選擇在線少的時候操做是一個技巧。通過這個操做，使得原先8G多的表，一會兒變成了2G多

 

另外還講到了mysql中float字段類型的時候出現的詭異現象，就是在pma中看到的數字根本不能做爲條件來查詢

三、經常使用SQL語句優化：

1.       數據庫(表)設計合理

咱們的表設計要符合3NF   3範式(規範的模式) , 有時咱們須要適當的逆範式

2.       sql語句的優化(索引，經常使用小技巧.)

3.       數據的配置(緩存設大)

4.       適當硬件配置和操做系統 (讀寫分離.)

數據的3NF

1NF :就是具備原子性，不可分割.(只要使用的是關係性數據庫，就自動符合)

2NF: 在知足1NF 的基礎上，咱們考慮是否知足2NF: 只要表的記錄知足惟一性,也是說,你的同一張表，不可能出現徹底相同的記錄, 通常說咱們在 表中設計一個主鍵便可.

3NF: 在知足2NF 的基礎上，咱們考慮是否知足3NF：即咱們的字段信息能夠經過關聯的關係，派生便可.(一般咱們經過外鍵來處理)

逆範式: 爲何需呀逆範式:

(相冊的功能對應數據庫的設計)

適當的逆範式.

 

sql語句的優化

sql語句有幾類

ddl (數據定義語言) [create alter drop]

dml(數據操做語言)[insert delete upate ]

select

dtl(數據事務語句) [commit rollback savepoint]

dcl(數據控制語句) [grant  revoke]

show status命令

該命令能夠顯示你的mysql數據庫的當前狀態.咱們主要關心的是 「com」開頭的指令

show status like ‘Com%’  <=> show session  status like ‘Com%’  //顯示當前控制檯的狀況

show global  status like ‘Com%’ ; //顯示數據庫從啓動到 查詢的次數

顯示鏈接數據庫次數

show status like  'Connections';

這裏咱們優化的重點是在 慢查詢. (在默認狀況下是10 ) mysql5.5.19

 

顯示查看慢查詢的狀況

show variables like ‘long_query_time’

 

爲了教學，咱們搞一個海量表(mysql存儲過程)

目的，就是看看怎樣處理，在海量表中，查詢的速度很快!

select * from emp where empno=123456;

需求：如何在一個項目中，找到慢查詢的select , mysql數據庫支持把慢查詢語句，記錄到日誌中，程序員分析. (可是注意，默認狀況下不啓動.)

步驟:

1.       要這樣啓動mysql

進入到 mysql安裝目錄

2.  啓動 xx>bin\mysqld.exe –slow-query-log   這點注意

測試 ,好比咱們把

select * from emp where empno=34678 ；

用了1.5秒，我如今優化.

快速體驗: 在emp表的 empno創建索引.

alter table emp add primary key(empno);

//刪除主鍵索引

alter table emp drop primary key

而後，再查速度變快.

l         索引的原理

介紹一款很是重要工具explain, 這個分析工具能夠對 sql語句進行分析,能夠預測你的sql執行的效率.

他的基本用法是:

explain sql語句\G

//根據返回的信息，咱們可知,該sql語句是否使用索引，從多少記錄中取出,能夠看到排序的方式.

l         在什麼列上添加索引比較合適

 

①     在常常查詢的列上加索引.

②     列的數據，內容就只有少數幾個值,不太適合加索引.

③     內容頻繁變化，不合適加索引

 

l         索引的種類

①     主鍵索引 (把某列設爲主鍵，則就是主鍵索引)

②     惟一索引(unique) （即該列具備惟一性，同時又是索引）

③     index （普通索引）

④     全文索引(FULLTEXT)

select * from article where content like ‘%李連杰%’;

hello, i am a boy

l       你好，我是一個男孩  =>中文 sphinx

 

⑤     複合索引(多列和在一塊兒)

create index myind on 表名 (列1,列2);

 

l         如何建立索引

若是建立unique / 普通/fulltext 索引

1. create [unique|FULLTEXT] index 索引名 on 表名 (列名...)

2. alter table 表名 add index 索引名 (列名...)

//若是要添加主鍵索引

alter table 表名 add primary key (列...)

 

刪除索引

1.       drop index 索引名 on 表名

2.       alter table 表名 drop index index_name;

3.       alter table 表名 drop primary key

顯示索引

       show index(es) from 表名

       show keys from 表名

       desc 表名

 

如何查詢某表的索引

show indexes from 表名

l         使用索引的注意事項

查詢要使用索引最重要的條件是查詢條件中須要使用索引。

下列幾種狀況下有可能使用到索引：
1，對於建立的多列索引，只要查詢條件使用了最左邊的列，索引通常就會被使用。
2，對於使用like的查詢，查詢若是是  ‘�a’ 不會使用到索引 aaa%’ 會使用到索引。

下列的表將不使用索引：
1，若是條件中有or，即便其中有條件帶索引也不會使用。
2，對於多列索引，不是使用的第一部分，則不會使用索引。
3，like查詢是以%開頭
4，若是列類型是字符串，那必定要在條件中將數據使用引號引用起來。不然不使用索引。
5，若是mysql估計使用全表掃描要比使用索引快，則不使用索引。

l         如何檢測你的索引是否有效

 

結論: Handler_read_key 越大越少

Handler_read_rnd_next 越小越好

fdisk

find

l         MyISAM 和 Innodb區別是什麼

1. MyISAM 不支持外鍵, Innodb支持
2. MyISAM 不支持事務,不支持外鍵.
3. 對數據信息的存儲處理方式不一樣.（若是存儲引擎是MyISAM的，則建立一張表，對於三個文件..,若是是Innodb則只有一張文件 *.frm,數據存放到ibdata1）

 

對於 MyISAM 數據庫，須要定時清理

optimize table 表名

 

l         常見的sql優化手法

1.       使用order by null  禁用排序

好比 select * from dept group by ename order by null

2.       在精度要求高的應用中，建議使用定點數(decimal)來存儲數值，以保證結果的準確性

3.  若是字段是字符類型的索引，用做條件查詢時必定要加單引號，否則索引無效。

4.  主鍵索引若是沒用到，再查詢for update這種狀況，會形成表鎖定。容易形成卡死。

1000000.32 萬

create table sal(t1 float(10,2));

create table sal2(t1 decimal(10,2));

 

問?在php中 ,int 若是是一個有符號數，最大值. int- 4*8=32   2 31 -1

l         表的水平劃分

 

l         垂直分割表

若是你的數據庫的存儲引擎是MyISAM的，則當建立一個表，後三個文件. *.frm 記錄表結構. *.myd 數據 *.myi 這個是索引.

mysql5.5.19的版本，他的數據庫文件，默認放在 （看 my.ini文件中的配置.）

l         讀寫分離