工做中處理數據時,發現某個表的數據達近億條,因此要爲表建索引提升查詢性能,如下兩篇文章總結的很好,記錄一下,以備後用。
數據庫創建索引經常使用的規則以下:
一、表的主鍵、外鍵必須有索引;
二、數據量超過300的表應該有索引;
三、常常與其餘表進行鏈接的表,在鏈接字段上應該創建索引;
四、常常出如今Where子句中的字段,特別是大表的字段,應該創建索引;
五、索引應該建在選擇性高的字段上;
六、索引應該建在小字段上,對於大的文本字段甚至超長字段,不要建索引;
七、複合索引的創建須要進行仔細分析;儘可能考慮用單字段索引代替:html
A、正確選擇複合索引中的主列字段,通常是選擇性較好的字段;java
B、複合索引的幾個字段是否常常同時以AND方式出如今Where子句中?單字段查詢是否極少甚至沒有?若是是,則能夠創建複合索引;不然考慮單字段索引;mysql
C、若是複合索引中包含的字段常常單獨出如今Where子句中,則分解爲多個單字段索引;sql
E、若是既有單字段索引,又有這幾個字段上的複合索引,通常能夠刪除複合索引;數據庫
八、頻繁進行數據操做的表,不要創建太多的索引;
九、刪除無用的索引,避免對執行計劃形成負面影響;markdown
以上是一些廣泛的創建索引時的判斷依據。
索引的創建必須慎重,對每一個索引的必要性都應該通過仔細分析,要有創建的依據。
由於太多的索引與不充分、不正確的索引對性能都毫無益處:在表上創建的每一個索引都會增長存儲開銷,索引對於插入、刪除、更新操做也會增長處理上的開銷。 另外,過多的複合索引,在有單字段索引的狀況下,通常都是沒有存在價值的;相反,還會下降數據增長刪除時的性能,特別是對頻繁更新的表來講,負面影響更大。
總的來講,小型表確定不建索引,
或者數據庫記錄在億條數據級以上,仍是建議使用非關係型數據庫。
還有些特殊字段的數據庫,好比BLOB,CLOB字段確定也不適合建索引。
其實這個問題更感受偏向於作軟件項目的一種經驗。session
對千萬級MySQL數據庫創建索引的事項及提升性能的手段
1、注意事項:
首先,應當考慮表空間和磁盤空間是否足夠。咱們知道索引也是一種數據,在創建索引的時候勢必也會佔用大量表空間。所以在對一大表創建索引的時候首先應當考慮的是空間容量問題。
其次,在對創建索引的時候要對錶進行加鎖,所以應當注意操做在業務空閒的時候進行。oracle
2、性能調整方面:
首當其衝的考慮因素即是磁盤I/O。物理上,應當儘可能把索引與數據分散到不一樣的磁盤上(不考慮陣列的狀況)。邏輯上,數據表空間與索引表空間分開。這是在建索引時應當遵照的基本準則。app
其次,咱們知道,在創建索引的時候要對錶進行全表的掃描工做,所以,應當考慮調大初始化參數db_file_multiblock_read_count的值。通常設置爲32或更大。數據庫設計
再次,創建索引除了要進行全表掃描外同時還要對數據進行大量的排序操做,所以,應當調整排序區的大小。
9i以前,能夠在session級別上加大sort_area_size的大小,好比設置爲100m或者更大。
9i之後,若是初始化參數workarea_size_policy的值爲TRUE,則排序區從pga_aggregate_target裏自動分配得到。
最後,創建索引的時候,能夠加上nologging選項。以減小在創建索引過程當中產生的大量redo,從而提升執行的速度。
MySql在創建索引優化時須要注意的問題
設計好MySql的索引可讓你的數據庫飛起來,大大的提升數據庫效率。設計MySql索引的時候有如下幾點注意:
1,建立索引
對於查詢佔主要的應用來講,索引顯得尤其重要。不少時候性能問題很簡單的就是由於咱們忘了添加索引而形成的,或者說沒有添加更爲有效的索引致使。若是不加索引的話,那麼查找任何哪怕只是一條特定的數據都會進行一次全表掃描,若是一張表的數據量很大而符合條件的結果又不多,那麼不加索引會引發致命的性能降低。可是也不是什麼狀況都非得建索引不可,好比性別可能就只有兩個值,建索引不只沒什麼優點,還會影響到更新速度,這被稱爲過分索引。
2,複合索引
好比有一條語句是這樣的:select * from users where area=’beijing’ and age=22;
若是咱們是在area和age上分別建立單個索引的話,因爲mysql查詢每次只能使用一個索引,因此雖然這樣已經相對不作索引時全表掃描提升了不少效 率,可是若是在area、age兩列上建立複合索引的話將帶來更高的效率。若是咱們建立了(area, age, salary)的複合索引,那麼其實至關於建立了(area,age,salary)、(area,age)、(area)三個索引,這被稱爲最佳左前綴
特性。所以咱們在建立複合索引時應該將最經常使用做限制條件的列放在最左邊,依次遞減。
3,索引不會包含有NULL值的列
只要列中包含有NULL值都將不會被包含在索引中,複合索引中只要有一列含有NULL值,那麼這一列對於此複合索引就是無效的。因此咱們在數據庫設計時不要讓字段的默認值爲NULL。
4,使用短索引
對串列進行索引,若是可能應該指定一個前綴長度。例如,若是有一個CHAR(255)的 列,若是在前10 個或20 個字符內,多數值是唯一的,那麼就不要對整個列進行索引。短索引不只能夠提升查詢速度並且能夠節省磁盤空間和I/O操做。
5,排序的索引問題
mysql查詢只使用一個索引,所以若是where子句中已經使用了索引的話,那麼order by中的列是不會使用索引的。所以數據庫默認排序能夠符合要求的狀況下不要使用排序操做;儘可能不要包含多個列的排序,若是須要最好給這些列建立複合索引。
6,like語句操做
通常狀況下不鼓勵使用like操做,若是非使用不可,如何使用也是一個問題。like 「%a%」 不會使用索引而like 「aaa%」可使用索引。
7,不要在列上進行運算
select * from users where YEAR(adddate)
8,不使用NOT IN和操做
NOT IN操做不會使用索引將進行全表掃描。NOT IN能夠NOT EXISTS代替
添加索引示例:
-
CREATE
INDEX IDX_AUDITSTATUS
ON [
shanghaiDB].[
dbo].[
Activity](
AUDITSTATUS)
WITH(
ONLINE=
ON)
-
-
CREATE
INDEX IDX_ANUMMID
ON [
nantongDB].[
dbo].[
Orders](
ANUM,MID)
WITH(
ONLINE=
ON)
-
-
CREATE
INDEX IDX_SiteCode
ON Usercenter.[dbo].MO(SiteCode)
WITH(
ONLINE=
ON)
-
-
CREATE
INDEX IDX_AccessDt
ON [
all].[
dbo].[
AccessLog](
AccessDt)
WITH(
ONLINE=
ON)
Create index注意n若是是大表創建索引,切記加上ONLINE參數
這幾天在作數據庫的優化,有個2億記錄的表,發現須要添加一個聯合索引,結果就採用普通的create index index_name on tablename (entp_id,sell_date),結果悲劇了,把全部的DML語句都阻塞了,致使系統不能正常使用,還好是晚上10點,用戶不是很是多,1個小時候,索引結束,阻塞解決;
上網查了一下,若是加上 online參數後,就能夠在線作索引,而不須要阻塞全部的DML語句,血的教訓,拿出來與各位共勉,具體online與不加online區別以下:
1. DML操做對create index 的影響。 若是在create的時候,有其餘的進程在對這個index 所對應的數據進行DML操做,create會受影響:
-
SQL>
create table test (
id
number
,
name
varchar2(
20
));
-
-
而後從新開一個session:
-
SQL> insert
into test values (
1,
'lms');
-
-
-
-
-
-
SQL>
create
index t1
on test(id);
-
create
index t1
on test(id)
-
-
-
ORA-
00054: resource busy
and acquire
with NOWAIT specified
2. 加online這個參數,這個參數加上之後,除了create過程當中index 保持online狀態,Oracle還會在create index以前等待全部DML操做結束,而後獲得DDL鎖,開始create.
-
SQL> create
index t1
on test(
id) online;
-
-
-
-
-
-
-
-
若是不commit,上面的操做就會一直hold。
因此之後create索引和rebuild索引的時候最好加上online。
轉自:https://blog.csdn.net/Su_Xingyu/article/details/79900290
mysql 索引類型以及建立
關於MySQL索引的好處,若是正確合理設計而且使用索引的MySQL是一輛蘭博基尼的話,那麼沒有設計和使用索引的MySQL就是一我的力三輪車。對於沒有索引的表,單表查詢可能幾十萬數據就是瓶頸,而一般大型網站單日就可能會產生幾十萬甚至幾百萬的數據,沒有索引查詢會變的很是緩慢。仍是以WordPress來講,其多個數據表都會對常常被查詢的字段添加索引,好比wp_comments表中針對5個字段設計了BTREE索引。
MySQL索引的概念
索引是一種特殊的文件(InnoDB數據表上的索引是表空間的一個組成部分),它們包含着對數據表裏全部記錄的引用指針。更通俗的說,數據庫索引比如是一本書前面的目錄,能加快數據庫的查詢速度。上述SQL語句,在沒有索引的狀況下,數據庫會遍歷所有200條數據後選擇符合條件的;而有了相應的索引以後,數據庫會直接在索引中查找符合條件的選項。若是咱們把SQL語句換成「SELECT * FROM article WHERE id=2000000」,那麼你是但願數據庫按照順序讀取完200萬行數據之後給你結果仍是直接在索引中定位呢?(注:通常數據庫默認都會爲主鍵生成索引)。
索引分爲聚簇索引和非聚簇索引兩種,聚簇索引是按照數據存放的物理位置爲順序的,而非聚簇索引就不同了;聚簇索引能提升多行檢索的速度,而非聚簇索引對於單行的檢索很快。
MySQL索引的類型
1. 普通索引
ALTER TABLE article ADD INDEX index_article_title ON title(200);
這是最基本的索引,它沒有任何限制,好比爲title字段建立的索引就是一個普通索引,MyIASM中默認的BTREE類型的索引,也是咱們大多數狀況下用到的索引。
直接建立索引
CREATE INDEX index_name ON table(column(length))
修改表結構的方式添加索引
ALTER TABLE table_name ADD INDEX index_name ON (column(length))
建立表的時候同時建立索引
CREATE TABLE `table` (
`id` int(11) NOT NULL AUTO_INCREMENT ,
`title` char(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`time` int(10) NULL DEFAULT NULL ,
PRIMARY KEY (`id`),
INDEX index_name (title(length))
)
刪除索引
DROP INDEX index_name ON table
2. 惟一索引
與普通索引相似,不一樣的就是:索引列的值必須惟一,但容許有空值(注意和主鍵不一樣)。若是是組合索引,則列值的組合必須惟一,建立方法和普通索引相似。
#建立惟一索引
CREATE UNIQUE INDEX indexName ON TABLE(COLUMN(LENGTH))
#修改表結構
ALTER TABLE table_name ADD UNIQUE indexName ON (COLUMN(LENGTH))
#建立表的時候直接指定
CREATE TABLE `table` (
`id` INT(11) NOT NULL AUTO_INCREMENT ,
`title` CHAR(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`content` TEXT CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`time` INT(10) NULL DEFAULT NULL ,
PRIMARY KEY (`id`),
UNIQUE indexName (title(LENGTH))
)
3. 全文索引(FULLTEXT)
MySQL從3.23.23版開始支持全文索引和全文檢索,FULLTEXT索引僅可用於 MyISAM 表;他們能夠從CHAR、VARCHAR或TEXT列中做爲CREATE TABLE語句的一部分被建立,或是隨後使用ALTER TABLE 或CREATE INDEX被添加。////對於較大的數據集,將你的資料輸入一個沒有FULLTEXT索引的表中,而後建立索引,其速度比把資料輸入現有FULLTEXT索引的速度更爲快。不過切記對於大容量的數據表,生成全文索引是一個很是消耗時間很是消耗硬盤空間的作法。
建立表的適合添加全文索引
CREATE TABLE `table` (
`id` int(11) NOT NULL AUTO_INCREMENT ,
`title` char(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`time` int(10) NULL DEFAULT NULL ,
PRIMARY KEY (`id`),
FULLTEXT INDEX index_name (column)
)
修改表結構添加全文索引
ALTER TABLE article ADD FULLTEXT INDEX index_name (column)
直接建立索引
CREATE FULLTEXT INDEX index_name ON article(column)
4. 單列索引、多列索引
多個單列索引與單個多列索引的查詢效果不一樣,由於執行查詢時,MySQL只能使用一個索引,會從多個索引中選擇一個限制最爲嚴格的索引。
5. 組合索引(最左前綴)
平時用的SQL查詢語句通常都有比較多的限制條件,因此爲了進一步榨取MySQL的效率,就要考慮創建組合索引。例如上表中針對title和time創建一個組合索引:ALTER TABLE article ADD INDEX index_titme_time (title(50),time(10))。創建這樣的組合索引,實際上是至關於分別創建了下面兩組組合索引:(
title,time),
title,
爲何沒有time這樣的組合索引呢?這是由於MySQL組合索引「最左前綴」的結果。簡單的理解就是隻從最左面的開始組合。並非只要包含這兩列的查詢都會用到該組合索引,以下面的幾個SQL所示:
使用到上面的索引
SELECT * FROM article WHREE title='測試' AND time=1234567890;
SELECT * FROM article WHREE utitle='測試';
不使用上面的索引
SELECT * FROM article WHREE time=1234567890;
MySQL索引的優化
上面都在說使用索引的好處,但過多的使用索引將會形成濫用。所以索引也會有它的缺點:雖然索引大大提升了查詢速度,同時卻會下降更新表的速度,如對錶進行INSERT、UPDATE和DELETE。由於更新表時,MySQL不只要保存數據,還要保存一下索引文件。創建索引會佔用磁盤空間的索引文件。通常狀況這個問題不太嚴重,但若是你在一個大表上建立了多種組合索引,索引文件的會膨脹很快。索引只是提升效率的一個因素,若是你的MySQL有大數據量的表,就須要花時間研究創建最優秀的索引,或優化查詢語句。下面是一些總結以及收藏的MySQL索引的注意事項和優化方法。
什麼時候使用匯集索引或非彙集索引?
動做描述 |
使用匯集索引 |
使用非彙集索引 |
列常常被分組排序 |
使用 |
使用 |
返回某範圍內的數據 |
使用 |
不使用 |
一個或極少不一樣值 |
不使用 |
不使用 |
小數目的不一樣值 |
使用 |
不使用 |
大數目的不一樣值 |
不使用 |
使用 |
頻繁更新的列 |
不使用 |
使用 |
外鍵列 |
使用 |
使用 |
主鍵列 |
使用 |
使用 |
頻繁修改索引列 |
不使用 |
使用 |
事實上,咱們能夠經過前面彙集索引和非彙集索引的定義的例子來理解上表。如:返回某範圍內的數據一項。好比您的某個表有一個時間列,剛好您把聚合索引創建在了該列,這時您查詢2004年1月1日至2004年10月1日之間的所有數據時,這個速度就將是很快的,由於您的這本字典正文是按日期進行排序的,聚類索引只須要找到要檢索的全部數據中的開頭和結尾數據便可;而不像非彙集索引,必須先查到目錄中查到每一項數據對應的頁碼,而後再根據頁碼查到具體內容。
轉自:http://feiyan.info/16.html