SQL Server 2008索引使用技巧

微軟MVP及暢銷書《Hitchhiker's Guide SQL Server》的做者Bill Vaughn簡要給出了SQL Server 2008的索引使用技巧。該主題基於Kimberly Tripp和Paul Randall（這兩位是SQL Server高可用性和性能方面的專家）的建議。

下面是主要的建議：

·頁（page）密度

優化行大小：SQL Server 2005（及後續版本）支持8k的列。這意味着一行能夠超過80k大小。這有意義麼？哦，一般狀況下沒有。對行大小的管理與效率一樣重要。如何提升性能並充分利用空間呢？方法就是當8k的頁被多個行塞滿的時候，要確保幾乎沒有空間浪費。這意味着若是行大小超過（或者接近）4k時，一頁只適合一行，這樣該頁大約有4k的空間就浪費了。第二個問題是索引頁的數量也必須增長以尋址這些頁。

·過濾的索引

這是SQL Server 2008的新特性，它使咱們能夠向索引增長WHERE子句，這樣就能夠將索引聚焦到大多數重要的行上。

·選擇性（Selectivity）

選擇性：當查詢優化器（query optimizer，即QO）讀取SQL時，選擇性的程度決定了索引是否應該用來執行該操做。經過對索引的Statistics（或者「stats」，一個索引能夠擁有一個或者多個stats）進行處理分析，QO能夠做出決定。基本上，它會權衡使用索引來遍歷選擇的行或者對錶進行掃描這兩種方式。Kimberly採用的例子使這一切變得很明朗，但咱們卻感到驚訝：「當行數（由查詢選擇的）大約是表中的數據頁的1/4時，索引並無起到什麼做用，這時對錶進行掃描來獲取選擇的行效率更高。這一般發生在取出的行數不到表中總行數的5%的狀況下..。」

SQL Server 2005中關於索引統計、列選擇、索引碎片及鎖的標準實踐依然可用。

Tripp和Randal也認爲DTA， a.k.a. Data Engine Tuning Advisor是個有價值的工具。SQL Server 2008已經更新了DTA以提供新的特性，包括改進的工做量解析、加強的可伸縮性、多數據庫調校、經過dta命令行界面的改進腳本支持。

　　(一)深刻淺出理解索引結構

　　實際上，您能夠把索引理解爲一種特殊的目錄。微軟的SQL SERVER提供了兩種索引：彙集索引(clustered index，也稱聚類索引、簇集索引)和非彙集索引(nonclustered index，也稱非聚類索引、非簇集索引)。下面，咱們舉例來講明一下彙集索引和非彙集索引的區別：

　　其實，咱們的漢語字典的正文自己就是一個彙集索引。好比，咱們要查「安」字，就會很天然地翻開字典的前幾頁，由於「安」的拼音是「an」，而按照拼音排序漢字的字典是以英文字母「a」開頭並以「z」結尾的，那麼「安」字就天然地排在字典的前部。若是您翻完了全部以「a」開頭的部分仍然找不到這個字，那麼就說明您的字典中沒有這個字;一樣的，若是查「張」字，那您也會將您的字典翻到最後部分，由於「張」的拼音是「zhang」。也就是說，字典的正文部分自己就是一個目錄，您不須要再去查其餘目錄來找到您須要找的內容。

　　咱們把這種正文內容自己就是一種按照必定規則排列的目錄稱爲「彙集索引」。

　　若是您認識某個字，您能夠快速地從自典中查到這個字。但您也可能會遇到您不認識的字，不知道它的發音，這時候，您就不能按照剛纔的方法找到您要查的字，而須要去根據「偏旁部首」查到您要找的字，而後根據這個字後的頁碼直接翻到某頁來找到您要找的字。但您結合「部首目錄」和「檢字表」而查到的字的排序並非真正的正文的排序方法，好比您查「張」字，咱們能夠看到在查部首以後的檢字表中「張」的頁碼是672頁，檢字表中「張」的上面是「馳」字，但頁碼倒是63頁，「張」的下面是「弩」字，頁面是390頁。很顯然，這些字並非真正的分別位於「張」字的上下方，如今您看到的連續的「馳、張、弩」三字實際上就是他們在非彙集索引中的排序，是字典正文中的字在非彙集索引中的映射。咱們能夠經過這種方式來找到您所須要的字，但它須要兩個過程，先找到目錄中的結果，而後再翻到您所須要的頁碼。

　　咱們把這種目錄純粹是目錄，正文純粹是正文的排序方式稱爲「非彙集索引」。

　　經過以上例子，咱們能夠理解到什麼是「彙集索引」和「非彙集索引」。

　　進一步引伸一下，咱們能夠很容易的理解：每一個表只能有一個彙集索引，由於目錄只能按照一種方法進行排序。

　　(二)什麼時候使用匯集索引或非彙集索引

　　下面的表總結了什麼時候使用匯集索引或非彙集索引(很重要)。

動做描述 使用匯集索引 使用非彙集索引

外鍵列 應 應

主鍵列 應 應

列常常被分組排序(order by) 應 應

返回某範圍內的數據 應 不該

小數目的不一樣值 應 不該

大數目的不一樣值 不該 應

頻繁更新的列 不該 應

頻繁修改索引列 不該 應

一個或極少不一樣值 不該 不該

　　事實上，咱們能夠經過前面彙集索引和非彙集索引的定義的例子來理解上表。如：返回某範圍內的數據一項。好比您的某個表有一個時間列，剛好您把聚合索引創建在了該列，這時您查詢2004年1月1日至2004年10月1日之間的所有數據時，這個速度就將是很快的，由於您的這本字典正文是按日期進行排序的，聚類索引只須要找到要檢索的全部數據中的開頭和結尾數據便可;而不像非彙集索引，必須先查到目錄中查到每一項數據對應的頁碼，而後再根據頁碼查到具體內容。

　　(三)結合實際，談索引使用的誤區

　　理論的目的是應用。雖然咱們剛纔列出了什麼時候應使用匯集索引或非彙集索引，但在實踐中以上規則卻很容易被忽視或不能根據實際狀況進行綜合分析。下面咱們將根據在實踐中遇到的實際問題來談一下索引使用的誤區，以便於你們掌握索引創建的方法。

　　一、主鍵就是彙集索引

　　這種想法筆者認爲是極端錯誤的，是對彙集索引的一種浪費。雖然SQL SERVER默認是在主鍵上創建彙集索引的。

　　一般，咱們會在每一個表中都創建一個ID列，以區分每條數據，而且這個ID列是自動增大的，步長通常爲1。咱們的這個辦公自動化的實例中的列Gid就是如此。此時，若是咱們將這個列設爲主鍵，SQL SERVER會將此列默認爲彙集索引。這樣作有好處，就是可讓您的數據在數據庫中按照ID進行物理排序，但筆者認爲這樣作意義不大。

　　顯而易見，彙集索引的優點是很明顯的，而每一個表中只能有一個彙集索引的規則，這使得彙集索引變得更加珍貴。

　　從咱們前面談到的彙集索引的定義咱們能夠看出，使用匯集索引的最大好處就是可以根據查詢要求，迅速縮小查詢範圍，避免全表掃描。在實際應用中，由於ID號是自動生成的，咱們並不知道每條記錄的ID號，因此咱們很難在實踐中用ID號來進行查詢。這就使讓ID號這個主鍵做爲彙集索引成爲一種資源浪費。其次，讓每一個ID號都不一樣的字段做爲彙集索引也不符合「大數目的不一樣值狀況下不該創建聚合索引」規則;固然，這種狀況只是針對用戶常常修改記錄內容，特別是索引項的時候會負做用，但對於查詢速度並無影響。

　　在辦公自動化系統中，不管是系統首頁顯示的須要用戶簽收的文件、會議仍是用戶進行文件查詢等任何狀況下進行數據查詢都離不開字段的是「日期」還有用戶自己的「用戶名」。

　　一般，辦公自動化的首頁會顯示每一個用戶還沒有簽收的文件或會議。雖然咱們的where語句能夠僅僅限制當前用戶還沒有簽收的狀況，但若是您的系統已創建了很長時間，而且數據量很大，那麼，每次每一個用戶打開首頁的時候都進行一次全表掃描，這樣作意義是不大的，絕大多數的用戶1個月前的文件都已經瀏覽過了，這樣作只能徒增數據庫的開銷而已。事實上，咱們徹底可讓用戶打開系統首頁時，數據庫僅僅查詢這個用戶近3個月來未閱覽的文件，經過「日期」這個字段來限制表掃描，提升查詢速度。若是您的辦公自動化系統已經創建的2年，那麼您的首頁顯示速度理論上將是原來速度8倍，甚至更快。

　　在這裏之因此提到「理論上」三字，是由於若是您的彙集索引仍是盲目地建在ID這個主鍵上時，您的查詢速度是沒有這麼高的，即便您在「日期」這個字段上創建的索引(非聚合索引)。下面咱們就來看一下在1000萬條數據量的狀況下各類查詢的速度表現(3個月內的數據爲25萬條)：

　　(1)僅在主鍵上創建彙集索引，而且不劃分時間段：

　　Select gid,fariqi,neibuyonghu,title from tgongwen

　　用時：128470毫秒(即：128秒)

　　(2)在主鍵上創建彙集索引，在fariq上創建非彙集索引：

　　select gid,fariqi,neibuyonghu,title from Tgongwen

　　where fariqi> dateadd(day,-90,getdate())

　　用時：53763毫秒(54秒)

　　(3)將聚合索引創建在日期列(fariqi)上：

　　select gid,fariqi,neibuyonghu,title from Tgongwen

　　where fariqi> dateadd(day,-90,getdate())

　　用時：2423毫秒(2秒)

　　雖然每條語句提取出來的都是25萬條數據，各類狀況的差別倒是巨大的，特別是將彙集索引創建在日期列時的差別。事實上，若是您的數據庫真的有1000萬容量的話，把主鍵創建在ID列上，就像以上的第一、2種狀況，在網頁上的表現就是超時，根本就沒法顯示。這也是我摒棄ID列做爲彙集索引的一個最重要的因素。

　　得出以上速度的方法是：在各個select語句前加：

　　declare @d datetime

　　set @d=getdate()

　　並在select語句後加：

　　select [語句執行花費時間(毫秒)]=datediff(ms,@d ,getdate())

　　二、只要創建索引就能顯著提升查詢速度

　　事實上，咱們能夠發現上面的例子中，第二、3條語句徹底相同，且創建索引的字段也相同;不一樣的僅是前者在fariqi字段上創建的是非聚合索引，後者在此字段上創建的是聚合索引，但查詢速度卻有着天壤之別。因此，並不是是在任何字段上簡單地創建索引就能提升查詢速度。

　　從建表的語句中，咱們能夠看到這個有着1000萬數據的表中fariqi字段有5003個不一樣記錄。在此字段上創建聚合索引是再合適不過了。在現實中，咱們天天都會發幾個文件，這幾個文件的發文日期就相同，這徹底符合創建彙集索引要求的：「既不能絕大多數都相同，又不能只有極少數相同」的規則。由此看來，咱們創建「適當」的聚合索引對於咱們提升查詢速度是很是重要的。

　　三、把全部須要提升查詢速度的字段都加進彙集索引，以提升查詢速度

　　上面已經談到：在進行數據查詢時都離不開字段的是「日期」還有用戶自己的「用戶名」。既然這兩個字段都是如此的重要，咱們能夠把他們合併起來，創建一個複合索引(compound index)。

　　不少人認爲只要把任何字段加進彙集索引，就能提升查詢速度，也有人感到迷惑：若是把複合的彙集索引字段分開查詢，那麼查詢速度會減慢嗎?帶着這個問題，咱們來看一下如下的查詢速度(結果集都是25萬條數據)：(日期列fariqi首先排在複合彙集索引的起始列，用戶名neibuyonghu排在後列)

　　(1)select gid,fariqi,neibuyonghu,title from Tgongwen

　　where fariqi>'2004-5-5'

　　查詢速度：2513毫秒

　　(2)select gid,fariqi,neibuyonghu,title from Tgongwen

　　where fariqi>'2004-5-5' and neibuyonghu='辦公室'

　　查詢速度：2516毫秒

　　(3)select gid,fariqi,neibuyonghu,title from Tgongwen

　　where neibuyonghu='辦公室'

　　查詢速度：60280毫秒

　　從以上試驗中，咱們能夠看到若是僅用匯集索引的起始列做爲查詢條件和同時用到複合彙集索引的所有列的查詢速度是幾乎同樣的，甚至比用上所有的複合索引列還要略快(在查詢結果集數目同樣的狀況下);而若是僅用複合彙集索引的非起始列做爲查詢條件的話，這個索引是不起任何做用的。固然，語句一、2的查詢速度同樣是由於查詢的條目數同樣，若是複合索引的全部列都用上，並且查詢結果少的話，這樣就會造成「索引覆蓋」，於是性能能夠達到最優。同時，請記住：不管您是否常用聚合索引的其餘列，但其前導列必定要是使用最頻繁的列。

　　(四)其餘書上沒有的索引使用經驗總結

　　一、用聚合索引比用不是聚合索引的主鍵速度快

　　下面是實例語句：(都是提取25萬條數據)

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi='2004-9-16'

　　使用時間：3326毫秒

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000

　　使用時間：4470毫秒

　　這裏，用聚合索引比用不是聚合索引的主鍵速度快了近1/4。

　　二、用聚合索引比用通常的主鍵做order by時速度快，特別是在小數據量狀況下

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi

　　用時：12936

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid

　　用時：18843

　　這裏，用聚合索引比用通常的主鍵做order by時，速度快了3/10。事實上，若是數據量很小的話，用匯集索引做爲排序列要比使用非彙集索引速度快得明顯的多;而數據量若是很大的話，如10萬以上，則兩者的速度差異不明顯。

　　三、使用聚合索引內的時間段，搜索時間會按數據佔整個數據表的百分比成比例減小，而不管聚合索引使用了多少個

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi>'2004-1-1'

　　用時：6343毫秒(提取100萬條)

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi>'2004-6-6'

　　用時：3170毫秒(提取50萬條)

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi='2004-9-16'

　　用時：3326毫秒(和上句的結果如出一轍。若是採集的數量同樣，那麼用大於號和等於號是同樣的)

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi>'2004-1-1' and fariqi<'2004-6-6'

　　用時：3280毫秒

　　4 、日期列不會由於有分秒的輸入而減慢查詢速度

　　下面的例子中，共有100萬條數據，2004年1月1日之後的數據有50萬條，但只有兩個不一樣的日期，日期精確到日;以前有數據50萬條，有5000個不一樣的日期，日期精確到秒。

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi>'2004-1-1' order by fariqi

　　用時：6390毫秒

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi<'2004-1-1' order by fariqi

　　用時：6453毫秒

　　(五)其餘注意事項

　　「水可載舟，亦可覆舟」，索引也同樣。索引有助於提升檢索性能，但過多或不當的索引也會致使系統低效。過多的索引甚至會致使索引碎片。

　　索引是從數據庫中獲取數據的最高效方式之一。95%的數據庫性能問題均可以採用索引技術獲得解決。

　　1. 不要索引經常使用的小型表

　　不要爲小型數據表設置任何鍵，假如它們常常有插入和刪除操做就更別這樣做了。對這些插入和刪除操做的索引維護可能比掃描表空間消耗更多的時間。

　　2. 不要把社會保障號碼(SSN)或身份證號碼(ID)選做鍵

　　永遠都不要使用 SSN 或 ID 做爲數據庫的鍵。除了隱私緣由之外，SSN 或 ID 須要手工輸入。永遠不要使用手工輸入的鍵做爲主鍵，由於一旦你輸入錯誤，你惟一能作的就是刪除整個記錄而後從頭開始。

　　3. 不要用用戶的鍵

　　在肯定採用什麼字段做爲表的鍵的時候，可必定要當心用戶將要編輯的字段。一般的狀況下不要選擇用戶可編輯的字段做爲鍵。這樣作會迫使你採起如下兩個措施：

　　4. 不要索引 memo/notes 字段和不要索引大型文本字段(許多字符)

　　這樣作會讓你的索引佔據大量的數據庫空間

　　5. 使用系統生成的主鍵

　　假如你老是在設計數據庫的時候採用系統生成的鍵做爲主鍵，那麼你實際控制了數據庫的索引完整性。這樣，數據庫和非人工機制就有效地控制了對存儲數據中每一行的訪問。

　　採用系統生成鍵做爲主鍵還有一個優勢：當你擁有一致的鍵結構時，找到邏輯缺陷很容易。

　　2、改善SQL語句

　　不少人不知道SQL語句在SQL SERVER中是如何執行的，他們擔憂本身所寫的SQL語句會被SQL SERVER誤解。好比：

　　select * from table1 where name='zhangsan' and tID > 10000

　　和執行:

　　select * from table1 where tID > 10000 and name='zhangsan'

　　一些人不知道以上兩條語句的執行效率是否同樣，由於若是簡單的從語句前後上看，這兩個語句的確是不同，若是tID是一個聚合索引，那麼後一句僅僅從表的10000條之後的記錄中查找就好了;而前一句則要先從全表中查找看有幾個name='zhangsan'的，然後再根據限制條件條件tID>10000來提出查詢結果。

　　事實上，這樣的擔憂是沒必要要的。SQL SERVER中有一個「查詢分析優化器」，它能夠計算出where子句中的搜索條件並肯定哪一個索引能縮小表掃描的搜索空間，也就是說，它能實現自動優化。

　　雖然查詢優化器能夠根據where子句自動的進行查詢優化，但你們仍然有必要了解一下「查詢優化器」的工做原理，如非這樣，有時查詢優化器就會不按照您的本意進行快速查詢。

　　在查詢分析階段，查詢優化器查看查詢的每一個階段並決定限制須要掃描的數據量是否有用。若是一個階段能夠被用做一個掃描參數(SARG)，那麼就稱之爲可優化的，而且能夠利用索引快速得到所需數據。

　　SARG的定義：用於限制搜索的一個操做，由於它一般是指一個特定的匹配，一個值得範圍內的匹配或者兩個以上條件的AND鏈接。形式以下：

　　列名 操做符 <常數 或 變量>

　　或

　　<常數 或 變量> 操做符列名

　　列名能夠出如今操做符的一邊，而常數或變量出如今操做符的另外一邊。如：

　　Name=’張三’

　　價格>5000

　　5000<價格

　　Name=’張三’ and 價格>5000

　　若是一個表達式不能知足SARG的形式，那它就沒法限制搜索的範圍了，也就是SQL SERVER必須對每一行都判斷它是否知足WHERE子句中的全部條件。因此一個索引對於不知足SARG形式的表達式來講是無用的。

　　介紹完SARG後，咱們來總結一下使用SARG以及在實踐中遇到的和某些資料上結論不一樣的經驗：

　　一、Like語句是否屬於SARG取決於所使用的通配符的類型

　　如：name like ‘張%’ ，這就屬於SARG

　　而：name like ‘%張’ ,就不屬於SARG。

　　緣由是通配符%在字符串的開通使得索引沒法使用。

　　二、or 會引發全表掃描

　　如：Name=’張三’ and 價格>5000 符號SARG，

　　而：Name=’張三’ or 價格>5000 則不符合SARG。

　　使用or會引發全表掃描。

　　三、非操做符、函數引發的不知足SARG形式的語句

　　不知足SARG形式的語句最典型的狀況就是包括非操做符的語句，如：NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE等，另外還有函數。下面就是幾個不知足SARG形式的例子：

　　ABS(價格)<5000

　　Name like ‘%三’

　　有些表達式，如：

　　WHERE 價格*2>5000

　　SQL SERVER也會認爲是SARG，SQL SERVER會將此式轉化爲：

　　WHERE 價格>2500/2

　　但咱們不推薦這樣使用，由於有時SQL SERVER不能保證這種轉化與原始表達式是徹底等價的。

　　四、IN 的做用至關與OR

　　語句：

　　Select * from table1 where tid in (2,3)

　　和

　　Select * from table1 where tid=2 or tid=3

　　是同樣的，都會引發全表掃描，若是tid上有索引，其索引也會失效。

　　五、儘可能少用NOT

　　六、exists 和 in 的執行效率是同樣的

　　不少資料上都顯示說，exists要比in的執行效率要高，同時應儘量的用not exists來代替not in。但事實上，我試驗了一下，發現兩者不管是前面帶不帶not，兩者之間的執行效率都是同樣的。由於涉及子查詢，咱們試驗此次用SQL SERVER自帶的pubs數據庫。運行前咱們能夠把SQL SERVER的statistics I/O狀態打開。

　　(1)select title,price from titles where title_id in

　　(select title_id from sales where qty>30)

　　該句的執行結果爲：

　　表 'sales'。掃描計數 18，邏輯讀 56 次，物理讀 0 次，預讀 0 次。

　　表 'titles'。掃描計數 1，邏輯讀 2 次，物理讀 0 次，預讀 0 次。

　　(2)select title,price from titles where exists

　　(select * from sales where sales.title_id=titles.title_id and qty>30)

　　第二句的執行結果爲：

　　表 'sales'。掃描計數 18，邏輯讀 56 次，物理讀 0 次，預讀 0 次。

　　表 'titles'。掃描計數 1，邏輯讀 2 次，物理讀 0 次，預讀 0 次。

　　咱們今後能夠看到用exists和用in的執行效率是同樣的。

　　七、用函數charindex()和前面加通配符%的LIKE執行效率同樣

　　前面，咱們談到，若是在LIKE前面加上通配符%，那麼將會引發全表掃描，因此其執行效率是低下的。但有的資料介紹說，用函數charindex()來代替LIKE速度會有大的提高，經我試驗，發現這種說明也是錯誤的：

　　select gid,title,fariqi,reader from tgongwen

　　where charindex('刑偵支隊',reader)>0 and fariqi>'2004-5-5'

　　用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，物理讀 0 次，預讀 0 次。

　　select gid,title,fariqi,reader from tgongwen

　　where reader like '%' + '刑偵支隊' + '%' and fariqi>'2004-5-5'

　　用時：7秒，另外：掃描計數 4，邏輯讀 7155 次，物理讀 0 次，預讀 0 次。

　　八、union並不絕對比or的執行效率高

　　咱們前面已經談到了在where子句中使用or會引發全表掃描，通常的，我所見過的資料都是推薦這裏用union來代替or。事實證實，這種說法對於大部分都是適用的。

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi='2004-9-16' or gid>9990000

　　用時：68秒。掃描計數 1，邏輯讀 404008 次，物理讀 283 次，預讀 392163 次。

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi='2004-9-16'

　　union

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid>9990000

　　用時：9秒。掃描計數 8，邏輯讀 67489 次，物理讀 216 次，預讀 7499 次。

　　看來，用union在一般狀況下比用or的效率要高的多。

　　但通過試驗，筆者發現若是or兩邊的查詢列是同樣的話，那麼用union則反倒和用or的執行速度差不少，雖然這裏union掃描的是索引，而or掃描的是全表。

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi='2004-9-16' or fariqi='2004-2-5'

　　用時：6423毫秒。掃描計數 2，邏輯讀 14726 次，物理讀 1 次，預讀 7176 次。

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi='2004-9-16'

　　union

　　select gid,fariqi,neibuyonghu,reader,title from Tgongwen

　　where fariqi='2004-2-5'

　　用時：11640毫秒。掃描計數 8，邏輯讀 14806 次，物理讀 108 次，預讀 1144 次。

　　九、字段提取要按照「需多少、提多少」的原則，避免「select *」

　　咱們來作一個試驗：

　　select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc

　　用時：4673毫秒

　　select top 10000 gid,fariqi,title from tgongwen order by gid desc

　　用時：1376毫秒

　　select top 10000 gid,fariqi from tgongwen order by gid desc

　　用時：80毫秒

　　由此看來，咱們每少提取一個字段，數據的提取速度就會有相應的提高。提高的速度還要看您捨棄的字段的大小來判斷。

　　十、count(*)不比count(字段)慢

　　某些資料上說：用*會統計全部列，顯然要比一個世界的列名效率低。這種說法實際上是沒有根據的。咱們來看：

　　select count(*) from Tgongwen

　　用時：1500毫秒

　　select count(gid) from Tgongwen

　　用時：1483毫秒

　　select count(fariqi) from Tgongwen

　　用時：3140毫秒

　　select count(title) from Tgongwen

　　用時：52050毫秒

　　從以上能夠看出，若是用count(*)和用count(主鍵)的速度是至關的，而count(*)卻比其餘任何除主鍵之外的字段彙總速度要快，並且字段越長，彙總的速度就越慢。我想，若是用count(*)， SQL SERVER可能會自動查找最小字段來彙總的。固然，若是您直接寫count(主鍵)將會來的更直接些。

　　十一、order by按彙集索引列排序效率最高

　　咱們來看：(gid是主鍵，fariqi是聚合索引列)

　　select top 10000 gid,fariqi,reader,title from tgongwen

　　用時：196 毫秒。 掃描計數 1，邏輯讀 289 次，物理讀 1 次，預讀 1527 次。

　　select top 10000 gid,fariqi,reader,title from tgongwen order by gid asc

　　用時：4720毫秒。 掃描計數 1，邏輯讀 41956 次，物理讀 0 次，預讀 1287 次。

　　select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc

　　用時：4736毫秒。 掃描計數 1，邏輯讀 55350 次，物理讀 10 次，預讀 775 次。

　　select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi asc

　　用時：173毫秒。 掃描計數 1，邏輯讀 290 次，物理讀 0 次，預讀 0 次。

　　select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi desc

　　用時：156毫秒。 掃描計數 1，邏輯讀 289 次，物理讀 0 次，預讀 0 次。

　　從以上咱們能夠看出，不排序的速度以及邏輯讀次數都是和「order by 彙集索引列」 的速度是至關的，但這些都比「order by 非彙集索引列」的查詢速度是快得多的。

　　同時，按照某個字段進行排序的時候，不管是正序仍是倒序，速度是基本至關的。

　　十二、高效的TOP

　　事實上，在查詢和提取超大容量的數據集時，影響數據庫響應時間的最大因素不是數據查找，而是物理的I/0操做。如：

　　select top 10 * from (

　　select top 10000 gid,fariqi,title from tgongwen

　　where neibuyonghu='辦公室'order by gid desc) as a

　　order by gid asc

　　這條語句，從理論上講，整條語句的執行時間應該比子句的執行時間長，但事實相反。由於，子句執行後返回的是10000條記錄，而整條語句僅返回10條語句，因此影響數據庫響應時間最大的因素是物理I/O操做。而限制物理I/O操做此處的最有效方法之一就是使用TOP關鍵詞了。TOP關鍵詞是SQL SERVER中通過系統優化過的一個用來提取前幾條或前幾個百分比數據的詞。經筆者在實踐中的應用，發現TOP確實很好用，效率也很高。但這個詞在另一個大型數據庫ORACLE中卻沒有，這不能說不是一個遺憾，雖然在ORACLE中能夠用其餘方法(如：rownumber)來解決。在之後的關於「實現千萬級數據的分頁顯示存儲過程」的討論中，咱們就將用到TOP這個關鍵詞。

　　到此爲止，咱們上面討論瞭如何實現從大容量的數據庫中快速地查詢出您所須要的數據方法。固然，咱們介紹的這些方法都是「軟」方法，在實踐中，咱們還要考慮各類「硬」因素，如：網絡性能、服務器的性能、操做系統的性能，甚至網卡、交換機等。

　　3、實現小數據量和海量數據的通用分頁顯示存儲過程

　　創建一個web 應用，分頁瀏覽功能必不可少。這個問題是數據庫處理中十分常見的問題。經典的數據分頁方法是:ADO 紀錄集分頁法，也就是利用ADO自帶的分頁功能(利用遊標)來實現分頁。但這種分頁方法僅適用於較小數據量的情形，由於遊標自己有缺點：遊標是存放在內存中，很費內存。遊標一創建，就將相關的記錄鎖住，直到取消遊標。遊標提供了對特定集合中逐行掃描的手段，通常使用遊標來逐行遍歷數據，根據取出數據條件的不一樣進行不一樣的操做。而對於多表和大表中定義的遊標(大的數據集合)循環很容易使程序進入一個漫長的等待甚至死機。

　　更重要的是，對於很是大的數據模型而言，分頁檢索時，若是按照傳統的每次都加載整個數據源的方法是很是浪費資源的。如今流行的分頁方法通常是檢索頁面大小的塊區的數據，而非檢索全部的數據，而後單步執行當前行。

　　最先較好地實現這種根據頁面大小和頁碼來提取數據的方法大概就是「俄羅斯存儲過程」。這個存儲過程用了遊標，因爲遊標的侷限性，因此這個方法並無獲得你們的廣泛承認。

　　後來，網上有人改造了此存儲過程，下面的存儲過程就是結合咱們的辦公自動化實例寫的分頁存儲過程：　　

CREATE procedure pagination1

　　(@pagesize int, --頁面大小，如每頁存儲20條記錄

　　@pageindex int --當前頁碼

　　)

　　as

　　set nocount on //不返回計數，不返回任何結果集

　　begin

　　declare @indextable table(id int identity(1,1),nid int) --定義表變量

　　declare @PageLowerBound int --定義此頁的底碼

　　declare @PageUpperBound int --定義此頁的頂碼

　　set @PageLowerBound=(@pageindex-1)*@pagesize

　　set @PageUpperBound=@PageLowerBound+@pagesize

　　set rowcount @PageUpperBound

　　insert into @indextable(nid) select gid from TGongwen where fariqi > dateadd(day,-365,getdate()) order by fariqi desc

　　select O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O, @indextable t where O.gid=t.nid

　　and t.id>@PageLowerBound and t.id<=@PageUpperBound order by t.id

　　end

　　set nocount off //返回計數，返回任何結果集

　　以上存儲過程運用了SQL SERVER的最新技術――表變量。應該說這個存儲過程也是一個很是優秀的分頁存儲過程。固然，在這個過程當中，您也能夠把其中的表變量寫成臨時表：CREATE TABLE #Temp。但很明顯，在SQL SERVER中，用臨時表是沒有用表變量快的。因此筆者剛開始使用這個存儲過程時，感受很是的不錯，速度也比原來的ADO的好。但後來，我又發現了比此方法更好的方法。

　　筆者曾在網上看到了一篇小短文《從數據表中取出第n條到第m條的記錄的方法》，全文以下：

　　從publish 表中取出第 n 條到第 m 條的記錄：

SELECT TOP m-n+1 *

　　FROM publish

　　WHERE (id NOT IN (SELECT TOP n-1 id FROM publish))

　　id 爲publish 表的關鍵字

　　我當時看到這篇文章的時候，真的是精神爲之一振，以爲思路很是得好。等到後來，我在做辦公自動化系統(ASP.NET+ C#+SQL SERVER)的時候，突然想起了這篇文章，我想若是把這個語句改造一下，這就多是一個很是好的分頁存儲過程。因而我就滿網上找這篇文章，沒想到，文章還沒找到，卻找到了一篇根據此語句寫的一個分頁存儲過程，這個存儲過程也是目前較爲流行的一種分頁存儲過程，我很後悔沒有爭先把這段文字改形成存儲過程：　　

CREATE PROCEDURE pagination2

　　(

　　@SQL nVARCHAR(4000), --不帶排序語句的SQL語句

　　@Page int, --頁碼

　　@RecsPerPage int, --每頁容納的記錄數

　　@ID VARCHAR(255), --須要排序的不重複的ID號

　　@Sort VARCHAR(255) --排序字段及規則

　　)

　　AS

　　DECLARE @Str nVARCHAR(4000)

　　SET @Str='SELECT TOP '+CAST(@RecsPerPage AS VARCHAR(20))+' * FROM ('+@SQL+') T WHERET.'+@ID+'NOT IN

　　(SELECT TOP '+CAST((@RecsPerPage*(@Page-1)) AS VARCHAR(20))+' '+@ID+' FROM ('+@SQL+') T9 ORDER BY '+@Sort+') ORDER BY '+@Sort

　　PRINT @Str

　　EXEC sp_ExecuteSql @Str

　　GO

　　其實，以上語句能夠簡化爲：　

SELECT TOP 頁大小 *

　　FROM Table1

　　WHERE (ID NOT IN

　　(SELECT TOP 頁大小*頁數 id

　　FROM 表

　　ORDER BY id))

　　ORDER BY ID

　　

　但這個存儲過程有一個致命的缺點，就是它含有NOT IN字樣。雖然我能夠把它改造爲：　　

SELECT TOP 頁大小 *

　　FROM Table1

　　WHERE not exists

　　(select * from (select top (頁大小*頁數) * from table1 order by id) b

　　where b.id=a.id )

　　order by id

　　即，用not exists來代替not in，但咱們前面已經談過了，兩者的執行效率其實是沒有區別的。

　　既便如此，用TOP 結合NOT IN的這個方法仍是比用遊標要來得快一些。

　　雖然用not exists並不能挽救上個存儲過程的效率，但使用SQL SERVER中的TOP關鍵字倒是一個很是明智的選擇。由於分頁優化的最終目的就是避免產生過大的記錄集，而咱們在前面也已經提到了TOP的優點，經過TOP 便可實現對數據量的控制。

　　在分頁算法中，影響咱們查詢速度的關鍵因素有兩點：TOP和NOT IN。TOP能夠提升咱們的查詢速度，而NOT IN會減慢咱們的查詢速度，因此要提升咱們整個分頁算法的速度，就要完全改造NOT IN，同其餘方法來替代它。

　　咱們知道，幾乎任何字段，咱們均可以經過max(字段)或min(字段)來提取某個字段中的最大或最小值，因此若是這個字段不重複，那麼就能夠利用這些不重複的字段的max或min做爲分水嶺，使其成爲分頁算法中分開每頁的參照物。在這裏，咱們能夠用操做符「>」或「<」號來完成這個使命，使查詢語句符合SARG形式。如：

　　Select top 10 * from table1 where id>200

　　因而就有了以下分頁方案：

select top 頁大小 *

　　from table1

　　where id>

　　(select max (id) from

　　(select top ((頁碼-1)*頁大小) id from table1 order by id) as T

　　)

　　order by id

　　

　　在選擇即不重複值，又容易分辨大小的列時，咱們一般會選擇主鍵。下表列出了筆者用有着1000萬數據的辦公自動化系統中的表，在以GID(GID是主鍵，但並非彙集索引。)爲排序列、提取gid,fariqi,title字段，分別以第一、十、100、500、1000、1萬、10萬、25萬、50萬頁爲例，測試以上三種分頁方案的執行速度：(單位：毫秒)　

頁 碼 方案1 方案2 方案3

1 60 30 76

10 46 16 63

100 1076 720 130

500 540 12943 83

1000 17110 470 250

1萬 24796 4500 140

10萬 38326 42283 1553

25萬 28140 128720 2330

50萬 121686 127846 7168

　　從上表中，咱們能夠看出，三種存儲過程在執行100頁如下的分頁命令時，都是能夠信任的，速度都很好。但第一種方案在執行分頁1000頁以上後，速度就降了下來。第二種方案大約是在執行分頁1萬頁以上後速度開始降了下來。而第三種方案卻始終沒有大的降勢，後勁仍然很足。

　　在肯定了第三種分頁方案後，咱們能夠據此寫一個存儲過程。你們知道SQL SERVER的存儲過程是事先編譯好的SQL語句，它的執行效率要比經過WEB頁面傳來的SQL語句的執行效率要高。下面的存儲過程不只含有分頁方案，還會根據頁面傳來的參數來肯定是否進行數據總數統計。

　　-- 獲取指定頁的數據　　

CREATE PROCEDURE pagination3

　　@tblName varchar(255), -- 表名

　　@strGetFields varchar(1000) = '*', -- 須要返回的列

　　@fldName varchar(255)='', -- 排序的字段名

　　@PageSize int = 10, -- 頁尺寸(每頁記錄數)

　　@PageIndex int = 1, -- 頁碼

　　@doCount bit = 0, -- 返回記錄總數, 非0值則返回記錄數

　　@OrderType bit = 0, -- 設置排序類型, 非0值則降序

　　@strWhere varchar(1500) = '' -- 查詢條件 (注意: 不要加 where)

　　AS

　　declare @strSQL varchar(5000) -- 主語句

　　declare @strTmp varchar(110) -- 臨時變量

　　declare @strOrder varchar(400) -- 排序類型

　　if @doCount != 0

　　begin

　　if @strWhere !=''

　　set @strSQL = "select count(*) as Total from [" + @tblName + "] where "+@strWhere

　　else

　　set @strSQL = "select count(*) as Total from [" + @tblName + "]"

　　end --以上代碼的意思是若是@doCount傳遞過來的不是0，就執行總數統計。如下的全部代碼都是@doCount爲0的狀況

　　else

　　begin

　　if @OrderType != 0 // 降序(desc)

　　begin

　　set @strTmp = "<(select min"

　　set @strOrder = " order by [" + @fldName +"] desc"

　　--若是@OrderType不是0，就執行降序，這句很重要!

　　end

　　else // 升序(asc)

　　begin

　　set @strTmp = ">(select max"

　　set @strOrder = " order by [" + @fldName +"] asc"

　　end

　　if @PageIndex = 1 // 頁碼

　　begin

　　if @strWhere != ''

　　set @strSQL = "select top " +str(@PageSize)+ " " +@strGetFields+ " from [" + @tblName + "] where " + @strWhere + " " + @strOrder

　　else

　　set @strSQL = "select top " +str(@PageSize)+" " +@strGetFields+ " from [" +@tblName+ "] " +@strOrder

　　--若是是第一頁就執行以上代碼，這樣會加快執行速度

　　end

　　else

　　begin --如下代碼賦予了@strSQL以真正執行的SQL代碼

　　set @strSQL = "select top " +str(@PageSize)+ " " +@strGetFields+ " from [" +@tblName+ "] where ["+@fldName+ "]"+@strTmp+ "(["+@fldName+ "]) from (select top " +str((@PageIndex-1)*@PageSize)+ " ["+@fldName+ "] from ["+@tblName+ "]"+@strOrder+ ") as tblTmp)"+@strOrder

　　if @strWhere != ''

　　set @strSQL ="select top " +str(@PageSize)+ " " +@strGetFields+ " from [" +@tblName+ "] where ["+@fldName+ "]"+@strTmp+ "(["+@fldName+ "]) from (select top " +str((@PageIndex-1)*@PageSize) + " ["+@fldName+ "] from ["+@tblName+ "] where "+@strWhere+ " "+@strOrder+ ") as tblTmp) and "+@strWhere+ " "+@strOrder

　　end

　　end

　　exec (@strSQL)

　　GO

　　上面的這個存儲過程是一個通用的存儲過程，其註釋已寫在其中了。

select top 頁大小 *

　　from table1

　　where id >

　　(select max (id) from

　　(select top ((頁碼-1)*頁大小) id from table1 order by id) as T

　　)

　　order by id

　　在大數據量的狀況下，特別是在查詢最後幾頁的時候，查詢時間通常不會超過9秒;而用其餘存儲過程，在實踐中就會致使超時，因此這個存儲過程很是適用於大容量數據庫的查詢。

　　筆者但願可以經過對以上存儲過程的解析，能給你們帶來必定的啓示，並給工做帶來必定的效率提高，同時但願同行提出更優秀的實時數據分頁算法．

　　4、彙集索引的重要性和如何選擇彙集索引

　　在上一節的標題中，筆者寫的是：實現小數據量和海量數據的通用分頁顯示存儲過程。這是由於在將本存儲過程應用於「辦公自動化」系統的實踐中時，筆者發現這第三種存儲過程在小數據量的狀況下，有以下現象：

　　一、分頁速度通常維持在1秒和3秒之間。

　　二、在查詢最後一頁時，速度通常爲5秒至8秒，哪怕分頁總數只有3頁或30萬頁。

　　雖然在超大容量狀況下，這個分頁的實現過程是很快的，但在分前幾頁時，這個1-3秒的速度比起第一種甚至沒有通過優化的分頁方法速度還要慢，借用戶的話說就是「尚未ACCESS數據庫速度快」，這個認識足以致使用戶放棄使用您開發的系統。

　　筆者就此分析了一下，原來產生這種現象的癥結是如此的簡單，但又如此的重要：排序的字段不是彙集索引!

　　本篇文章的題目是：「查詢優化及分頁算法方案」。筆者只因此把「查詢優化」和「分頁算法」這兩個聯繫不是很大的論題放在一塊兒，就是由於兩者都須要一個很是重要的東西――彙集索引。

　　在前面的討論中咱們已經提到了，彙集索引有兩個最大的優點：

　　一、以最快的速度縮小查詢範圍。

　　二、以最快的速度進行字段排序。

　　第1條多用在查詢優化時，而第2條多用在進行分頁時的數據排序。

　　而彙集索引在每一個表內又只能創建一個，這使得彙集索引顯得更加的重要。彙集索引的挑選能夠說是實現「查詢優化」和「高效分頁」的最關鍵因素。

　　但要既使彙集索引列既符合查詢列的須要，又符合排序列的須要，這一般是一個矛盾。

　　筆者前面「索引」的討論中，將fariqi，即用戶發文日期做爲了彙集索引的起始列，日期的精確度爲「日」。這種做法的優勢，前面已經提到了，在進行劃時間段的快速查詢中，比用ID主鍵列有很大的優點。

　　但在分頁時，因爲這個彙集索引列存在着重複記錄，因此沒法使用max或min來最爲分頁的參照物，進而沒法實現更爲高效的排序。而若是將ID主鍵列做爲彙集索引，那麼彙集索引除了用以排序以外，沒有任何用處，其實是浪費了彙集索引這個寶貴的資源。

　　爲解決這個矛盾，筆者後來又添加了一個日期列，其默認值爲getdate()。用戶在寫入記錄時，這個列自動寫入當時的時間，時間精確到毫秒。即便這樣，爲了不可能性很小的重合，還要在此列上建立UNIQUE約束。將此日期列做爲彙集索引列。

　　有了這個時間型彙集索引列以後，用戶就既能夠用這個列查找用戶在插入數據時的某個時間段的查詢，又能夠做爲惟一列來實現max或min，成爲分頁算法的參照物。

　　通過這樣的優化，筆者發現，不管是大數據量的狀況下仍是小數據量的狀況下，分頁速度通常都是幾十毫秒，甚至0毫秒。而用日期段縮小範圍的查詢速度比原來也沒有任何遲鈍。

　　彙集索引是如此的重要和珍貴，因此筆者總結了一下，必定要將彙集索引創建在：

　　一、您最頻繁使用的、用以縮小查詢範圍的字段上;

　　二、您最頻繁使用的、須要排序的字段上。

　　結束語：

　　本篇文章聚集了筆者近段在使用數據庫方面的心得，是在作「辦公自動化」系統時實踐經驗的積累。但願這篇文章不只可以給你們的工做帶來必定的幫助，也但願能讓你們可以體會到分析問題的方法;最重要的是，但願這篇文章可以拋磚引玉，掀起你們的學習和討論的興趣，以共同促進，共同爲公安科技強警事業和金盾工程作出本身最大的努力。

　　最後須要說明的是，在試驗中，我發現用戶在進行大數據量查詢的時候，對數據庫速度影響最大的不是內存大小，而是CPU。在個人P4 2.4機器上試驗的時候，查看「資源管理器」，CPU常常出現持續到100%的現象，而內存用量卻並無改變或者說沒有大的改變。即便在咱們的HP ML 350 G3服務器上試驗時，CPU峯值也能達到90%，通常持續在70%左右。

　　本文的試驗數據都是來自咱們的HP ML 350服務器。服務器配置：雙Inter Xeon 超線程 CPU 2.4G，內存1G，操做系統Windows Server 2003 Enterprise Edition，數據庫SQL Server 2000 SP3