適合千萬數據查詢分頁操做的一個通用存儲過程
1、引言
最近上班比較忙，因此就不多寫東西了，MongoDB系列的文章也要拖後了，沒辦法，工做第一，沒工做就沒飯吃了。今天正好的有點時間，就把我最近搞得一些東西，記錄下來。
在軟件行業，稍微大一點的公司，相關數據的存儲量就可能會很大，當咱們作系統的時候，必定會使用存儲過程進行分頁顯示，至於爲何分頁顯示，就不用我多說了吧。最近我在作一個系統，爲了讓系統支持大數據量，作了不少測試，主要是測試各類分頁算法的優劣。最後，通過本身的多番測試，肯定了這個存儲過程。測試環境是：
硬件環境：CPU是12核的，內存是8G的大小，
軟件環境：Visual Studio 2015，數據庫是 Sql Server 2008 R2，數據量大概有3千萬左右
ORM環境：IBatis.Net
測試效果就不貼圖了，若是你們想去測試，能夠自行操做，首先要說明的一點，若是針對ID主鍵進行分頁查詢，最可能是300-400毫秒之間就能夠把分頁數據顯示出來，不管是針對第一頁仍是最後一頁顯示時間都是差很少的。再者說，若是是針對其餘字段的查詢分頁，必須針對該字段創建索引，查詢速度也在毫秒之間能夠完成，通過本身的多輪測試，肯定了最終的存儲過程的樣式。固然若是針對查詢的分頁的字段沒有索引頁能夠查詢出來，時間就比較長了。6分鐘，10分鐘都有可能。因爲今天只討論存儲過程，其餘的就不說了，好比分庫，分表，水平拆分或者垂直拆分等知識。
2、存儲過程代碼
固然，這個存儲過程也參考了不少前輩的資料，才最終肯定的。修改了其原有的Bug，和語法山的一些錯誤。其餘細節也作了一些微調，造成了這個最後的版本，若是你們有更好的寫法，也歡迎你們留言討論。廢話很少說了，今天就把代碼發出來，該存儲過程已經通過測試，徹底沒有問題，你們能夠放心使用，代碼以下：算法
1 /****** Object: StoredProcedure [dbo].[usp_CommonDataResourcePaged] Script Date: 2018/4/26 12:11:59 ******/ 2 SET ANSI_NULLS ON 3 GO 4 SET QUOTED_IDENTIFIER ON 5 GO 6 -- ============================================= 7 -- Author: <PatrickLiu> 8 -- Create date: <2018-4-16 14:21> 9 -- Description: <通用的數據分頁存儲過程> 10 -- ============================================= 11 ALTER PROCEDURE [dbo].[usp_CommonDataResourcePaged] 12 ( 13 @TableName varchar(500), ----要顯示的表或多個表的鏈接 14 @FieldList varchar(5000) = '*', ----要顯示的字段列表 15 @PageSize int = 20, ----每頁顯示的記錄個數 16 @PageNumber int = 1, ----要顯示那一頁的記錄 17 @SortFields varchar(1000) = null, ----排序字段列表或條件 18 @EnabledSort bit = 0, ----排序方法，0爲升序，1爲降序(若是是多字段排列Sort指代最後一個排序字段的排列順序(最後一個排序字段不加排序標記)--程序傳參如：' SortA Asc,SortB Desc,SortC ') 19 @QueryCondition nvarchar(1500) = null, ----查詢條件,不需WHERE 20 @Primarykey varchar(50), ----主表的主鍵 21 @EnabledDistinct bit = 0, ----是否添加查詢字段的 DISTINCT 默認0不添加/1添加 22 @PageCount int = 1 output, ----查詢結果分頁後的總頁數 23 @RecordCount int = 1 output ----查詢到的記錄數 24 ) 25 AS 26 SET NOCOUNT ON 27 Declare @PrimaryKeyAlias varchar(50) 28 Declare @SqlResult nvarchar(4000) ----存放動態生成的SQL語句 29 Declare @SqlTotalCount nvarchar(4000) ----存放取得查詢結果總數的查詢語句 30 Declare @SqlStartOrEndID nvarchar(3000) ----存放取得查詢開頭或結尾ID的查詢語句 31 32 Declare @SortTypeA nvarchar(10) ----數據排序規則A 33 Declare @SortTypeB nvarchar(10) ----數據排序規則B 34 35 Declare @SqlDistinct nvarchar(50) ----對含有DISTINCT的查詢進行SQL構造 36 Declare @SqlCountDistinct nvarchar(50) ----對含有DISTINCT的總數查詢進行SQL構造 37 38 declare @ExecuteTime datetime --耗時測試時間差 39 40 --若是字段名帶有表名或者其餘的前綴(literature.tbl_Literatures.ID)，經過(select * from table)顯示後，在排序，此時的字段名是不包含前綴的， 41 --因此要處理一下，該方法適合Sql Server，若是要遷移其餘數據庫上，能夠修改獲取字段名的方法 42 DECLARE @ConvertedSortFields varchar(50) 43 IF CHARINDEX('.',@SortFields)>0 44 BEGIN 45 SELECT @ConvertedSortFields=REVERSE(SUBSTRING(REVERSE(@SortFields),1,CHARINDEX('.',REVERSE(@SortFields))-1)) 46 END 47 ELSE 48 BEGIN 49 SET @ConvertedSortFields=@SortFields 50 END 51 SELECT @ExecuteTime=GETDATE() 52 53 --在分頁的過程當中，會涉及到子查詢，當子查詢根據主鍵查詢後，外層循環再使用該值的時候已經不是第一次賦的值了，此處要作轉換，不然會有錯誤 54 SET @PrimaryKeyAlias='CustomID' 55 56 if @EnabledDistinct = 0 57 begin 58 set @SqlDistinct = 'SELECT ' 59 set @SqlCountDistinct = 'Count(*)' 60 end 61 else 62 begin 63 set @SqlDistinct = 'SELECT DISTINCT ' 64 set @SqlCountDistinct = 'Count(DISTINCT '+@Primarykey+')' 65 end 66 67 if @EnabledSort=0 68 begin 69 set @SortTypeB=' ASC ' 70 set @SortTypeA=' DESC ' 71 end 72 else 73 begin 74 set @SortTypeB=' DESC ' 75 set @SortTypeA=' ASC ' 76 end 77 78 --------生成查詢語句-------- 79 --此處@SqlTotalCount爲取得查詢結果數量的語句 80 if @QueryCondition is null or @QueryCondition='' or @QueryCondition='''' or LEN(@QueryCondition)<3 --沒有設置顯示條件 81 begin 82 set @SqlResult = @FieldList + ' From ' + @TableName 83 set @SqlTotalCount = @SqlDistinct+' @RecordCount='+@SqlCountDistinct+' FROM '+@TableName 84 set @SqlStartOrEndID = ' From ' + @TableName 85 end 86 else 87 begin 88 set @SqlResult = + @FieldList + ' From ' + @TableName + ' WHERE (1>0) and ' + @QueryCondition 89 set @SqlTotalCount = @SqlDistinct+' @RecordCount='+@SqlCountDistinct+' FROM '+@TableName + ' WHERE (1>0) and ' + @QueryCondition 90 set @SqlStartOrEndID = ' From ' + @TableName + ' WHERE (1>0) and ' + @QueryCondition 91 end 92 93 ----取得查詢結果總數量----- 94 exec sp_executesql @SqlTotalCount,N'@RecordCount int out ',@RecordCount out 95 96 declare @TemporaryRecordCount int --臨時統計 97 if @RecordCount = 0 98 set @TemporaryRecordCount = 1 99 else 100 set @TemporaryRecordCount = @RecordCount 101 102 --取得分頁總數 103 set @PageCount=(@TemporaryRecordCount+@PageSize-1)/@PageSize 104 105 /**當前頁大於總頁數 取最後一頁**/ 106 if @PageNumber>@PageCount 107 set @PageNumber=@PageCount 108 109 --/*-----數據分頁2分處理-------*/ 110 declare @TemporaryPageCount int --總數/頁大小，臨時存儲總的分頁數據 111 declare @ExtraPageNumber int --總數%頁大小 此處用於判斷是否有餘數，有就增長一頁，沒有就保持原有分頁總數 112 113 set @TemporaryPageCount = @TemporaryRecordCount/@PageSize 114 set @ExtraPageNumber = @TemporaryRecordCount%@PageSize 115 116 --若是對總記錄條數和頁大小取餘，結果大於零，分頁數量須要加一 117 if @ExtraPageNumber > 0 118 BEGIN 119 set @TemporaryPageCount = @TemporaryPageCount + 1 120 END 121 ELSE 122 BEGIN 123 SET @ExtraPageNumber=@PageSize 124 END 125 126 --//***顯示分頁 127 if @QueryCondition is null or @QueryCondition='' or @QueryCondition='''' or LEN(@QueryCondition)<3 --沒有設置顯示條件 128 begin 129 if @TemporaryPageCount<2 or @PageNumber<=@TemporaryPageCount / 2 + @TemporaryPageCount % 2 --前半部分數據處理 130 begin 131 if @PageNumber=1 132 set @SqlTotalCount=@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName+' ORDER BY '+ @SortFields +' '+ @SortTypeB 133 else 134 begin 135 if @EnabledSort=1 136 begin 137 set @SqlTotalCount=@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName +' WHERE '+@Primarykey+' <(SELECT MIN('+ @PrimaryKeyAlias +') FROM ('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-1) as Varchar(20)) +' '+ @Primarykey +' AS '+@PrimaryKeyAlias+' FROM '+@TableName +' ORDER BY '+ @SortFields +' '+ @SortTypeB+') AS TBMinID)'+' ORDER BY '+ @SortFields +' '+ @SortTypeB 138 end 139 else 140 begin 141 set @SqlTotalCount=@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName +' WHERE '+@Primarykey+' >(SELECT MAX('+ @PrimaryKeyAlias +') FROM ('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-1) as Varchar(20)) +' '+ @Primarykey +' AS '+@PrimaryKeyAlias+' FROM '+@TableName +' ORDER BY '+ @SortFields +' '+ @SortTypeB+') AS TBMinID)'+' ORDER BY '+ @SortFields +' '+ @SortTypeB 142 end 143 end 144 end 145 else 146 begin 147 set @PageNumber = @TemporaryPageCount-@PageNumber+1 --後半部分數據處理 148 149 if @PageNumber <= 1 --最後一頁數據顯示 150 begin 151 set @SqlTotalCount=@SqlDistinct+' * FROM ('+@SqlDistinct+' TOP '+ CAST(@ExtraPageNumber as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName+' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TempTB'+' ORDER BY '+ @ConvertedSortFields +' '+ @SortTypeB 152 end 153 else 154 if @EnabledSort=1 155 begin 156 set @SqlTotalCount=@SqlDistinct+' * FROM ('+@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName +' WHERE '+@Primarykey+' >(SELECT MAX('+ @PrimaryKeyAlias +') FROM('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-2)+@ExtraPageNumber as Varchar(20)) +' '+ @Primarykey +' AS '+@PrimaryKeyAlias+' FROM '+@TableName+' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TBMaxID)'+' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TempTB'+' ORDER BY '+ @ConvertedSortFields +' '+ @SortTypeB 157 end 158 else 159 begin 160 set @SqlTotalCount=@SqlDistinct+' * FROM ('+@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName 161 +' WHERE '+@Primarykey+' <(SELECT MIN('+ @PrimaryKeyAlias +') FROM('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-2)+@ExtraPageNumber as Varchar(20)) +' '+ @Primarykey +' AS '+@PrimaryKeyAlias+' FROM '+@TableName +' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TBMaxID)'+' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TempTB'+' ORDER BY '+ @ConvertedSortFields +' '+ @SortTypeB 162 end 163 end 164 end 165 else --有查詢條件 166 begin 167 if @TemporaryPageCount<2 or @PageNumber<=@TemporaryPageCount / 2 + @TemporaryPageCount % 2 --前半部分數據處理 168 begin 169 if @PageNumber=1 170 set @SqlTotalCount=@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName +' WHERE 1=1 and ' + @QueryCondition + ' ORDER BY '+ @SortFields +' '+ @SortTypeB 171 else if(@EnabledSort=1) 172 begin 173 set @SqlTotalCount=@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName 174 +' WHERE '+@Primarykey+' <(SELECT MIN('+ @PrimaryKeyAlias +') FROM ('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-1) as Varchar(20)) +' '+ @Primarykey +' AS '+@PrimaryKeyAlias+' FROM '+@TableName+' WHERE (1=1) and ' + @QueryCondition +' ORDER BY '+ @SortFields +' '+ @SortTypeB+') AS TBMinID)'+' and '+ @QueryCondition +' ORDER BY '+ @SortFields +' '+ @SortTypeB 175 end 176 else 177 begin 178 set @SqlTotalCount=@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName 179 +' WHERE '+@Primarykey+' >(SELECT MAX('+ @PrimaryKeyAlias +') FROM ('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-1) as Varchar(20)) +' '+ @Primarykey +' AS '+@PrimaryKeyAlias+' FROM '+@TableName +' WHERE (1=1) and ' + @QueryCondition +' ORDER BY '+ @SortFields +' '+ @SortTypeB+') AS TBMinID)'+' and '+ @QueryCondition +' ORDER BY '+ @SortFields +' '+ @SortTypeB 180 end 181 end 182 else 183 begin 184 set @PageNumber = @TemporaryPageCount-@PageNumber+1 --後半部分數據處理 185 if @PageNumber <= 1 --最後一頁數據顯示 186 set @SqlTotalCount=@SqlDistinct+' * FROM ('+@SqlDistinct+' TOP '+ CAST(@ExtraPageNumber as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName +' WHERE (1=1) and '+ @QueryCondition +' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TempTB'+' ORDER BY '+ @ConvertedSortFields +' '+ @SortTypeB 187 else if(@EnabledSort=1) 188 set @SqlTotalCount=@SqlDistinct+' * FROM ('+@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName+' WHERE '+@Primarykey+' >(SELECT MAX('+ @PrimaryKeyAlias +') FROM('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-2)+@ExtraPageNumber as Varchar(20)) +' '+ @Primarykey+' AS '+@PrimaryKeyAlias+' FROM '+@TableName+' WHERE (1=1) and '+ @QueryCondition +' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TBMaxID)' +' and '+ @QueryCondition+' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TempTB'+' ORDER BY '+ @ConvertedSortFields +' '+ @SortTypeB 189 else 190 set @SqlTotalCount=@SqlDistinct+' * FROM ('+@SqlDistinct+' TOP '+ CAST(@PageSize as VARCHAR(4))+' '+ @FieldList+' FROM '+@TableName+' WHERE '+@Primarykey+' <(SELECT MIN('+ @PrimaryKeyAlias +') FROM('+ @SqlDistinct+' TOP '+ CAST(@PageSize*(@PageNumber-2)+@ExtraPageNumber as Varchar(20)) +' '+ @Primarykey +' AS '+@PrimaryKeyAlias+' FROM '+@TableName+' WHERE (1=1) and '+ @QueryCondition +' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TBMaxID)'+' and '+ @QueryCondition+' ORDER BY '+ @SortFields +' '+ @SortTypeA+') AS TempTB'+' ORDER BY '+ @ConvertedSortFields +' '+ @SortTypeB 191 end 192 end 193 194 ------返回查詢結果----- 195 print @SqlTotalCount 196 exec sp_executesql @SqlTotalCount 197 --SELECT datediff(ms,@ExecuteTime,getdate()) as 耗時 198 SET NOCOUNT OFF
以上就是存儲 過程，代碼很簡單，都有註釋，就不作解釋了。sql
3、相關實體類
數據庫
由於存儲過程代碼是在C#代碼調用的，爲了方便參數的傳遞，我特地創建一個實體類，用於傳遞和接受參數，如：總頁數和記錄條數，類的名稱就是：CommonDataResourcePaged。廢話很少說，直接上代碼，代碼以下：測試
1 /// <summary> 2 /// 通用數據源匪分頁 3 /// </summary> 4 public sealed class CommonDataResourcePaged 5 { 6 /// <summary> 7 /// 要顯示的表或多個表的鏈接 8 /// </summary> 9 public string TableName { get; set; } 10 11 /// <summary> 12 /// 要顯示的字段列表 13 /// </summary> 14 public string FieldList { get; set; } 15 16 /// <summary> 17 /// 每頁顯示的記錄個數 18 /// </summary> 19 public int PageSize { get; set; } 20 21 /// <summary> 22 /// 要顯示的那一頁的記錄的頁碼 23 /// </summary> 24 public int PageNumber { get; set; } 25 26 /// <summary> 27 /// 排序字段列表或條件 28 /// </summary> 29 public string SortFields { get; set; } 30 31 /// <summary> 32 /// 排序方法，0爲升序，1爲降序(若是是多字段排列Sort指代最後一個排序字段的排列順序(最後一個排序字段不加排序標記)--程序傳參如：' SortA Asc,SortB Desc,SortC ') 33 /// </summary> 34 public bool EnabledSort { get; set; } 35 36 /// <summary> 37 /// 查詢條件,不需where 38 /// </summary> 39 public string QueryCondition { get; set; } 40 41 /// <summary> 42 /// 主表的主鍵 43 /// </summary> 44 public string Primarykey { get; set; } 45 46 /// <summary> 47 /// 是否添加查詢字段的 DISTINCT 默認0不添加/1添加 48 /// </summary> 49 public bool EnabledDistinct { get; set; } 50 51 /// <summary> 52 /// 該字段是從數據庫返回來的字段值，在數據庫中是Output字段，查詢結果分頁後的總頁數 53 /// </summary> 54 public int PageCount { get; set; } 55 56 /// <summary> 57 /// 該字段是從數據庫返回來的字段值，在數據庫中是Output字段，查詢到的記錄數 58 /// </summary> 59 public int RecordCount { get; set; } 60 }
以上就是實體類的代碼，很簡單，就不解釋了。大數據
4、Sql Server的調用代碼
spa
在這裏，我只演示了在Sql Server 中怎麼調用這個存儲過程，其實很簡單，你們都應該知道。好了，就是這些，代碼都是很簡單，想調用存儲過程，調用實例以下：.net
1 USE [Xxxxxxx.Bbbbbb.Dataware] GO //名稱註釋掉了 2 3 DECLARE @return_value int, @PageCount int, @RecordCount int 4 5 SELECT @PageCount = 0 SELECT @RecordCount = 0 6 7 EXEC @return_value = [dbo].[usp_CommonDataResourcePaged]
@TableName = N'[literature].[tbl_Literatures]', 8 @FieldList = N'[ID],[Title],[Authors],[PeriodicalName],[PublicationDate],[VolumeNumber]', 9 @PageSize = 30, 10 @PageNumber = 50, 11 @SortFields = [ID], 12 @EnabledSort =N'1' , 13 @QueryCondition = N'[ChiefAuthor]=''ffffff''', 14 @Primarykey = N'[ID]', 15 @EnabledDistinct = 1, 16 @PageCount = @PageCount OUTPUT, 17 @RecordCount = @RecordCount OUTPUT 18 19 SELECT @PageCount as N'@PageCount', @RecordCount as N'@RecordCount' 20 21 SELECT 'Return Value' = @return_value 22 23 GO
查詢只後就能夠看到先關的結果，我就不貼圖了。
5、結束code
今天就寫到這裏，該上班了。對了，我在C#代碼中使用IBatis.net，在調用以前須要在配置文件裏作相關的設置，好比：傳遞參數的設置、查詢結果映射設置和類型等等的設置，使用起來也是很簡單的，就不貼代碼了。今天就是這些了，之後有了時間繼續個人MongoDB系列之旅吧。blog
相關文章
- 1. 通用分頁查詢存儲過程
- 2. 千萬級分頁存儲過程
- 3. 分頁查詢千萬級數據慢
- 4. MySQL千萬級數據分區存儲及查詢優化
- 5. 存儲過程分頁查詢
- 6. MyBatis，MySql存儲過程分頁查詢
- 7. SQLServer分頁查詢通用存儲過程
- 8. jdbc_分頁查詢，大數據，批處理，存儲過程
- 9. 查詢Sqlserver數據庫死鎖的一個存儲過程(轉)
- 10. 查詢Sqlserver數據庫死鎖的一個存儲過程（轉）
- 更多相關文章...
- • MySQL存儲過程簡介 - MySQL教程
- • 一對一關聯查詢 - MyBatis教程
- • TiDB 在摩拜單車在線數據業務的應用和實踐
- • Flink 數據傳輸及反壓詳解
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. No provider available from registry 127.0.0.1:2181 for service com.ddbuy.ser 解決方法
- 2. Qt5.7以上調用虛擬鍵盤(支持中文)，以及源碼修改(可拖動，水平縮放)
- 3. 軟件測試面試- 購物車功能測試用例設計
- 4. ElasticSearch（概念篇）：你知道的, 爲了搜索…
- 5. redux理解
- 6. gitee創建第一個項目
- 7. 支持向量機之硬間隔（一步步推導，通俗易懂）
- 8. Mysql 異步複製延遲的原因及解決方案
- 9. 如何在運行SEPM配置嚮導時將不可認的複雜數據庫密碼改爲簡單密碼
- 10. windows系統下tftp服務器使用
歡迎關注本站公眾號,獲取更多信息
相關文章