mysql 大表分頁查詢 翻頁 優化方案
mysql分頁查詢是先查詢出來offset+limit行數據，而後放棄前offset，取limit條記錄，形成了越日後的頁數，查詢時間越長javascript
通常優化思路是轉換offset，讓offset儘量的小，最好能每次查詢都是第一頁，也就是offset爲0前端
查詢按id排序的狀況java
1、若是查詢是根據id排序的，而且id是連續的mysql
這種網上介紹比較多，根據要查的頁數直接算出來id的範圍git
好比offset=40, limit=10, 表示查詢第5頁數據，那麼第5頁開始的id是41，增長查詢條件：id>40 limit 10sql
2、若是查詢是根據id排序的，可是id不是連續的json
一般翻頁頁數跳轉都不會很大，那咱們能夠根據上一次查詢的記錄，算出來下一次分頁查詢對應的新的 offset和 limit，也就是離上一次查詢記錄的offsetbootstrap
分頁查詢通常會有兩個參數：offset和limit，limit通常是固定，假設limit=10後端
那爲了優化offset太大的狀況，每次查詢須要提供兩個額外的參數app
參數lastEndId： 上一次查詢的最後一條記錄的id
參數lastEndOffset： 上一次查詢的最後一條記錄對應的offset，也就是上一次查詢的offset+limit
- 第一種狀況（與第二種實際上是同樣）：跳轉到下一頁，增長查詢條件：id>lastEndId limit 10
- 第二種狀況：往下翻頁，跳轉到下任意頁，算出新的newOffset=offset-lastEndOffset,增長查詢條件：id>lastEndId offset newOffset limit 10，可是若是newOffset也仍是很大，好比，直接從第一頁跳轉到最後一頁，這時候咱們能夠根據id逆序（若是原來id是正序的換成倒序，若是是倒序就換成正序）查詢，根據總數量算出逆序查詢對應的offset和limit，那麼 newOffset = totalCount - offset - limit， 查詢條件：id<lastEndId offset newOffset limit 10 ,而後再經過代碼逆序，獲得正確順序的數據，注意：最後一頁 offset + limit>=totalCount ，也就是算出來的newOffset 可能小於0, 因此最後一頁的newOffset=0，limit = totalCount - offset
- 第三種狀況：往上翻頁，跳轉到上任意頁，根據id逆序 ,newOffset = lastEndOffset- offset - limit-1， 查詢條件：id<lastEndId offset newOffset limit 10 ,而後再經過代碼逆序，獲得正確順序的數據
補充的按id排序的後端實現代碼，前端和第三種相似，就不補充了
/**
* 若是是根據id排序的分頁，根據上一次查詢的記錄的id優化分頁查詢
*
* @see 將會自動添加id排序
* @param lastEndId
* 上一次查詢的最後一條記錄的id
* @param lastEndOffset
* 上一次查詢的最後一條記錄對應的偏移量 offset+limit
**/
public Page<T> page(QueryBuilder queryBuilder, Integer lastEndId, Integer lastEndOffset, int offset, int limit) {
FromBuilder fromBuilder = queryBuilder.from(getModelClass());
Page<T> page = new Page<>();
int count = dao.count(fromBuilder);
page.setTotal(count);
if (count == 0) {
return page;
}
if (offset == 0 || lastEndId == null || lastEndOffset == null) {
List<T> list = dao
.find(SelectBuilder.selectFrom(fromBuilder.offsetLimit(offset, limit).order().desc("id").end()));
page.setData(list);
return page;
}
boolean isForward = offset >= lastEndOffset;
if (isForward) {
// offset增大的狀況
int calcOffset = offset - lastEndOffset;
int calcOffsetFormEnd = count - offset - limit;
if (calcOffsetFormEnd <= calcOffset) {
// 離尾頁近的狀況，從尾頁開始算
isForward = false;
if (calcOffsetFormEnd > 0) {
fromBuilder.order().asc("id").end().offsetLimit(calcOffsetFormEnd, limit);
} else {
// 最後一頁
fromBuilder.order().asc("id").end().offsetLimit(0, calcOffsetFormEnd + limit);
}
} else {
fromBuilder.where().andLt("id", lastEndId).end().order().desc("id").end().offsetLimit(calcOffset,
limit);
}
} else {
// offset減小的狀況
int calcOffset = lastEndOffset - offset - limit - 1;
if (calcOffset < offset) {
fromBuilder.where().andGt("id", lastEndId).end().order().asc("id").end().offsetLimit(calcOffset, limit);
} else {
// 離首頁近的狀況，直接查詢
fromBuilder.offsetLimit(offset, limit).order().desc("id").end();
isForward = true;
}
}
List<T> list = dao.find(SelectBuilder.selectFrom(fromBuilder));
if (!isForward) {
list.sort(new Comparator<T>() {
@Override
public int compare(T o1, T o2) {
return o1.getId() < o2.getId() ? 1 : -1;
}
});
}
page.setData(list);
return page;
}
三，若是查詢是根據其餘字段，好比通常使用的建立時間（createTime）排序
這種跟第二種狀況差很少，區別是createTime不是惟一的，因此不能肯定上一次最後一條記錄對應的建立時間，哪些是下一頁的，哪些是上一頁的
這時候，增長一個請求參數lastEndCount：表示上一次查詢最後一條記錄對應的建立時間，有多少條是這同一時間的，這個根據上一次的數據統計
根據第二種狀況下計算出來的newOffset加上lastEndCount，就是新的offset，其餘的處理方式和第二種一致
java 示例：
/**
* 若是是根據建立時間排序的分頁，根據上一條記錄的建立時間優化分佈查詢
*
* @see 將會自動添加createTime排序
* @param lastEndCreateTime
* 上一次查詢的最後一條記錄的建立時間
* @param lastEndCount 上一次查詢的時間爲lastEndCreateTime的數量
* @param lastEndOffset 上一次查詢的最後一條記錄對應的偏移量 offset+limit
**/
public Page<T> page(QueryBuilder queryBuilder, Date lastEndCreateTime, Integer lastEndCount, Integer lastEndOffset,
int offset, int limit) {
FromBuilder fromBuilder = queryBuilder.from(getModelClass());
Page<T> page = new Page<>();
int count = dao.count(fromBuilder);
page.setTotal(count);
if (count == 0) {
return page;
}
if (offset == 0 || lastEndCreateTime == null || lastEndCount == null || lastEndOffset == null) {
List<T> list = dao.find(
SelectBuilder.selectFrom(fromBuilder.offsetLimit(offset, limit).order().desc("createTime").end()));
page.setData(list);
return page;
}
boolean isForward = offset >= lastEndOffset;
if (isForward) {
int calcOffset = offset - lastEndOffset + lastEndCount;
int calcOffsetFormEnd = count - offset - limit;
if (calcOffsetFormEnd <= calcOffset) {
isForward = false;
if (calcOffsetFormEnd > 0) {
fromBuilder.order().asc("createTime").end().offsetLimit(calcOffsetFormEnd, limit);
} else {
fromBuilder.order().asc("createTime").end().offsetLimit(0, calcOffsetFormEnd + limit);
}
} else {
fromBuilder.where().andLe("createTime", lastEndCreateTime).end().order().desc("createTime").end()
.offsetLimit(calcOffset, limit);
}
} else {
//這裏沒有判斷是否離首頁近，能夠加上優化查詢，直接按正常查詢
fromBuilder.where().andGe("createTime", lastEndCreateTime).end().order().asc("createTime").end()
.offsetLimit(lastEndOffset - offset - limit - 1 + lastEndCount, limit);
}
List<T> list = dao.find(SelectBuilder.selectFrom(fromBuilder));
if (!isForward) {
list.sort(new Comparator<T>() {
@Override
public int compare(T o1, T o2) {
return o1.getCreateTime().before(o2.getCreateTime()) ? 1 : -1;
}
});
}
page.setData(list);
return page;
}
前端js參數，基於bootstrap table
this.lastEndCreateTime = null;
this.currentEndCreateTime = null;
this.currentDataLength = null;
this.isRefresh = false;
this.currentEndOffset = 0;
this.lastEndOffset = 0;
this.lastEndCount = 0;
this.currentEndCount = 0;
$("#" + this.tableId).bootstrapTable({
url: url,
method: 'get',
contentType: "application/x-www-form-urlencoded",//請求數據內容格式 默認是 application/json 本身根據格式自行服務端處理
dataType:"json",
dataField:"data",
pagination: true,
sidePagination: "server", // 服務端請求
pageList: [10, 25, 50, 100, 200],
search: true,
showRefresh: true,
toolbar: "#" + tableId + "Toolbar",
iconSize: "outline",
icons: {
refresh: "icon fa-refresh",
},
queryParams: function(params){
if(params.offset == 0){
this.currentEndOffset = params.offset + params.limit;
}else{
if(params.offset + params.limit==this.currentEndOffset){
//刷新
this.isRefresh = true;
params.lastEndCreateTime = this.lastEndCreateTime;
params.lastEndOffset = this.lastEndOffset;
params.lastEndCount = this.lastEndCount;
}else{
console.log(this.currentEndCount);
//跳頁
this.isRefresh = false;
params.lastEndCreateTime = this.currentEndCreateTime;
params.lastEndOffset = this.currentEndOffset;
params.lastEndCount = this.currentEndCount;
if(this.currentDataLength != null && this.currentDataLength != params.limit){
//最後一頁數據不滿limit，調整lastEndOffset的值
params.lastEndOffset = this.currentEndOffset-
params.limit+this.currentDataLength;
}
this.lastEndOffset = this.currentEndOffset;
this.currentEndOffset = params.offset + params.limit;
console.log(params.lastEndOffset+","+params.lastEndCreateTime);
}
}
return params;
},
onSearch: function (text) {
this.keyword = text;
},
onPostBody : onPostBody,
onLoadSuccess: function (resp) {
if(resp.code!=0){
alertUtils.error(resp.msg);
}
var data = resp.data;
var dateLength = data.length;
this.currentDataLength = dateLength;
if(dateLength==0){
return;
}
if(!this.isRefresh){
this.lastEndCreateTime = this.currentEndCreateTime;
this.currentEndCreateTime = data[data.length-1].createTime;
this.lastEndCount = this.currentEndCount;
this.currentEndCount = 0;
for (var i = 0; i < resp.data.length; i++) {
var item = resp.data[i];
if(item.createTime === this.currentEndCreateTime){
this.currentEndCount++;
}
}
}
}
});
hql語句拼接工具類庫：https://gitee.com/xuhaohai/jpaDao
相關文章
- 1. Mysql 查詢分頁優化
- 2. MySQL分頁查詢優化
- 3. MySql 分頁查詢優化
- 4. Mysql優化大分頁查詢
- 5. MySQL優化之超大分頁查詢
- 6. Sharding-JDBC 分庫分表-分頁查詢優化方案
- 7. MySQL分頁查詢方法及優化
- 8. MySql翻頁查詢
- 9. mysql5.6 分頁查詢優化
- 10. 覆盤MySQL分頁查詢優化方案
- 更多相關文章...
- • MySQL GROUP BY：分組查詢 - MySQL教程
- • MySQL SELECT：數據表查詢語句 - MySQL教程
- • 常用的分佈式事務解決方案
- • 算法總結-二分查找法
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Mysql 查詢分頁優化
- 2. MySQL分頁查詢優化
- 3. MySql 分頁查詢優化
- 4. Mysql優化大分頁查詢
- 5. MySQL優化之超大分頁查詢
- 6. Sharding-JDBC 分庫分表-分頁查詢優化方案
- 7. MySQL分頁查詢方法及優化
- 8. MySql翻頁查詢
- 9. mysql5.6 分頁查詢優化
- 10. 覆盤MySQL分頁查詢優化方案