MySQL單表百萬數據記錄分頁性能優化

背景：

本身的一個網站，因爲單表的數據記錄高達了一百萬條，形成數據訪問很慢，Google分析的後臺常常報告超時，尤爲是頁碼大的頁面更是慢的不行。

測試環境：

先讓咱們熟悉下基本的sql語句，來查看下咱們將要測試表的基本信息

use infomation_schema
SELECT * FROM TABLES WHERE TABLE_SCHEMA = ‘dbname’ AND TABLE_NAME = ‘product’

查詢結果：

從上圖中咱們能夠看到表的基本信息：

錶行數：866633
平均每行的數據長度：5133字節
單表大小：4448700632字節

關於行和表大小的單位都是字節，咱們通過計算能夠知道
平均行長度：大約5k
單表總大小：4.1g
表中字段各類類型都有varchar、datetime、text等，id字段爲主鍵

測試實驗

1.   直接用limit start, count分頁語句， 也是我程序中用的方法：

select * from product limit start, count
當起始頁較小時，查詢沒有性能問題，咱們分別看下從10， 100， 1000， 10000開始分頁的執行時間（每頁取20條）， 以下：

select * from product limit 10, 20   0.016秒
select * from product limit 100, 20   0.016秒
select * from product limit 1000, 20   0.047秒
select * from product limit 10000, 20   0.094秒

咱們已經看出隨着起始記錄的增長，時間也隨着增大， 這說明分頁語句limit跟起始頁碼是有很大關係的，那麼咱們把起始記錄改成40w看下（也就是記錄的通常左右）                                    select * from product limit 400000, 20   3.229秒

再看咱們取最後一頁記錄的時間
select * from product limit 866613, 20   37.44秒

難怪搜索引擎抓取咱們頁面的時候常常會報超時，像這種分頁最大的頁碼頁顯然這種時
間是沒法忍受的。

從中咱們也能總結出兩件事情：
1）limit語句的查詢時間與起始記錄的位置成正比
2）mysql的limit語句是很方便，可是對記錄不少的表並不適合直接使用。

2.   對limit分頁問題的性能優化方法

利用表的覆蓋索引來加速分頁查詢
咱們都知道，利用了索引查詢的語句中若是隻包含了那個索引列（覆蓋索引），那麼這種狀況會查詢很快。

由於利用索引查找有優化算法，且數據就在查詢索引上面，不用再去找相關的數據地址了，這樣節省了不少時間。另外Mysql中也有相關的索引緩存，在併發高的時候利用緩存就效果更好了。

在咱們的例子中，咱們知道id字段是主鍵，天然就包含了默認的主鍵索引。如今讓咱們看看利用覆蓋索引的查詢效果如何：

此次咱們之間查詢最後一頁的數據（利用覆蓋索引，只包含id列），以下：
select id from product limit 866613, 20 0.2秒
相對於查詢了全部列的37.44秒，提高了大概100多倍的速度

那麼若是咱們也要查詢全部列，有兩種方法，一種是id>=的形式，另外一種就是利用join，看下實際狀況：

SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20
查詢時間爲0.2秒，簡直是一個質的飛躍啊，哈哈

另外一種寫法
SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id
查詢時間也很短，贊！

其實二者用的都是一個原理嘛，因此效果也差很少