MySQL order by limit 分頁數據重複問題

0 問題描述

在MySQL中咱們一般會採用limit來進行翻頁查詢，好比limit(0,10)表示列出第一頁的10條數據，limit(10,10)表示列出第二頁。可是，當limit遇到order by的時候，可能會出現翻到第二頁的時候，居然又出現了第一頁的記錄。

具體以下：

SELECT `post_title`,`post_date` FROM post WHERE `post_status`='publish' ORDER BY view_count desc LIMIT 5,5
複製代碼

使用上述SQL查詢的時候，頗有可能出現和LIMIT 0,5相同的某條記錄。而若是使用以下方式，則不會出現重複的狀況：

SELECT * FROM post WHERE post_status='publish' ORDER BY view_count desc LIMIT 5,5
複製代碼

可是，因爲post表的字段不少，僅僅但願用這兩個字段，不想把post_content也查出來。爲了解決這個狀況，在ORDER BY後面使用了兩個排序條件來解決這個問題，以下：

SELECT `post_title`,`post_date` FROM post WHERE `post_status`='publish' ORDER BY view_count desc,ID asc LIMIT 5,5
複製代碼

按理來講，MySQL的排序默認狀況下是以主鍵ID做爲排序條件的，也就是說，若是在view_count相等的狀況下，主鍵ID做爲默認的排序條件，不須要咱們畫蛇添足加ID asc。可是事實就是，MySQL再order by和limit混用的時候，出現了排序的混亂狀況。

1 分析問題

在MySQL 5.6的版本上，優化器在遇到order by limit語句的時候，作了一個優化，即便用了priority queue。

使用 priority queue 的目的，就是在不能使用索引有序性的時候，若是要排序，而且使用了limit n，那麼只須要在排序的過程當中，保留n條記錄便可，這樣雖然不能解決全部記錄都須要排序的開銷，可是隻須要 sort buffer 少許的內存就能夠完成排序。

之因此MySQL 5.6出現了第二頁數據重複的問題，是由於 priority queue 使用了堆排序的排序方法，而堆排序是一個不穩定的排序方法，也就是相同的值可能排序出來的結果和讀出來的數據順序不一致。

MySQL 5.5 沒有這個優化，因此也就不會出現這個問題。

也就是說，MySQL 5.5是不存在本文提到的問題的，5.6版本以後纔出現了這種狀況。

再看下MySQL解釋sql語言時的執行順序：

(1)     SELECT 
(2)     DISTINCT <select_list>
(3)     FROM <left_table>
(4)     <join_type> JOIN <right_table>
(5)     ON <join_condition>
(6)     WHERE <where_condition>
(7)     GROUP BY <group_by_list>
(8)     HAVING <having_condition>
(9)     ORDER BY <order_by_condition>
(10)    LIMIT <limit_number>
複製代碼

執行順序依次爲 form… where… select… order by… limit…，因爲上述priority queue的緣由，在完成select以後，全部記錄是以堆排序的方法排列的，在進行order by時，僅把view_count值大的往前移動。但因爲limit的因素，排序過程當中只須要保留到5條記錄便可，view_count並不具有索引有序性，因此當第二頁數據要展現時，mysql見到哪一條就拿哪一條，所以，當排序值相同的時候，第一次排序是隨意排的，第二次再執行該sql的時候，其結果應該和第一次結果同樣。

2 解決方法

1. 索引排序字段

   若是在字段添加上索引，就直接按照索引的有序性進行讀取並分頁，從而能夠規避遇到的這個問題。

2. 正確理解分頁

   分頁是創建在排序的基礎上，進行了數量範圍分割。排序是數據庫提供的功能，而分頁倒是衍生的出來的應用需求。

   在MySQL和Oracle的官方文檔中提供了limit n和rownum < n的方法，但卻沒有明確的定義分頁這個概念。還有重要的一點，雖然上面的解決方法能夠緩解用戶的這個問題，但按照用戶的理解，依然還有問題：好比，這個表插入比較頻繁，用戶查詢的時候，在read-committed的隔離級別下，第一頁和第二頁仍然會有重合。

   因此，分頁一直都有這個問題，不一樣場景對數據分頁都沒有很是高的準確性要求。

3. 一些常見的數據庫排序問題

   不加order by的時候的排序問題

   用戶在使用Oracle或MySQL的時候，發現MySQL老是有序的，Oracle卻很混亂，這個主要是由於Oracle是堆表，MySQL是索引聚簇表的緣由。因此沒有order by的時候，數據庫並不保證記錄返回的順序性，而且不保證每次返回都一致的。

   分頁問題 分頁重複的問題

   如前面所描述的，分頁是在數據庫提供的排序功能的基礎上，衍生出來的應用需求，數據庫並不保證分頁的重複問題。

   NULL值和空串問題

   不一樣的數據庫對於NULL值和空串的理解和處理是不同的，好比Oracle NULL和NULL值是沒法比較的，既不是相等也不是不相等，是未知的。而對於空串，在插入的時候，MySQL是一個字符串長度爲0的空串，而Oracle則直接進行NULL值處理。