MySQL 【去重留一】一條sql語句完成 思路總結

原文是在我本身博客中，小夥伴也能夠點閱讀原文進行跳轉查看，還有好聽的背景音樂噢~

    前幾天在作一個需求的時候，須要清理mysql中重複的記錄，當時的想法是經過代碼遍歷寫出來，而後以爲太複雜，內心想着應該能夠經過一個sql語句來解決問題的。查了資料，請教了大佬以後得出了一個很便利的sql語句，這裏分享下這段sql語句和思路。

需求分析

數據庫中存在重複記錄，刪除保留其中一條（是否重複判斷基準爲多個字段）

解決方案

碰到這個需求的時候，內心大概是有思路的。最快想到的是能夠經過一條sql語句來解決，無奈本身對於複雜sql語句的道行太淺，因此想找大佬幫忙。

找人幫忙

由於這個需求有點着急，因此最開始想到的是，能夠找這方面的同行來解決，而後分享這個問題給@趙七七同窗，結果這貨隨便百度了一下，就甩給我一個從未用過的sql語句，讓我本身嘗試，內心萬匹那啥啥啥奔騰而過...

本身百度

找到了一條sql語句：

DELETE
FROM
    vitae a
WHERE
    (a.peopleId, a.seq) IN (
        SELECT
            peopleId,
            seq
        FROM
            vitae
        GROUP BY
            peopleId,
            seq
        HAVING
            count(*) > 1
    )
AND rowid NOT IN (
    SELECT
        min(rowid)
    FROM
        vitae
    GROUP BY
        peopleId,
        seq
    HAVING
        count(*) > 1
)

這條語句是在【MySQL中刪除重複數據只保留一條】這篇文章裏找到的。這條sql思路很明顯，有如下3步：

1. SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1查詢出表中重複記錄做爲條件
2. SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1查詢出表中重複記錄中ID最小的值爲第二個條件
3. 最後根據以上兩個條件，刪除除重複記錄中最小ID的其他重複記錄

可是很無奈的是，運行這條語句出現了錯誤，大體報錯意思是，不能在查詢的時候同時更新這個表。

代碼解決

根據上面這個sql語句想到或許能夠經過代碼的方式，兩步來達到一樣的目的：

1. 先取出重複的數據集
2. 根據查詢到的數據集，循環刪除其他的重複數據

想法是有了，寫出來也很快，可是一運行嚇我一跳，居然須要116s左右，而後本身就想必定要找到可使用的sql語句，貼一下代碼和運行結果：

完美的【去重留一】SQL

最後在一個技術羣裏獲得了完美的答案，看這條sql語句：

DELETE consum_record
FROM
    consum_record, 
    (
        SELECT
            min(id) id,
            user_id,
            monetary,
            consume_time
        FROM
            consum_record
        GROUP BY
            user_id,
            monetary,
            consume_time
        HAVING
            count(*) > 1
    ) t2
WHERE
    consum_record.user_id = t2.user_id 
    and consum_record.monetary = t2.monetary
    and consum_record.consume_time  = t2.consume_time
AND consum_record.id > t2.id;

上面這條sql語句，仔細看一下，揣摩出思路也不難，大概也分爲3步來理解：

1. (SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) > 1 ) t2 查詢出重複記錄造成一個集合（臨時表t2），集合裏是每種重複記錄的最小ID
2. consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time 關聯判斷重複基準的字段
3. 根據條件，刪除原表中id大於t2中id的記錄

看到這個語句的時候，內心想這也太厲害了。這麼一個簡單的sql語句，居然能夠解決這麼複雜的問題，漲姿式了~
運行起來也超級快，原先的代碼循環執行，須要116s左右，而這裏0.3s就能夠了，厲害了~

總結

做爲一個php程序猿，按理來講sql這裏是不能拖後腿的，無奈實際中，須要忙碌的事情太多，如今的sql水平也只是處於在一個普通的層次中，之後找機會必定要補一下這方面的知識。

資源

爲了方便小夥伴測試，已經把這個數據表傳上來了，有mysql工具的話，導入便可。consume_record.sql今天就分享到這裏啦。