數據庫根據指定字段去重

需求：對一張用戶表根據name/email/card_num字段去除重複數據；

思路：用group by方法能夠查詢出'去重'後的數據，將這些數據存儲到一張臨時表中，而後將臨時表的數據存儲到指定的表中；

誤區及解決方案：group by方法只能獲取部分字段（去重指定字段），不能一次獲取到完整的數據，可是能夠經過max函數獲取group by結果集中的id，再根據id集合查詢出所有的記錄。

測試思路

• 查詢去重後的數據

SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;

• 從去重後的數據中獲取id集合

SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T;

• 根據去重後的數據中獲取id集合，從源數據中得到記錄列表

SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

實際方法

• 根據去重後的數據中獲取id集合，從源數據中得到記錄列表，將這些列表數據存入一個臨時表中

create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

• 將臨時表中的數據存入指定的數據表中，完畢

insert into users_copy1 select * from tmp_data;

檢測

• 檢測結果是否是和第一步查詢去重後的數據總數相同

select count(*) from users_copy1;