MySQL 處理重複數據

有些 MySQL 數據表中可能存在重複的記錄，有些狀況咱們容許重複數據的存在，但有時候咱們也須要刪除這些重複的數據。
本章節咱們將爲你們介紹如何防止數據表出現重複數據及如何刪除數據表中的重複數據。

防止表中出現重複數據

你能夠在MySQL數據表中設置指定的字段爲 PRIMARY KEY（主鍵） 或者 UNIQUE（惟一） 索引來保證數據的惟一性。
讓咱們嘗試一個實例：下表中無索引及主鍵，因此該表容許出現多條重複記錄。

CREATE TABLE person_tbl(first_name CHAR(20),last_name CHAR(20),sex CHAR(10));

若是你想設置表中字段first_name，last_name數據不能重複，你能夠設置雙主鍵模式來設置數據的惟一性， 若是你設置了雙主鍵，那麼那個鍵的默認值不能爲NULL，可設置爲NOT NULL。以下所示：

CREATE TABLE person_tbl(first_name CHAR(20) NOT NULL,last_name CHAR(20) NOT NULL,sex CHAR(10),
PRIMARY KEY (last_name, first_name));

若是咱們設置了惟一索引，那麼在插入重複數據時，SQL語句將沒法執行成功,並拋出錯。
INSERT IGNORE INTO與INSERT INTO的區別就是INSERT IGNORE會忽略數據庫中已經存在的數據，若是數據庫沒有數據，就插入新的數據，若是有數據的話就跳過這條數據。這樣就能夠保留數據庫中已經存在數據，達到在間隙中插入數據的目的。
如下實例使用了INSERT IGNORE INTO，執行後不會出錯，也不會向數據表中插入重複數據：

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)-> VALUES( 'Jay', 'Thomas');
Query OK, 1 row affected (0.00 sec)
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)-> VALUES( 'Jay', 'Thomas');
Query OK, 0 rows affected (0.00 sec)

INSERT IGNORE INTO當插入數據時，在設置了記錄的惟一性後，若是插入重複數據，將不返回錯誤，只以警告形式返回。 而REPLACE INTO into若是存在primary 或 unique相同的記錄，則先刪除掉。再插入新記錄。
另外一種設置數據的惟一性方法是添加一個UNIQUE索引，以下所示：

CREATE TABLE person_tbl(first_name CHAR(20) NOT NULL,last_name CHAR(20) NOT NULL,sex CHAR(10)
UNIQUE (last_name, first_name));

統計重複數據

如下咱們將統計表中 first_name 和 last_name的重複記錄數：

mysql> SELECT COUNT(*) as repetitions, last_name, first_name-> FROM person_tbl    
-> GROUP BY last_name, first_name -> HAVING repetitions > 1;

以上查詢語句將返回 person_tbl 表中重複的記錄數。 通常狀況下，查詢重複的值，請執行如下操做：
 肯定哪一列包含的值可能會重複。
 在列選擇列表使用COUNT(*)列出的那些列。
 在GROUP BY子句中列出的列。
 HAVING子句設置重複數大於1。

過濾重複數據

若是你須要讀取不重複的數據能夠在 SELECT 語句中使用 DISTINCT 關鍵字來過濾重複數據。

mysql> SELECT DISTINCT last_name, first_name -> FROM person_tbl;

你也可使用 GROUP BY 來讀取數據表中不重複的數據：

mysql> SELECT last_name, first_name -> FROM person_tbl -> GROUP BY (last_name, first_name);

刪除重複數據

若是你想刪除數據表中的重複數據，你可使用如下的SQL語句：

mysql> CREATE TABLE tmp SELECT last_name, first_name, 
sex -> FROM person_tbl;->  GROUP BY (last_name, first_name, sex);
mysql> DROP TABLE person_tbl;mysql> ALTER TABLE tmp RENAME TO person_tbl;

固然你也能夠在數據表中添加 INDEX（索引） 和 PRIMAY KEY（主鍵）這種簡單的方法來刪除表中的重複記錄。方法以下：

mysql> ALTER IGNORE TABLE person_tbl -> ADD PRIMARY KEY (last_name, first_name);

更多MySQL課程：阿里雲大學——開發者課堂