Mysql插入數據去重方法

最近寫爬蟲，有需求需要將數據插入mysql，由於爬蟲採用分佈式，可能會多次爬重複頁，這時候就需要對數據去重 假設： 表：test 含 id，a，b    （3個字段） 主鍵id自增。 1.根據單個字段去重 以navicat爲例，右鍵設計表-》索引，選擇字段加上unique即可。 輸入插入語句： INSERT into test(a,b) VALUES('a','b') 再次運行：（會報出一個錯：D

>>阅读原文<<