Mongodb 刪除重複數據的幾個方法

Mongodb 刪除重複的數據 最近在處理一些專利數據，從專利局爬數據的時候，總會間隙性出現中斷，爲了保證數據的完整性就進行了一些重複下載。將數據從幾萬個Excel表格中導入Mongodb後，第一步就是要去掉重複的數據。個人第一反應是寫個Python小腳本，結果在執行的時候，因爲數據量確實比較大，有十幾萬條，執行了半個小時仍不見結束。這時候纔想着使用數據庫的查詢命令是否是能夠實現去重複的功能。簡單

>>阅读原文<<