mongodb中處理插入數據去重問題

最近在寫一個爬蟲工具，將網站的數據儲存到mongodb中，因爲數據有重複的，因此我就在創建數據庫的時候，爲集合創建了索引，下面說下個人步驟，集合名稱爲drugitem，git 下面是集合截圖：mongodb 我要爲name字段建立惟一索引，由於要保證name沒有重複：數據庫 就這樣我運行程序發現數據比原來沒有設置惟一索引時少了好多，我仔細查看發現程序在name字段重複的地方中止了，這不是我想要的結

>>阅读原文<<