Scrapy實現對新浪微博某關鍵詞的爬取以及不同url中重複內容的過濾

工作原因需要爬取微博上相關微博內容以及評論。直接scrapy上手，發現有部分重複的內容出現。（標題重複，內容重複，但是url不重複） 目錄 1.scrapy爬取微博內容  2.scrapy爬取微博評論 3.scrapy+Redis實現對重複微博的過濾 1.scrapy爬取微博內容  爲了降低爬取難度，直接爬取微博的移動端：（電腦訪問到移動版本微博，之後F12調出控制檯來操作） 點擊搜索欄：輸入相關

>>阅读原文<<