Scrayp-集成scrapy_redis和bloomfilter實現增量

前言 （備註一下，個人開發環境不是Linux就是MacOSX，Windows不少寫法不是這樣的） 在爬取數據的過程當中，有時候須要用到定時、增量爬取。定時這裏暫且不說，先說增量爬取。css 我想要的增量爬取目前只是簡單的，根據url請求來判斷是否爬過，若是爬過則再也不爬。 複雜一些的增量則是重複爬取，根據指定的幾個字段判斷是否值有變化，值有變化也算做增量，應當爬取且只更新變化部分（好比天貓商品數據

>>阅读原文<<