關於爬蟲時url去重的初步探討（上）

博客第十五天 測試內容：自己寫init_add_request(spider,url:str)方法實現url去重（本次僅測試） 工具：Python3.6，Pycharm，scrapy， 工程內容：      1. 準備： # spider.py import scrapy from scrapy.http import Request class DuanDian(scrapy.Spider)

>>阅读原文<<