爬蟲scrapy框架學習(三)

  3.示例2RedisSpider:               a.使用方法:它與示例1只有一個地方不同,就是將start_url存入redis中,代碼如下:                                         b.總結:該示例很簡單,只是將start_url存入redis_key中,就可實現分佈式爬蟲,                           多臺電腦
相關文章
相關標籤/搜索