Scrapy_redis+scrapyd搭建分佈式架構爬取知乎用戶信息

相關背景:前幾天寫了個用scrapy爬取知乎用戶信息的爬蟲(http://blog.csdn.net/qq_40717846/article/details/78950519),今天結合這個爬蟲,寫一個利用scrapy-redis+scrapyd構建分佈式爬取知乎用戶信息的爬蟲。php 相關準備: win10操做系統,騰訊雲服務器,redis,redis dedktop manager,Mongo
相關文章
相關標籤/搜索