將scrapy-redis分佈式爬蟲使用Scrapyd部署項目

部署前提是自己的爬蟲項目已經寫完整。 如果使用的是pycharm工具,可直接在Terminal裏安裝需要的包。(anaconda3環境) 輸入命令pip install scrapy scrapyd scrapyd-client spiderkeeper 以上,安裝完所有需要的包。 輸入scrapy啓動scrapy服務 啓動成功。 瀏覽器輸入 127.0.0.1:6800 在script文件夾中找
相關文章
相關標籤/搜索