python爬蟲框架之Scrapy之分佈式爬取讀書網

首先建立項目css 進入項目文件夾下用cmdhtml scrapy startproject DuShu 打開項目建立appredis scrapy genspider -t crawl dushu dushu.com 修改settings.py數據庫 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3

>>阅读原文<<