scrapy經常使用配置

scrapy經常使用配置 一.基本配置 1.項目名稱 2.爬蟲應用路徑 SPIDER_MODULES = ['Amazon.spiders'] NEWSPIDER_MODULE = 'Amazon.spiders'html 3.客戶端User-Agent請求頭 USER_AGENT = 'Amazon (+http://www.yourdomain.com)'python 4.是否遵循爬蟲協議 R

>>阅读原文<<