scrapy 一些坑

scrapy爬蟲出現Forbidden by robots.txt

# Obey robots.txt rules
ROBOTSTXT_OBEY = False


scrapy定時執行抓取任務

用crontab -ehtml

相關文章
相關標籤/搜索