使用Scrapy採集

1、有些站點通過robot協議，防止scrapy爬取，就會出現如下問題： DEBUG: Forbidden by robots.txt: <GET http://baike.baidu.com/lishi/> 解決方案：settings.py 文件中：ROBOTSTXT_OBEY = False（默認爲true） 2、shell中執行爬蟲會看到很多亂七八糟的日誌輸入 3、爬蟲執行日誌輸出到指定文

>>阅读原文<<