Scrapy爬取百度股票時遇403錯誤的解決方法

問題：用Scrapy爬取百度股票的單支股票信息時，遇到403拒絕訪問錯誤，這應該是觸發了反爬機制。web 解決方法：經過嘗試發現百度股票（http://gupiao.baidu.com）反爬機制是檢測User-Agent，所以這裏能夠經過使用隨機User-Agent來進行爬取。 首先，這是網上找來的經常使用User-Agent列表，將它放在spider目錄下的爬蟲文件的類中：ruby user_a

>>阅读原文<<