防止爬蟲被ban，隨機更換代理IP，隨機User-Agent，及setting配置，PhantomJS抓取JS網頁

當有CONCURRENT_REQUESTS，沒有DOWNLOAD_DELAY 時，服務器會在同一時間收到大量的請求。html 當有CONCURRENT_REQUESTS，有DOWNLOAD_DELAY 時，服務器不會在同一時間收到大量的請求。python 兩種方法可以使 requests 不被過濾:  1. 在 allowed_domains 中加入 url  2. 在 scrapy.Reques

>>阅读原文<<