scrapy--反爬

防止爬蟲被反主要有以下幾個策略： 1.動態設置 User-Agent（隨機切換 User-Agent，模擬不同用戶的瀏覽器信息） 2.隨機切換ip：1.request.meta['proxy'] = 'xxx.xx.xx.xxx:xx屬性設置新的，接入ip代理池，2.下載中間件， 3.動態網頁：scrapy和selenium對接 4.禁用cookies：有些網站通過 cookie 的使用發現爬蟲行

>>阅读原文<<