爬蟲代理Scrapy框架詳細介紹3

Scrapy防止反爬 通常防止爬蟲被反主要有以下幾個策略： • 動態設置User-Agent（隨機切換User-Agent，模擬不同用戶的瀏覽器信息，可以使用組件scrapy-random-useragent） • 禁用Cookies（對於簡單網站可以不啓用cookies middleware，不向Server發送cookies，有些網站通過cookie的使用發現爬蟲行爲）可以通過COOKIES_

>>阅读原文<<