Scrapy框架使用微博CookiesPool時的相關設置

我們想要爬取微博這樣的大型網站，如果不採取一些措施，IP很容易遭到查封，而使用cookie池便是很好的方法。 **第一步：**下載代理Cookie池 下載網址：GitHub：https://github.com/Python3WebSpider/CookiesPool 進入到該網站並下載 下載完成解壓縮文件之後，需要進行一些配置的更改，如圖 以及config.py文件底部的設置，第一個在新賬號添加

>>阅读原文<<