爬蟲代理池

目的:mysql """sql 1. 爬蟲每次發起請求須要從代理池中提取一個可用代理, 若是提取的代理不可用, 從代理池中刪除數據庫 2. 當代理池中的代理少於某個程度, 須要從新爬取一部分代理, 添加到代理池中scrapy """測試 用到的一些包(看我的需求)fetch import requestsspa # 鏈接數據庫代理 import pymysqlorm # 第三方包的隨機請求頭xml

>>阅读原文<<