爬蟲之代理池維護

時間 2019-11-26

原文原文鏈接

前言redis

作過爬蟲的應該都知道,在爬取反爬比較強的網站若是同一時間獲取的數據量過大就會致使封IP,例如豆瓣,搜狗之類的。那麼咱們咱們的策略就是搭建本身的代理池，Cookie池，使得爬蟲更像是普通用戶在操做同樣以此來解決目標網站封IP的問題。在網上有大量公開的免費代理，若是經濟基礎能夠的話，咱們也能夠購買付費的代理IP，用過的人也應該知道，不管是免費的仍是付費的，其實都不能保證是可用的，由於可能此IP也會被其餘人用來爬取一樣的目標站點而封禁，或者代理服務器忽然發生故障或網絡繁忙。一旦咱們選用了一個不可用的代理，這勢必會影響爬蟲的工做效率。因此咱們須要提早作篩選，將不可用的代理剔除掉，從而保留可用的代理。小編今天就給你們帶來如何搭建一個高效易用的代理池。算法

準備工做數據庫

首先須要成功安裝Redis數據庫並啓動服務，另外還須要安裝aiohttp、request、redis-py、pyquery、Flask庫，Redis安裝能夠參見百度。瀏覽器

代理池的目標安全

咱們須要作到下面的幾個目標，來實現易用高效的代理池服務器

基本模塊分爲4塊：存儲模塊，獲取模塊，檢測模塊，接口模塊。微信

存儲模塊：負責存儲抓取下來的代理。首先要保證代理不重複，要標識代理的可用狀況，還有動態實時處理每一個代理，因此一種比較高效和方便的存儲方式就是使用Redis的Sorted網絡

Set，即有序集合。，存儲模塊同時也是4個模塊中的中心模塊和基礎模塊，將其餘模塊串聯起來。多線程

獲取模塊：須要定時在各大代理網站抓取代理。代理能夠是免費公開代理也能夠是付費代理，代理的形式都是IP加端口，此模塊儘可能從不一樣來源獲取，儘可能抓取高匿代理，抓取成功以後將可用代理保存到數據庫中。負載均衡

檢測模塊：須要定時檢測數據庫中的代理。這裏須要設置一個檢測連接，最好是爬取那個網站就檢測那個網站，這樣更加有針對性，若是要作一個通用型的代理，那能夠設置百度等連接來檢測。另外，咱們須要標識每個代理的狀態，如設置分數標識，10分表示可用，分數越少表明越不可用。檢測一次，若是代理可用，咱們能夠將分數標識當即設置爲滿分10分，或者在原來的基礎上加1分；若是代理不可用，能夠將分數標識減1分，當分數減到必定閥值後，代理就直接從數據庫移除，經過這樣的標識分數，咱們就能夠辨別代理的可用狀況，選用的時候會更有針對性。

接口模塊：須要用API來提供對外服務的接口。其實咱們能夠直接鏈接數據庫來取對應的數據，可是這樣就須要知道數據庫的鏈接信息，而且要配置鏈接，而比較安全和方便的方式就是提供一個Web API接口，咱們經過訪問接口便可拿到可用代理。另外，因爲可用代理可能有多個，那麼咱們能夠設置一個隨機返回某個可用代理的接口，這樣就能保證每一個可用代理均可以取到，實現負載均衡。

設計思路已經很明確了，如今咱們就用代碼來實現代理池。

首先是存儲模塊，咱們須要定義一個類來操做數據庫的有序集合，定義一些方法來實現分數的設置、代理的獲取等。核心代碼以下：

其次是獲取模塊，獲取模塊的邏輯相對簡單，只須要寫一個爬蟲來從各大網站抓取代理就能夠了。核心代碼以下：

方便起見，咱們將獲取代理的每一個方法統必定義爲crawl開頭，這樣擴展的時候只須要添加crawl開頭的方法便可。這裏實現了幾個示例，爬取的大都是網上的免費網站，還有小白購買的付費代理（如今已經不能用了），若是你有本身的付費代理，也只須要添加到裏面便可。每一個代理方法都定義成了生成器，經過yeild返回一個個代理。程序首先獲取網頁，而後用解析庫進行解析，解析出IP加端口的形式而後返回。

而後定義了一個get_proxies()方法，將全部的以crawl開頭的方法調用一遍，獲取每一個方法返回的代理並組合成列表形式返回。這裏咱們用元類來實現這個方法。代碼以下：

最後定義了一個Getter類，用來動態的調用全部以crawl開頭的方法，而後獲取抓到的代理，將其加入到數據庫存儲起來：

咱們已經成功的將各個網站的代理獲取下來了，如今就須要檢測模塊來對全部代理進行多輪檢測。代理檢測可用，分數就設置爲10，不可用就丟棄或者減1，這樣就能夠實時改變每一個代理的可用狀況。如要獲取有效代理只須要獲取分數高的代理便可。因爲代理的數量很是多。爲了提升檢測效率，咱們在這裏使用了異步請求庫aiohttp來進行檢測。