python爬蟲總結

目錄

• 經常使用第三方庫
• 爬蟲框架
• 動態頁面渲染
• 爬蟲防屏蔽策略
• 結語

因爲某些緣由最近終於能夠從工做的雜事中抽出身來，有時間把以前的一些爬蟲知識進行了一個簡單的梳理，也從中體會到階段性地對過往知識進行梳理是真的頗有必要。

經常使用第三方庫

對於爬蟲初學者，建議在瞭解爬蟲原理之後，在不使用任何爬蟲框架的狀況下，使用這些經常使用的第三方庫本身實現一個簡單的爬蟲，這樣會加深對爬蟲的理解。

urllib和requests都是python的HTTP庫，包括urllib2模塊以巨大的複雜性代價獲取綜合性的功能。相比於urllib2,Requests模塊更能簡約的支持完整的簡單用例。關於urllib和requests的優缺點和區別，你們能夠去網上查一下。

BeautifulSoup和lxml都是python頁面解析的庫。BeautifulSoup 是基於 DOM 的，會載入整個文檔，解析整個DOM樹，所以時間和內存開銷都會大不少。而lxml只會進行局部遍歷，使用xpath可以很快定位標籤。bs4 是用 python 寫的，lxml 是 c 語言實現的，也決定了lxml比bs4要快。

該博客有比較全面的關於python爬蟲經常使用第三方庫的彙總，可作參考。
https://blog.csdn.net/woshisunchi/article/details/60877817

爬蟲框架

python經常使用的爬蟲框架就是scrapy和pyspider兩個。
關於框架的使用方法及詳細介紹，可參考官方文檔。

動態頁面渲染

1. url請求分析

（1）認真分析頁面結構，查看js響應的動做;
（2）藉助瀏覽器分析js點擊動做所發出的請求url;
（3）將此異步請求的url做爲scrapy的start_url或者yield reques再次進行抓取。

2. selenium

Selenium是一個Web的自動化測試工具，最初是爲網站自動化測試而開發的，類型像咱們玩遊戲用的按鍵精靈，能夠按指定的命令自動化操做，不一樣是Selenium能夠直接運行在瀏覽器上，它支持全部主流的瀏覽器(包括PhantomJS這些無界面的瀏覽器)。

Selenium能夠根據咱們的指令，讓瀏覽器自動加載頁面，獲取須要的頁面，甚至頁面截屏，或者判斷網站上某些動做是否發生。

Selenium本身不帶瀏覽器，不支持瀏覽器的功能，它須要與第三方瀏覽器結合在一塊兒才能使用。

3. phantomjs

使用selenium調用瀏覽器進行抓取頁面時，因爲要執行打開瀏覽器並渲染頁面的操做，當進行大規模數據抓取時效率較低，沒法知足需求。這時咱們能夠選擇使用phantomjs。

PhantomJS是一個基於Webkit的"無界面"(headless)瀏覽器，它會把網站加載到內存並執行頁面上的JavaScript，由於不會展現圖形界面，因此運行起來比完整的瀏覽器更高效。

若是咱們把Selenium和PhantomJS結合在一塊兒，就能夠運行一個很是強大的網絡爬蟲了，這個爬蟲能夠處理JavaScript、Cookie、headers，以及任何咱們真實用戶須要作的事情。

4. splash

Splash是一個Javascript渲染服務。它是一個實現了HTTP API的輕量級瀏覽器，Splash是用Python實現的，同時使用Twisted和QT。Twisted（QT）用來讓服務具備異步處理能力，以發揮webkit的併發能力。

python鏈接splash的庫叫作scrapy-splash，scrapy-splash使用的是Splash HTTP API， 因此須要一個splash instance，通常採用docker運行splash，因此須要安裝docker。

5. spynner

spynner是一個QtWebKit的客戶端，它能夠模擬瀏覽器，完成加載頁面、引起事件、填寫表單等操做。

爬蟲防屏蔽策略

1. 修改User-Agent

User-Agent是一種最多見的假裝瀏覽器的手段。

User-Agent是指包含瀏覽器信息、操做系統信息等的一個字符串，也稱之爲一種特殊的網絡協議。服務器經過它判斷當前訪問對象是瀏覽器、郵件客戶端仍是網絡爬蟲。在request.headers裏能夠查看user-agent，關於怎麼分析數據包、查看其User-Agent等信息，這個在前面的文章裏提到過。

具體方法能夠把User-Agent的值改成瀏覽器的方式，甚至能夠設置一個User-Agent池（list，數組，字典均可以），存放多個「瀏覽器」，每次爬取的時候隨機取一個來設置request的User-Agent，這樣User-Agent會一直在變化，防止被牆。

2. 禁止cookies

cookie實際上是儲存在用戶終端的一些被加密的數據，有些網站經過cookies來識別用戶身份，若是某個訪問老是高頻率地發請求，極可能會被網站注意到，被嫌疑爲爬蟲，這時網站就能夠經過cookie找到這個訪問的用戶而拒絕其訪問。

經過禁止cookie，這是客戶端主動阻止服務器寫入。禁止cookie能夠防止可能使用cookies識別爬蟲的網站來ban掉咱們。

在scrapy爬蟲中能夠設置COOKIES_ENABLES= FALSE，即不啓用cookies middleware，不向web server發送cookies。

3. 設置請求時間間隔

大規模集中訪問對服務器的影響較大，爬蟲能夠短期增大服務器負載。這裏須要注意的是：設定下載等待時間的範圍控制，等待時間過長，不能知足短期大規模抓取的要求，等待時間太短則頗有可能被拒絕訪問。

設置合理的請求時間間隔，既保證爬蟲的抓取效率，又不對對方服務器形成較大影響。

4. 代理IP池

其實微博識別的是IP，不是帳號。也就是說，當須要連續抓取不少數據的時候，模擬登陸沒有意義。只要是同一個IP，無論怎麼換帳號也沒有用，主要的是換IP。

web server應對爬蟲的策略之一就是直接將IP或者整個IP段都封掉禁止訪問，當IP被禁封后，轉換到其餘IP繼續訪問便可。方法：代理IP、本地IP數據庫（使用IP池）。

5. 使用Selenium

使用Selenium來模擬人工點擊訪問網站，是種頗有效的防止被ban的方式。可是Selenium效率較低，不適合大規模數據抓取。

6. 破解驗證碼

驗證碼是如今最多見的防止爬蟲的手段。有能力的小夥伴能夠本身寫算法破解驗證碼，不過通常咱們能夠花點錢使用第三方打碼平臺的接口，輕鬆實現驗證碼的破解。

結語

以上內容就是關於python爬蟲的一點梳理，具體到某個技術點須要本身再查詳細資料。但願對於學習爬蟲的同窗有一點點幫助。