爬蟲問題總結

本文檔對平常學習中用 python 作數據爬取時所遇到的一些問題作簡要記錄，以便往後查閱，部分問題可能由於認識不到位會存在一些誤解，敬請告知，萬分感謝，共同進步。

估算網站規模

該小節主要針對於整站爬取的狀況。
爬取整站以前，確定是要先對一個網站的規模進行估計。這是可使用google搜索查看大概有多少個網址，這裏使用到google搜索的一個小技巧。

     
     
     
     

      
      
      
      site:url地址
     
     
     
     

有的時候可查看網站的sitemap.xml，但它有時候會過時或者滯後，不是很準確。

識別網站所用技術

要爬的網站使用的技術會影響到咱們所寫的代碼中的處理手段。
推薦使用builtwith這個第三方包，可使用pip來安裝。
簡單使用以下：

     
     
     
     

      
      
      
      In [
      
      
      
      1]: 
      
      
      
      import builtwith
     
     
     
     
     
     
     
     

     
     
     
     

      
      
      
      In [
      
      
      
      2]: builtwith.parse(
      
      
      
      ‘http://example.webscraping.com/’)
     
     
     
     
     
     
     
     

      
      
      
      Out[
      
      
      
      2]:
     
     
     
     
     
     
     
     

      
      
      
      {
      
      
      
      u’javascript-frameworks’: [
      
      
      
      u’jQuery’, 
      
      
      
      u’Modernizr’, 
      
      
      
      u’jQuery UI’],
     
     
     
     
     
     
     
     
 
      
      
      
      u’programming-languages’: [
      
      
      
      u’Python’],
     
     
     
     
     
     
     
     
 
      
      
      
      u’web-frameworks’: [
      
      
      
      u’Web2py’, 
      
      
      
      u’Twitter Bootstrap’],
     
     
     
     
     
     
     
     
 
      
      
      
      u’web-servers’: [
      
      
      
      u’Nginx’]}
     
     
     
     

假裝成瀏覽器

UA，即 User-Agent，是Http協議的一部分，屬於頭域的組成部分，發送 http 請求時，請求頭中會有 User-Agent字段。服務器經過該字段來分辨發送請求的瀏覽器類型、版本、內核以及操做系統信息等。
在瀏覽器 console 可用以下命令來得到該瀏覽器的 UA 標識

     
     
     
     

      
      
      
      navigator
      
      
      
      .userAgent
     
     
     
     

部分網站不想被爬蟲爬取就會檢查 http 請求頭的該字段內容， 因此在用爬蟲作抓取時，一般要在請求頭加上該字段，以把本身假裝成瀏覽器。有時候經過手機瀏覽器訪問獲得的頁面會更加簡潔，更容易抓取，因此假裝成手機瀏覽器也是一種好方法。
網上有不少整理的不一樣瀏覽器的 UA ，好比各類瀏覽器UserAgent一覽表。
瀏覽器野史 UserAgent列傳（上）和 瀏覽器野史 UserAgent列傳（下），這兩篇文章細說了 UA 的前因後果，去感覺下當時波瀾壯闊的「瀏覽器之戰」。

防盜鏈

部分服務器會檢查 http 請求頭的 Referer 字段來判斷你是不是從指定頁面跳轉而來的，以達到防盜鏈的做用。所以在假裝請求頭部的時候，該字段也是不容忽視的。

url 編碼

咱們發現，URL 中有時候存在中文，這是就須要對 url 進行編碼。
能夠先將中文轉換成 utf-8 編碼，而後使用 urllib2.quote 方法對參數進行 url 編碼後傳遞。

     
     
     
     

      
      
      
      import urllib
     
     
     
     
     
     
     
     

      
      
      
      param = 
      
      
      
      u’你好’
     
     
     
     
     
     
     
     

      
      
      
      param = param.encode(
      
      
      
      ‘utf-8’)
     
     
     
     
     
     
     
     

      
      
      
      param = urllib.quote(param)
     
     
     
     

對於 url 來講，之因此要進行編碼，是由於 url 中有些字符會引發歧義。
同理使用 unquote 能夠解碼。

動態加載問題

常常會遇到這樣狀況：將網頁拖到底部會自動往下加載新的數據，或者有加載更多這樣的按鈕，這裏說的就是 AJAX 了。

AJAX 是 Asynchronous JavaScript and XML（異步的 JavaScript 和 XML）的縮寫。它經過使用原有的 web 標準組件，實現了在不從新加載整個頁面的狀況下，與服務器進行數據交互。例如在新浪微博中，你能夠展開一條微博的評論，而不須要從新加載，或者打開一個新的頁面。可是這些內容並非一開始就在頁面中的（這樣頁面就太大了），而是在你點擊的時候被加載進來的。這就致使了你抓取這個頁面的時候，並不能得到這些評論信息（由於你沒有『展開』）。

AJAX 通常是經過 XMLHttpRequest 對象接口發送請求的，XMLHttpRequest 通常被縮寫爲 XHR。

經過審查元素找請求的 js 地址

這些 js 的名字一般看起來與其餘的不太同樣。
拿澎湃網舉個栗子，這纔是發送請求得到文章的真正地址，

AJAX 的一種 常見用法是使用 AJAX 加載 JSON 數據，而後在瀏覽器端渲染。
這種狀況很好處理，由於 python 自帶的處理 json 的庫，舉個栗子：
豌豆莢安卓遊戲排行榜，每次點擊更多會加載新的數據。在審查元素裏，能夠看到每次點擊 查看更多，都會返回一個包含應用數據詳細信息的數據。

查看請求 json 數據的地址
http://apps.wandoujia.com/api/v1/apps?type=weeklytopgame&max=12&start=60
max 參數的值表示這一次請求返回多少個 app 信息， start 參數的值表示從第幾個 app 開始，start 從 0 開始。

另外，在構建請求頭時，應該加上這個參數 ‘X-Requested-With’: ‘XMLHttpRequest’,當使用 XHR 發送 AJAX 請求時 Header 會帶上這個字段，常被用於判斷是否是 AJAX 請求。

Selenium+PhantomJS

Selenium 是一個強大的網絡數據採集工具，最初是爲網站自動測試而開發的。它可讓瀏覽器自動加載頁面，獲取所須要的數據，甚至頁面截屏，或者判斷網站上某些動做事都發生。

對應的 python 庫，能夠用 pip 安裝。
PhantomJS 是一個 headless browser，它會把網站加載到內存並執行頁面上的 JavaScript，可是不會向用戶展現網頁的圖形界面。它不是python庫，須要單獨下載(喏，你要的官網)。
寫一個簡單的栗子：

  
  
  
  

   
   
   
   from selenium 
   
   
   
   import webdriver
  
  
  
  
  
  
  
  

   
   
   
   from selenium.webdriver.common.keys 
   
   
   
   import Keys
  
  
  
  
  
  
  
  

  
  
  
  

   
   
   
   driver = webdriver.PhantomJS(executable_path=
   
   
   
   ‘<Path to PhantomJs>’)
  
  
  
  
  
  
  
  

   
   
   
   driver.get(
   
   
   
   「http://www.python.org」)
  
  
  
  
  
  
  
  

   
   
   
   assert 
   
   
   
   「Python」 
   
   
   
   in driver.title
  
  
  
  
  
  
  
  

   
   
   
   elem = driver.find_element_by_name(
   
   
   
   「q」)
  
  
  
  
  
  
  
  

   
   
   
   elem.clear()
  
  
  
  
  
  
  
  

   
   
   
   elem.send_keys(
   
   
   
   「pycon」)
  
  
  
  
  
  
  
  

   
   
   
   elem.send_keys(Keys.RETURN)
  
  
  
  
  
  
  
  

   
   
   
   assert 
   
   
   
   「No results found.」 
   
   
   
   not 
   
   
   
   in driver.page_source
  
  
  
  
  
  
  
  

   
   
   
   driver.close()
  
  
  
  

Path to PhantomJs 處 須要指定位置，若是該路徑已經加入到了環境變量中，那麼能夠不加這個參數。
這裏只是個簡單的介紹，後續會對 Selenium 的 python 版 API 的使用作單獨介紹。

代理問題

部分網站對 ip 進行了限制，致使咱們沒法爬到想要的數據，這個時候能夠用代理來作。
使用 requests 這個第三方庫，能夠輕鬆地設置代理。
再舉個栗子：

    
    
    
    

     
     
     
     import requests
    
    
    
    
    
    
    
    

    
    
    
    

     
     
     
     proxies = {
    
    
    
    
    
    
    
    
  
     
     
     
     ‘http’: 
     
     
     
     ‘http://10.10.1.10:3128’,
    
    
    
    
    
    
    
    
  
     
     
     
     ‘https’: 
     
     
     
     ‘http://10.10.1.10:1080’,
    
    
    
    
    
    
    
    

     
     
     
     }
    
    
    
    
    
    
    
    

     
     
     
     requests.get(
     
     
     
     ‘http://example.org’, proxies=proxies)
    
    
    
    

發送 http 請求

雖然自帶的 urllib 和 urllib2 庫能夠知足需求，可是不推薦使用。爲何？由於它們的操做太繁瑣，尤爲在處理一些複雜狀況時，這不符合 python 的設計哲學，因此放手拋棄它們吧。
推薦使用 requests這個第三方庫，正如它標榜的那樣–Requests: HTTP for Humans，同時也支持 py3。
使用 requests 庫發送請求是如此的優雅，

    
    
    
    

     
     
     
     import requests
    
    
    
    
    
    
    
    

     
     
     
     r = requests.get(
     
     
     
     ‘https://api.github.com/events’)
    
    
    
    
    
    
    
    

     
     
     
     print r.text
    
    
    
    

具體使用方法能夠看官方 API。

解析頁面

既然獲取到了請求頁面的源碼，那麼接下來要作的就是解析工做，通常來講，有下面三個庫用得是最多的：lxml庫， bs4庫，以及正則。
lxml 解析速度要比 bs4 快，聽說快好幾倍，正則是個終結技，只是寫起來有點麻煩。另外， bs4 不支持 xpath，而lxml 支持，總之，視本身的狀況選擇了。
前幾天還接觸過一個庫，名字叫 pyquery，它是 jQuery 的 python 實現，能夠用於解析 html 網頁內容，熟悉 jQuery 語法童鞋的福音。

另:bs4 庫解析遇到的一個問題

前幾天遇到一個問題，問題是這樣的，html 頁面的數據通過Beautiful Soup庫的解析後，部分html源碼丟失，找不到想要的數據了，問題代碼以下：

    
    
    
    

     
     
     
     #! /usr/bin/env python
    
    
    
    
    
    
    
    

     
     
     
     # -*- coding:utf-8 -*-
    
    
    
    
    
    
    
    

    
    
    
    

     
     
     
     import requests
    
    
    
    
    
    
    
    

     
     
     
     from bs4 
     
     
     
     import BeautifulSoup
    
    
    
    
    
    
    
    

    
    
    
    

     
     
     
     url = 
     
     
     
     ‘http://product.pconline.com.cn/mobile/’
    
    
    
    
    
    
    
    

     
     
     
     res = requests.get(url)
    
    
    
    
    
    
    
    

     
     
     
     html = res.text
    
    
    
    
    
    
    
    

     
     
     
     # print html
    
    
    
    
    
    
    
    

     
     
     
     soup = BeautifulSoup(html, 
     
     
     
     ‘lxml’)
    
    
    
    
    
    
    
    

     
     
     
     site = soup.findAll(
     
     
     
     ‘img’, class_=
     
     
     
     ‘pic’)
    
    
    
    
    
    
    
    

     
     
     
     print site
    
    
    
    

輸出結果爲空，沒有想要的數據。查看官方文檔，bs 庫支持的解析庫有 lxml, html5lib 和 html.parser。用的最多的是 lxml，由於它的解析速度快，而且容錯能力強，默認也是使用該解析器。
出現解析後源碼丟失的可能緣由有 2 個：

• BeautifulSoup 有時候會遇到非法的，不支持的 html 源碼而致使沒法解析或沒法正常解析 html；
• 處理的文檔太大，而處理的解析器緩存不夠形成的信息丟失。
  這裏換一個解析器，換成 html.parser 就能夠了。

編碼問題

將編碼設置爲 utf-8

    
    
    
    

     
     
     
     import sys
    
    
    
    
    
    
    
    

     
     
     
     reload(sys)
    
    
    
    
    
    
    
    

     
     
     
     sys.setdefaultencoding(
     
     
     
     ‘utf-8’)
    
    
    
    

總之，py2 中的編碼問題很煩人，只要解碼與編碼不一致就會出現亂碼。對 unicode 能夠 編碼，其餘編碼 decode 成 unicode。
要注意‘hello’ 和 u’hello’ 的區別。

多線程爬取

驗證碼處理

模擬登陸

To be continued…

---

本文出自
https://vonalex.github.io/2016/05/29/%E7%88%AC%E8%99%AB%E9%97%AE%E9%A2%98%E6%80%BB%E7%BB%93/