python爬蟲利器Selenium使用詳解

簡介：

用pyhon爬取動態頁面時普通的urllib2沒法實現，例以下面的京東首頁，隨着滾動條的下拉會加載新的內容，而urllib2就沒法抓取這些內容，此時就須要今天的主角selenium。

Selenium是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中，就像真正的用戶在操做同樣。支持的瀏覽器包括IE、Mozilla Firefox、Mozilla Suite等。使用它爬取頁面也十分方便，只須要按照訪問步驟模擬人在操做就能夠了，徹底不用操心Cookie,Session的處理，它甚至能夠幫助你輸入帳戶，密碼，而後點擊登錄按鈕，對於上面的滾動條，你只須要讓瀏覽器滾到到最低端，而後保存頁面就能夠了。以上的這些功能在應對一些反爬蟲機制時十分有用。接下來就開始咱們的講解正文，帶領你們實現一個須要登陸的動態網頁的爬取。

 案例實現：

使用selnium須要選擇一個調用的瀏覽器並下載好對應的驅動，在桌面版能夠選擇Chrome,FireFox等，服務器端可使用PhantomJS，桌面版能夠直接調出來瀏覽器觀察到變化，因此通常咱們能夠在桌面版用Chrome等調試好以後，將瀏覽器改成PhantomJS而後上傳到服務器使其運行，這裏咱們直接以PhantomJS作演示.

首先時導入模塊：

1 from selenium.webdriver.common.desired_capabilities import DesiredCapabilities 2 from selenium import webdriver

接下來時初始化一個瀏覽器，參數中能夠指定加載網頁的一些屬性：

1 cap = webdriver.DesiredCapabilities.PHANTOMJS 2 cap["phantomjs.page.settings.resourceTimeout"] = 180
3 cap["phantomjs.page.settings.loadImages"] = False 4 
5 driver = webdriver.PhantomJS(executable_path="/home/gaorong/phantomjs-2.1.1-linux-x86_64/bin/phantomjs", desired_capabilities=cap)

上面初始了PhantomJS並設置了瀏覽器的路徑，加載屬性選擇了資源加載超時時間和不加載圖片（咱們只關心網頁文本）。在 這裏 還能夠選擇其餘設置。

 設置一些屬性，並下載一個網頁

1 driver.set_page_load_timeout(180) 2 driver.get('https://otx.alienvault.com/accounts/login/') 3 time.sleep(5) 4 driver.save_screenshot('./login.png')   #爲便於調試，保存網頁的截圖

 

 因爲在服務器端運行不免出錯，能夠用save_screenshot保存當前網頁的頁面便於調試。

接下來就是輸入帳戶和密碼登錄，以獲取網站的Cookies，便於後面請求。

 1 #輸入username和password 
 2 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[1]").send_keys('*****')  3 time.sleep(1)  4 print 'input user success!!!'
 5 
 6 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[2]").send_keys('****')  7 time.sleep(1)  8 print 'input password success!!!'
 9 
10 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/button").click() 11 time.sleep(5)

 

 上面代碼使用find_element_by_xpath獲取輸入框的位置後輸入帳戶和密碼並點擊登錄鍵，能夠看到一些都很方便。它會自動跳轉到下一個頁面，咱們只須要sleep幾秒等待它。

咱們須要爬取的網頁信息在某個特定的element裏，因此咱們須要判斷一下這個element是否出現：

 1  try:  2      element = WebDriverWait(driver, 10).until(  3          EC.presence_of_element_located((By.CLASS_NAME, 'pulses'))  4  )  5      print 'find element!!!'        
 6  except:  7      print 'not find element!!!'
 8      print traceback.format_exc()  9  driver.quit()

 

上面判斷 class爲 'pulse' 這個element是否出現，若是等待10s後還未出現，則selenum會爆出TimeoutError錯誤。

上面就進行了基本的初始化，而後就須要處理動態的內容了，這個網頁像京東同樣會隨着下拉自動出現內容，因此咱們須要實現下拉滾動條：

1 print 'begin scroll to get info page...'
2 t1 = time.time() 3 n = 60   #這裏能夠控制網頁滾動距離
4 for i in range(1,n+1): 5     s = "window.scrollTo(0,document.body.scrollHeight/{0}*{1});".format(n,i) 6     #輸出滾動位置，網頁大小，和時間
7     print s, len(driver.page_source),time.time()-t1 8  driver.execute_script(s) 9     time.sleep(2)

 

其中driver.page_source就是獲取網頁文本。當滾動完畢後咱們就能夠調用它而後寫到一個文件裏。這樣就完成了這個的程序邏輯。

高級：

用selenim能夠應對常見的反爬蟲策略，由於至關於一我的在瀏覽網頁，可是對於驗證碼這些還須要作額外的處理，還有一點就是訪問速度不能過快，畢竟他須要調用一個瀏覽器，若是嫌他速度慢的話咱們能夠在必要的時候使用他，非必要時候可使用requests庫進行操做。

這裏有兩篇博客你們能夠參考查閱：Python爬蟲利器五之Selenium用法 和 經常使用函數 

同時還有一個Selenum IDE能夠進行腳本錄製及案例轉換，我想你們在生活中均可以用得着，參見這裏