Selenium + PhantomJS + python 簡單實現動態頁面的爬取

Selenium

1、簡介

selenium是一個用於Web應用自動化程序測試的工具，測試直接運行在瀏覽器中，就像真正的用戶在操做同樣。

selenium2支持經過驅動真實瀏覽器（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）

selenium2支持經過驅動無界面瀏覽器（HtmlUnit，PhantomJs）

selenium2和selenium區別在於2中把WebDrive整合在了一塊兒

Selenium 的工做原理：

Selenium RC（selenium核心）

　　Selenium RC 使用的是javascript注入的方式跟瀏覽器打交道。這樣 Selenium RC 須要啓動一個Server，而後將操做頁面元素的API 轉成javascript腳本，再把這段腳本注入到瀏覽器中去執行。而經過這種javascript注入的方式一來太依賴翻譯成javascript質量的好壞，二來javascript存在同源問題。這使測試變得不那麼容易。

WebDriver（selenium2核心）

　　與Selenium RC 不一樣的是Selenium WebDriver 針對不一樣的瀏覽器進行獨立開發Driver，利用瀏覽器的原生API去直接操做瀏覽器和頁面元素，這樣大大提升了測試的穩定性和速度。固然由於不一樣的瀏覽器對Web元素操做和呈現多多少少會存在一些差別，這也就形成如今不一樣的瀏覽器須要有對應不一樣的Driver（ChromeDriver ,IEDriver等等）。

2、安裝 

Windows

第一種方法是：下載源碼安裝，下載地址（https://pypi.python.org/pypi/selenium）解壓並把整個目錄放到C:\Python27\Lib\site-packages下面

第二種方法是：能夠直接在C:\Python27\Scripts 下輸入命令安裝 pip install -U selenium

Linux

sudo pip install selenium

Selenium + PhantomJS + python 簡單實現動態網頁爬取

python能夠使用selenium執行javascript，selenium可讓瀏覽器自動加載頁面，獲取須要的數據。selenium本身不帶瀏覽器，能夠使用第三方瀏覽器如Firefox，Chrome等，也能夠使用headless瀏覽器如PhantomJS在後臺執行。

linux下執行的話就不用加executable_path='C:\Python27\Scripts\phantomjs.exe'

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities 

dcap = dict(DesiredCapabilities.PHANTOMJS)  #設置userAgent
dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ")
 

obj = webdriver.PhantomJS(executable_path='C:\Python27\Scripts\phantomjs.exe',desired_capabilities=dcap) #加載網址
obj.get('http://wap.95533pc.com')#打開網址
html = obj.page_source 獲取源碼
obj.save_screenshot("1.png")   #截圖保存
obj.quit()  # 關閉瀏覽器。當出現異常時記得在任務瀏覽器中關閉PhantomJS，由於會有多個PhantomJS在運行狀態，影響電腦性能

1、超時設置

webdriver類中有三個和時間相關的方法：

1.pageLoadTimeout    設置頁面徹底加載的超時時間，徹底加載即徹底渲染完成，同步和異步腳本都執行完

2.setScriptTimeout    設置異步腳本的超時時間

3.implicitlyWait         識別對象的智能等待時間

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")

obj.set_page_load_timeout(5)
try:
    obj.get('http://www.xiaohuar.com')
    print obj.title
except Exception as e:
    print e

2、元素的定位

對象的定位是經過屬性定位來實現的，這種屬性就像人的身份證信息同樣，或是其餘的一些信息來找到這個對象，那咱們下面就介紹下Webdriver提供的幾個經常使用的定位方法

<input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off">

上面這個是百度的輸入框，咱們能夠發現咱們能夠用id來定位這個標籤，而後就能夠進行後面的操做了

更多具體關於XPath的信息，請具體參照 http://www.cnblogs.com/hyddd/archive/2009/05/22/1487332.html

from selenium import webdriver

obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
    obj.get('http://www.baidu.com')
    obj.find_element_by_id('kw')                   #經過ID定位
    obj.find_element_by_class_name('s_ipt')         #經過class屬性定位
    obj.find_element_by_name('wd')                  #經過標籤name屬性定位
    obj.find_element_by_tag_name('input')           #經過標籤屬性定位
    obj.find_element_by_css_selector('#kw')         #經過css方式定位
    obj.find_element_by_xpath("//input[@id='kw']")  #經過xpath方式定位
    obj.find_element_by_link_text("貼吧")           #經過xpath方式定位
    print obj.find_element_by_id('kw').tag_name   #獲取標籤的類型
except Exception as e:
    print e　

 3、瀏覽器的操做

一、調用啓動的瀏覽器不是全屏的，有時候會影響咱們的某些操做，因此咱們能夠設置全屏

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
obj.maximize_window()  #設置全屏
try:
    obj.get('http://www.baidu.com')
    obj.save_screenshot('11.png')  # 截取全屏，並保存
except Exception as e:
    print e

二、設置瀏覽器寬、高

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
obj.set_window_size('480','800') #設置瀏覽器寬480，高800
try:
    obj.get('http://www.baidu.com')
    obj.save_screenshot('12.png')  # 截取全屏，並保存
except Exception as e:
    print e

三、操做瀏覽器前進、後退

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
    obj.get('http://www.baidu.com')   #訪問百度首頁
    obj.save_screenshot('1.png')
    obj.get('http://www.sina.com.cn') #訪問新浪首頁
    obj.save_screenshot('2.png')
    obj.back()                           #回退到百度首頁
    obj.save_screenshot('3.png')
    obj.forward()                        #前進到新浪首頁
    obj.save_screenshot('4.png')
except Exception as e:
    print e

4、操做測試對象

 定位到元素之後，咱們就應該對相應的對象進行某些操做，以達到咱們某些特定的目的，那咱們下面就介紹下Webdriver提供的幾個經常使用的操做方法

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
    obj.get('http://www.baidu.com')
    print obj.find_element_by_id("cp").text  # 獲取元素的文本信息
    obj.find_element_by_id('kw').clear()              #用於清除輸入框的內容
    obj.find_element_by_id('kw').send_keys('Hello')  #在輸入框內輸入Hello
    obj.find_element_by_id('su').click()              #用於點擊按鈕
    obj.find_element_by_id('su').submit()             #用於提交表單內容

except Exception as e:
    print e 

5、鍵盤事件

 一、鍵盤按鍵用法

from selenium.webdriver.common.keys import Keys
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
    obj.get('http://www.baidu.com')
    obj.find_element_by_id('kw').send_keys(Keys.TAB)   #用於清除輸入框的內容,至關於clear()
    obj.find_element_by_id('kw').send_keys('Hello')   #在輸入框內輸入Hello
    obj.find_element_by_id('su').send_keys(Keys.ENTER) #經過定位按鈕，經過enter（回車）代替click()

except Exception as e:
    print e

二、鍵盤組合鍵使用

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
    obj.get('http://www.baidu.com')
    obj.find_element_by_id('kw').send_keys(Keys.TAB)   #用於清除輸入框的內容,至關於clear()
    obj.find_element_by_id('kw').send_keys('Hello')   #在輸入框內輸入Hello
    obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'a')   #ctrl + a 全選輸入框內容
    obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'x')   #ctrl + x 剪切輸入框內容

except Exception as e:
    print e

6、中文亂碼問題

selenium2 在python的send_keys（）中輸入中文會報錯，其實在中文前面加一個u變成unicode就能搞定了

7、鼠標事件

一、鼠標單擊

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")

try:
    obj.get("http://pan.baidu.com")
    obj.find_element_by_id('TANGRAM__PSP_4__userName').send_keys('13201392325')   #定位並輸入用戶名
    obj.find_element_by_id('TANGRAM__PSP_4__password').send_keys('18399565576lu') #定位並輸入密碼
    obj.find_element_by_id('TANGRAM__PSP_4__submit').submit()                      #提交表單內容
    f = obj.find_element_by_xpath('/html/body/div/div[2]/div[2]/....')             #定位到要點擊的標籤
    ActionChains(obj).context_click(f).perform()                                   #對定位到的元素進行右鍵點擊操做 

except Exception as e:
    print e

二、鼠標雙擊

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
    obj.get("http://pan.baidu.com")
    obj.find_element_by_id('TANGRAM__PSP_4__userName').send_keys('13201392325')   #定位並輸入用戶名
    obj.find_element_by_id('TANGRAM__PSP_4__password').send_keys('18399565576lu') #定位並輸入密碼
    obj.find_element_by_id('TANGRAM__PSP_4__submit').submit()                     #提交表單內容
    f = obj.find_element_by_xpath('/html/body/div/div[2]/div[2]/....')            #定位到要點擊的標籤
    ActionChains(obj).double_click(f).perform()                                   #對定位到的元素進行雙擊操做

except Exception as e:
    print e

 8、cookie處理

一、獲取cookie

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
    obj.get("http://pan.baidu.com")
　　 obj.get_cookies()        # 獲取cookie
    obj.get_cookie（name）    # 獲取指定的cookie
except Exception as e:
    print e

2、添加cookie

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
    obj.get("http://pan.baidu.com")
    c1 = {u"name":u"ryan"}
　　 obj.add_cookie(c1)  # 添加cookie
    time.sleep(3)
    obj.refresh()       #刷新頁面 
except Exception as e:
    print e

 

參考：

http://www.cnblogs.com/yoyoketang/p/6536253.html

http://www.cnblogs.com/luxiaojun/p/6144748.html

http://blog.csdn.net/qq_25794017/article/details/78418091