selenium grid 使用

selenium除了可用於web的單元測試以外，用來作數據抓取也是一個很好的工具，對於數據由複雜的AJAX調用加載的網頁，直接調用瀏覽器渲染是開發效率最高的方式。python調用它的文檔也很詳細。

單機版的selenium安裝簡單，python調用也很簡單：

from selenium import webdriver

browser= webdriver.Firefox()

browser.get('https://www.google.com.sg/')
print browser.find_element_by_id('lga')

browser.close()
browser.quit()

便可實現打開google，獲取element的功能。

selenium grid是一個更高級的服務。能夠將多個單機鏈接成網絡，併發的提供瀏覽器渲染的功能。瀏覽本頁文檔便可完成配置。簡單來講就是以下三步：

1. 下載jar包 （Selenium Standalone Server）
2. 啓動hub： java -jar selenium-server-standalone-2.44.0.jar -role hub
3. 啓動node： java -jar selenium-server-standalone-2.44.0.jar -role node  -hub http://localhost:4444/grid/register

調用方法就是WebDriver的的類型初始化參數有變：

from selenium.webdriver.remote.webdriver import WebDriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


browser = WebDriver(command_executor='http://127.0.0.1:4444/wd/hub',
                    desired_capabilities=DesiredCapabilities.FIREFOX)


browser.get('https://www.google.com.sg/')
print browser.find_element_by_id('lga')


browser.close()
browser.quit()

另外，能夠經過自定義sevelet來在外層包裝出日誌、代理等功能，詳情可見文檔。