AJAX(Asynchronouse JavaScript And XML)異步JavaScript和XML。過在後臺與服務器進行少許數據交換,Ajax 可使網頁實現異步更新。這意味着能夠在不從新加載整個網頁的狀況下,對網頁的某部分進行更新。傳統的網頁(不使用Ajax)若是須要更新內容,必須重載整個網頁頁面。由於傳統的在傳輸數據格式方面,使用的是XML
語法。所以叫作AJAX
,其實如今數據交互基本上都是使用JSON
。使用AJAX加載的數據,即便使用了JS,將數據渲染到了瀏覽器中,在右鍵->查看網頁源代碼
仍是不能看到經過ajax加載的數據,只能看到使用這個url加載的html代碼。css
方式 | 優勢 | 缺點 |
---|---|---|
分析接口 | 直接能夠請求到數據。不須要作一些解析工做。代碼量少,性能高。 | 分析接口比較複雜,特別是一些經過js混淆的接口,要有必定的js功底。容易被發現是爬蟲。 |
selenium | 直接模擬瀏覽器的行爲。瀏覽器能請求到的,使用selenium也能請求到。爬蟲更穩定。 | 代碼量多。性能低。 |
Selenium
至關因而一個機器人。能夠模擬人類在瀏覽器上的一些行爲,自動處理瀏覽器上的一些行爲,好比點擊,填充數據,刪除cookie等。chromedriver
是一個驅動Chrome
瀏覽器的驅動程序,使用他才能夠驅動瀏覽器。固然針對不一樣的瀏覽器有不一樣的driver。如下列出了不一樣瀏覽器及其對應的driver:html
Selenium
:Selenium
有不少語言的版本,有java、ruby、python等。咱們下載python版本的就能夠了。 pip install selenium
chromedriver
:下載完成後,放到不須要權限的純英文目錄下就能夠了。如今以一個簡單的獲取百度首頁的例子來說下Selenium
和chromedriver
如何快速入門:java
from selenium import webdriver # chromedriver的絕對路徑 driver_path = r'D:\ProgramApp\chromedriver\chromedriver.exe' # 初始化一個driver,而且指定chromedriver的路徑 driver = webdriver.Chrome(executable_path=driver_path) # 請求網頁 driver.get("https://www.baidu.com/") # 經過page_source獲取網頁源代碼 print(driver.page_source)
更多教程請參考:http://selenium-python.readthedocs.io/installation.html#introductionpython
driver.close()
:關閉當前頁面。driver.quit()
:退出整個瀏覽器。find_element_by_id
:根據id來查找某個元素。等價於:
submitTag = driver.find_element_by_id('su') submitTag1 = driver.find_element(By.ID,'su')
find_element_by_class_name
:根據類名查找元素。 等價於:
submitTag = driver.find_element_by_class_name('su') submitTag1 = driver.find_element(By.CLASS_NAME,'su')
find_element_by_name
:根據name屬性的值來查找元素。等價於:
submitTag = driver.find_element_by_name('email') submitTag1 = driver.find_element(By.NAME,'email')
find_element_by_tag_name
:根據標籤名來查找元素。等價於:
submitTag = driver.find_element_by_tag_name('div') submitTag1 = driver.find_element(By.TAG_NAME,'div')
find_element_by_xpath
:根據xpath語法來獲取元素。等價於:
submitTag = driver.find_element_by_xpath('//div') submitTag1 = driver.find_element(By.XPATH,'//div')
find_element_by_css_selector
:根據css選擇器選擇元素。等價於:git
submitTag = driver.find_element_by_css_selector('//div') submitTag1 = driver.find_element(By.CSS_SELECTOR,'//div')
要注意,find_element
是獲取第一個知足條件的元素。find_elements
是獲取全部知足條件的元素。github
操做輸入框:分爲兩步。第一步:找到這個元素。第二步:使用send_keys(value)
,將數據填充進去。示例代碼以下:web
inputTag = driver.find_element_by_id('kw') inputTag.send_keys('python')
使用clear
方法能夠清除輸入框中的內容。示例代碼以下:ajax
inputTag.clear()
操做checkbox:由於要選中checkbox
標籤,在網頁中是經過鼠標點擊的。所以想要選中checkbox
標籤,那麼先選中這個標籤,而後執行click
事件。示例代碼以下:chrome
rememberTag = driver.find_element_by_name("rememberMe") rememberTag.click()
選擇select:select元素不能直接點擊。由於點擊後還須要選中元素。這時候selenium就專門爲select標籤提供了一個類selenium.webdriver.support.ui.Select
。將獲取到的元素當成參數傳到這個類中,建立這個對象。之後就可使用這個對象進行選擇了。示例代碼以下:shell
from selenium.webdriver.support.ui import Select # 選中這個標籤,而後使用Select建立對象 selectTag = Select(driver.find_element_by_name("jumpMenu")) # 根據索引選擇 selectTag.select_by_index(1) # 根據值選擇 selectTag.select_by_value("http://www.95yueba.com") # 根據可視的文本選擇 selectTag.select_by_visible_text("95秀客戶端") # 取消選中全部選項 selectTag.deselect_all()
操做按鈕:操做按鈕有不少種方式。好比單擊、右擊、雙擊等。這裏講一個最經常使用的。就是點擊。直接調用click
函數就能夠了。示例代碼以下:
inputTag = driver.find_element_by_id('su') inputTag.click()
有時候在頁面中的操做可能要有不少步,那麼這時候可使用鼠標行爲鏈類ActionChains
來完成。好比如今要將鼠標移動到某個元素上並執行點擊事件。那麼示例代碼以下:
inputTag = driver.find_element_by_id('kw') submitTag = driver.find_element_by_id('su') actions = ActionChains(driver) actions.move_to_element(inputTag) actions.send_keys_to_element(inputTag,'python') actions.move_to_element(submitTag) actions.click(submitTag) actions.perform()
還有更多的鼠標相關的操做。
cookie
:
for cookie in driver.get_cookies(): print(cookie)
value = driver.get_cookie(key)
driver.delete_all_cookies()
cookie
:
driver.delete_cookie(key)
如今的網頁愈來愈多采用了 Ajax 技術,這樣程序便不能肯定什麼時候某個元素徹底加載出來了。若是實際頁面等待時間過長致使某個dom元素還沒出來,可是你的代碼直接使用了這個WebElement,那麼就會拋出NullPointer的異常。爲了解決這個問題。因此 Selenium 提供了兩種等待方式:一種是隱式等待、一種是顯式等待。
隱式等待:調用driver.implicitly_wait
。那麼在獲取不可用的元素以前,會先等待10秒中的時間。示例代碼以下:
driver = webdriver.Chrome(executable_path=driver_path) driver.implicitly_wait(10) # 請求網頁 driver.get("https://www.douban.com/")
顯示等待:顯示等待是代表某個條件成立後才執行獲取元素的操做。也能夠在等待的時候指定一個最大的時間,若是超過這個時間那麼就拋出一個異常。顯示等待應該使用selenium.webdriver.support.excepted_conditions
指望的條件和selenium.webdriver.support.ui.WebDriverWait
來配合完成。示例代碼以下:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Firefox() driver.get("http://somedomain/url_that_delays_loading") try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "myDynamicElement")) ) finally: driver.quit()
一些其餘的等待條件:
element_to_be_cliable:某個元素是能夠點擊了。
有時候窗口中有不少子tab頁面。這時候確定是須要進行切換的。selenium
提供了一個叫作switch_to_window
來進行切換,具體切換到哪一個頁面,能夠從driver.window_handles
中找到。示例代碼以下:
# 打開一個新的頁面 self.driver.execute_script("window.open('"+url+"')") # 切換到這個新的頁面中 self.driver.switch_to_window(self.driver.window_handles[1])
有時候頻繁爬取一些網頁。服務器發現你是爬蟲後會封掉你的ip地址。這時候咱們能夠更改代理ip。更改代理ip,不一樣的瀏覽器有不一樣的實現方式。這裏以Chrome
瀏覽器爲例來說解:
from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("--proxy-server=http://110.73.2.248:8123") driver_path = r"D:\ProgramApp\chromedriver\chromedriver.exe" driver = webdriver.Chrome(executable_path=driver_path,chrome_options=options) driver.get('http://httpbin.org/ip')
WebElement
元素:from selenium.webdriver.remote.webelement import WebElement
類是每一個獲取出來的元素的所屬類。
有一些經常使用的屬性:
driver
上使用。driver
的對象類,也是繼承自WebElement
。更多請閱讀相關源代碼。