Selenium 自動化驗收測試

Web 應用程序的驗收測試經常涉及一些手工任務，例如打開一個瀏覽器，並執行一個測試用例中所描述的操做。可是手工執行的任務容易出現操做人員人爲的錯誤，也比較費時間。所以，儘量將這些任務自動化，以消除人爲因素，這是一種很好的作法。因而 Selenium 之類的測試工具就有了用武之地。Selenium 幫助您自動化驗收測試，從而能夠構建通過更嚴格測試、於是更爲可靠也更易於維護的軟件。

驗收測試也稱黑盒測試和功能測試，是測試和檢驗應用程序是否能按照涉衆（stakeholder）的功能性需求、非功能性需求和其餘重要需求來運行的一種方法。驗收測試是單元測試和組合測試的補充，後二者一般是使用 xUnit 框架編寫的。驗收測試也可使用編程語言來編寫，可是 Selenium 和其餘相似的工具，例如 Fitnesse，也支持用特定於工具的文檔格式編寫測試。

驗收測試與單元測試和組合測試有如下不一樣之處：

• 應用程序是做爲一個完整的端到端實體來測試的，而不是像單元測試和組合測試那樣，只是測試一個類或一組類。
• 驗收測試是在用戶界面（例如一個瀏覽器）上執行的，而不是在 Web 應用程序界面上執行的。
• 編寫測試用例的人不必定知道應用程序的內部結構，所以也被稱做黑盒測試。非技術性用戶也能夠編寫驗收測試。

背景知識

在討論 Selenium 以前，我要介紹關於如下三個話題的一些背景知識，由於這些話題雖然不是本文的主題，可是和本文密切相關：

• 持續集成
• Ajax
• Ruby/Ruby on Rails

持續集成

持續集成的目標是自動化構建和測試過程，以便天天自動運行一次或屢次這些過程，而不是每月手動地運行一次。使用持續集成的最大好處是，代碼的更改會按期地自動被集成。若是系統受損，沒有構建成功，Apache Continuum 和 Luntbuild 之類的持續集成工具能夠自動經過發送電子郵件通知團隊（見 參考資料）。

Ajax

Ajax 是 Asynchronous JavaScript and XML 的縮寫，這是爲至關老的技術新創造的一個術語。Ajax 背後的主要思想是，因爲只需更新部分頁面而不是整個頁面，因此 Web 應用程序能夠更快地對用戶操做作出響應。

Ajax 將更多的複雜性引入到 Web 應用程序中，這一點也反映在測試中。這是由於 Ajax 就像它的名稱所代表的那樣，使用 JavaScript 和異步 HTTP 請求來更新頁面內容。每一個瀏覽器在實現中與其餘瀏覽器相比有一些小小的不一樣。Selenium 是測試和檢測這些差別的很好的工具，由於它在大多數流行的瀏覽器中都可以運行。

Ruby/Ruby on Rails

Ruby 是一種開放源碼的解釋型腳本語言，用於快捷、容易地進行面向對象程序設計。它提供了大量的庫，並且簡單易用，還具備可擴展性和可移植性。該語言是由 Yukihiro 「Matz」 Matsumoto 創造的，目的是讓程序員將更多的注意力放在手頭的任務上，擺脫語法的煩惱。

Rails 是由 David Heinemeier Hansson 創造的一種全棧的（full-stack）、開放源碼的 Ruby Web 框架。Rails 的目標是使現實中的應用程序編寫起來須要的代碼更少，而且比 J2EE 和 XML 之類的語言更容易。全部層都可以無縫地一塊兒工做，所以可使用一種語言編寫從模板到控制流乃至業務邏輯的各類東西。Rails 使用 YAML 而不是 XML 配置文件以及註釋形式的反射和運行時擴展。這裏不存在編譯階段 —— 程序修改後將直接運行。

什麼是 Selenium？

Selenium 是 ThoughtWorks 專門爲 Web 應用程序編寫的一個驗收測試工具。據 Selenium 主頁所說，與其餘測試工具相比，使用 Selenium 的最大好處是：

Selenium 測試直接在瀏覽器中運行，就像真實用戶所作的同樣。Selenium 測試能夠在 Windows、Linux 和 MacintoshAnd 上的 Internet Explorer、Mozilla 和 Firefox 中運行。其餘測試工具都不能覆蓋如此多的平臺。

使用 Selenium 和在瀏覽器中運行測試還有不少其餘好處。下面是主要的兩大好處：

• 經過編寫模仿用戶操做的 Selenium 測試腳本，能夠從終端用戶的角度來測試應用程序。
• 經過在不一樣瀏覽器中運行測試，更容易發現瀏覽器的不兼容性。

Selenium 的核心，也稱 browser bot，是用 JavaScript 編寫的。這使得測試腳本能夠在受支持的瀏覽器中運行。browser bot 負責執行從測試腳本接收到的命令，測試腳本要麼是用 HTML 的表佈局編寫的，要麼是使用一種受支持的編程語言編寫的。

Selenium 適用於如下瀏覽器：

	Internet Explorer	Mozilla	Firefox	Safari
Windows XP	6.0	1.6+, 1.7+	0.8+, 0.9+, 1.0
Red Hat Linux		1.6+, 1.7+	0.8+, 0.9+, 1.0+
Mac OS X 10.3	不支持	1.6+, 1.7+	0.8+, 0.9+, 1.0+	1.3+

 

Selenium 命令

經過 Selenium 命令，腳本編寫者能夠描述 browser bot 在瀏覽器中所執行的操做。能夠將這些命令分紅兩類 —— 操做（action） 和斷言（assertion）：

• 操做模擬用戶與 Web 應用程序的交互。例如，單擊一個按鈕和填寫一個表單，這些都是常見的用戶操做，能夠用 Selenium 命令來自動化這些操做。
• 斷言驗證一個命令的預期結果。常見的斷言包括驗證頁面內容或當前位置是否正確。

在 Selenium 網站上能夠找到可用命令的完整列表（見 參考資料）。

 

Selenium 模式

能夠按兩種模式來使用 Selenium：test runner 和 driven。這兩種模式在複雜性和編寫方式方面有所不一樣。driven 測試腳本編寫起來每每要更復雜一些，由於它們是用編程語言編寫的。可是若是使用 Python 或 Ruby 之類的高級動態編程語言，那麼這種複雜性方面的差別就很小。

兩種模式之間最大的不一樣點在於，若是使用 driven 腳本，測試有一部分在瀏覽器以外運行，而若是使用 test runner 腳本的話，測試是徹底在瀏覽器中運行的。

無論是 test runner 仍是 driven 測試用例，均可以與持續集成工具集成。

 

test runner 模式

Selenium test runner 腳本，也稱測試用例（test case），是用 HTML 語言經過一個簡單的表佈局編寫的，如 清單 1 所示。

清單 1. Selenium 測試用例的結構

<table border="1">
    <tr>
      <td>First command</td>
      <td>Target</td>
      <td>Value</td>
    </tr>
    <tr>
      <td>Second command</td>
      <td>Target</td>
      <td>Value</td>
    </tr>
  </table>

 

test runner 腳本一般與所測試的應用程序（AUT）部署在同一個服務器上。這是由於 browser bot 使用 JavaScript 來模擬用戶操做。這些腳本在一個受限制的沙箱環境中運行。若是須要繞過這些限制，可使用一個代理。

test runner 腳本使用與 xUnit 框架相同的測試套件（test suite）和測試用例概念。測試用例和命令按照它們在測試套件和測試用例中出現的順序依次執行。在 清單 1 中：

• 第一列包含命令 或斷言。
• 第二列包含命令或斷言的目標（target）。這裏能夠用多種受支持的組件定位符中的一種來指定目標。一般使用的是組件的 ID 或名稱，但 XPath 和 DOM 定位符也是受支持的。
• 第三列包含用於爲命令或斷言指定參數的值。例如，當使用 type 命令時，這一列可能就是一個文本域所指望的值。

即便對於非技術人員來講，test runner 腳本也易於閱讀和編寫。當在一個瀏覽器中打開 清單 1 中的例子時，將獲得相似這樣的一個表：

First command	Target	Value
Second command	Target	Value

接下來，我將描述如何使用命令和斷言編寫一個簡單可是完整的測試用例。

測試用例實例

執行 清單 2 中的測試腳本時，它將執行如下操做：

1. 經過進入 /change_address_form.html 打開變動地址頁面。
2. 在 ID 爲 address_field 的文本框中輸入 Betelgeuse state prison。
3. 單擊名爲 Submit 的輸入區。注意，這裏使用 XPath 找到 Submit 按鈕，這致使表單數據被髮送到服務器。
4. 驗證頁面是否包含文本 Address change successful。

清單 2. 在測試用例中使用命令和斷言的例子

  <table>
    <tr>
      <td>open</td>
      <td>/change_address_form.html</td>
      <td></td>
    </tr>
    <tr>
      <td>type</td>
      <td>address_field</td>
      <td>Betelgeuse state prison</td>
    </tr>
    <tr>
      <td>clickAndWait</td>
      <td>//input[@name='Submit']</td>
      <td></td>
    </tr>
    <tr>
      <td>verifyTextPresent</td>
      <td>Address change successful</td>
      <td></td>
    </tr>
  </table>

 

測試套件

要達到對應用程序的徹底測試覆蓋，一般須要不止一個測試用例。這就是 Selenium 使用測試套件的緣由。測試套件用於將具備相似功能的一些測試用例編成一組，以便讓它們按順序運行。

測試套件和測試用例同樣，都是用簡單的 HTML 表編寫的。Selenium 執行的缺省測試套件的名稱是 TestSuite.html。清單 3 展現了一個測試套件，該套件像一般的用戶同樣測試應用程序。注意，測試套件使用一個只包含一列的表，表中的每一行指向一個包含某個測試用例的文件。

清單 3. 測試套件示例

 <table>
    <tr>
      <td>Test suite for the whole application</td>
    </tr>
    <tr>
      <td><a href="test_main_page.html">Access main page</a></td>
    </tr>
    <tr>
      <td><a href="test_login.html">Login to application</a></td>
    </tr>
    <tr>
      <td><a href="test_address_change.html">Change address</a></td>
    </tr>
    <tr>
      <td><a href="test_logout.html">Logout from application</a></td>
    </tr>
  </table>

 

接下來我將把目光轉移到 driven 測試腳本。

driven 模式

driven Selenium 腳本是用多種受支持的編程語言中的一種編寫的 —— 目前可用的有 Java、Ruby 和 Python 驅動程序。這些腳本在瀏覽器以外的一個單獨的進程中運行。驅動程序的任務是執行測試腳本，並經過與運行在瀏覽器中的 browser bot 進行通訊來驅動瀏覽器。驅動程序與 browser bot 之間的通訊使用一種簡單的特定於 Selenium 的鏈接語言 Selenese。

driven 腳本比 test runner 腳本更強大、更靈活，能夠將它們與 xUnit 框架集成。driven 腳本的缺點（與 test runner 腳本相比）是，這種腳本編寫和部署起來更復雜。這是由於驅動程序必須執行如下任務：

• 啓動服務器。
• 部署所測試的應用程序（AUT）。
• 部署測試腳本。
• 啓動瀏覽器。
• 發送命令到 browser bot。
• 驗證 browser bot 執行的命令的結果。

driven 腳本更依賴於應用程序運行時環境。例如，Java 驅動程序使用一個嵌入式 Jetty 或 Tomcat 實例來部署所測試的應用程序。目前，已經有人在致力於將 Selenium 集成到 Ruby on Rails 中，可是在我撰寫本文之際，這個集成版本尚未被髮布。

清單 4 摘自一個使用 Ruby 驅動程序的 driven 測試腳本。注意，我省略了用於啓動服務器和瀏覽器的步驟，這個測試腳本代碼幾乎和 test runner 腳本同樣簡單。

清單 4. 使用 Ruby 驅動程序的例子

    puts selenium.open('/logout.html')
    puts selenium.verify_location('/index.html')

 

現實中的需求

在接下來的兩節（現實中的需求 和 現實中的用例）中，我將描述如何在現實場景中使用 Selenium，並針對用 Ruby on Rails 和一點兒 Ajax 技術編寫的一個簡單的股票報價查看器應用程序編寫 Selenium 測試用例。雖然這個應用程序是用 Ruby on Rails 編寫的，可是也能夠將這個例子應用於任何 Web 應用程序，由於測試腳本是按 test runner 模式以 HTML 編寫的。這個示例應用程序是用 Ruby 1.8.3 和 Ruby on Rails 0.14.2 測試的，可是它也可能可使用更舊的或更新的版本。

若是有 Linux，那麼發行版中一般已經包括了 Ruby。在命令提示符下運行 ruby -v，檢查您所擁有的版本。對於大多數平臺，均可以在http://www.ruby-lang.org/ 上找到一個 Ruby 發行版。

接下來的步驟是經過 RubyGems 打包系統安裝 Ruby on Rails。爲此，只需執行 gem install rails --include-dependencies。在某些平臺上，必須執行一些額外的步驟，因此請訪問 Ruby on Rails 網站，以得到更多細節。

在我撰寫本文之際，目前可用的 Selenium 版本是 0.6。我已經將它集成在示例應用程序中（見 下載 小節），個人作法是從http://selenium.thoughtworks.com/ 下載 Selenium Core 包，而後將名爲 selenium 的文件夾複製到用於靜態內容的文件夾。在 Ruby on Rails 應用程序中，這個文件夾的名稱是 public。在 J2EE Web 應用程序中，能夠將 selenium 文件夾放在 Web 應用程序的根目錄或 WAR 歸檔文件中。

最後一步是下載示例應用程序。從 下載 小節中得到這個包。解壓應用程序，並打開一個命令提示符。而後轉入應用程序被解壓到的那個目錄。爲了啓動應用程序，運行 ruby script/server。應該看到 Rails 成功啓動了，如 圖 1 所示。

圖 1. 從命令提示符下運行 Ruby on Rails

 

現實中的用例

在本節中，我將列出示例應用程序的用例。經過這些簡化的用例，能夠編寫模擬用戶所執行步驟的驗收測試，並驗證這些步驟的結果是否與預期相符。股票報價應用程序實現瞭如下四個用例：

• 登陸
• 查看股票
• 查看股票細節
• 退出

實現這些用例的代碼已經編寫好了；能夠在 app 目錄中找到該代碼，測試用例在 public/selenium/tests 文件夾中。

登陸用例

大多數人都知道登陸頁面是如何工做的 —— 輸入用戶名和密碼，而後將數據提交到服務器。若是憑證有效，就能夠成功登陸，並看到受安全保護的資源。在示例應用程序中，這個測試用例包含如下用戶操做和斷言，必須將它轉換成一個 Selenium 測試用例：

1. 單擊登陸連接。
2. 驗證系統是否要求用戶進行登陸。
3. 輸入用戶名。
4. 輸入密碼。
5. 按下登陸按鈕。
6. 驗證是否登陸成功。

圖 2 展現了用於這些需求的 Selenium 測試用例。注意，我是在運行測試以後截取屏幕快照的。綠色箭頭表示成功地經過驗證的斷言。

圖 2. 登陸和查看股票測試用例

查看股票測試用例

查看股票頁面顯示一個公司列表。用於這個頁面的測試用例很是簡單，因此被包括在前一個測試用例的後面。該測試用例驗證當前位置是否爲 /main/list_stocks，以及頁面是否包含文本 Click on a company name to view details。

查看股票細節用例

查看股票細節用例是在查看股票頁面上觸發的。用戶在一個公司名稱上單擊鼠標時，就觸發了到服務器的一個 Ajax 請求。服務器的響應包括該公司的詳細信息，這些信息將插入到當前頁面中，而沒必要從新裝載完整的頁面。用於這個用例的測試用例執行如下用戶操做：

1. 單擊公司名稱 Acme Oil。
2. 驗證頁面上是否顯示該公司的詳細信息。
3. 單擊公司名稱 Acme Automotive。
4. 驗證頁面上是否顯示該公司的詳細信息。

因爲使用了 Ajax，請求是異步發生的。在通常的 Web 應用程序中，全部東西一般都是同步的，所以這一點提出了一種不一樣的挑戰。能夠像測試其餘功能同樣來測試 Ajax 功能。唯一的不一樣是，必須讓 Selenium 暫停，等待 Ajax 命令完成。爲此，可使用 pause 命令來等待 Ajax 命令的完成。另外，Joseph Moore 在他最近的 blog 貼中提到，還可使用 waitForValue 和 waitForCondition 命令代替 pause 命令（見 參考資料）。

圖 3 展現了被轉換成 Selenium 用例的需求。

圖 3. 查看股票細節測試用例

注意 pause 命令：必須使用這些命令，以便等待異步請求完成和更新頁面內容。若是沒有 500 毫秒的暫停，測試將失敗（如 圖 4 所示）。

圖 4. 失敗的查看股票細節測試用例

pause 命令還測試 Ajax 功能的非功能性需求。500 毫秒對於 pause 命令是一個很好的值，由於 Ajax 請求應該快速地執行和完成。能夠試着去掉pause 命令，看看結果如何。若是測試在您的機器上失敗，那麼試着將這個值增長到 1000 毫秒。

退出用例

退出用例很容易實現，簡單來講只有如下兩步：

1. 單擊退出連接。
2. 驗證是否成功退出。

圖 5 展現了最後這個測試用例。

圖 5. 退出用例

全部測試都被添加到 圖 6 左側顯示的缺省測試套件中。

圖 6. 示例應用程序的測試套件

執行測試套件

最後要作的是在 Mozilla Firefox 和 Microsoft Internet Explorer 中執行測試套件。爲此，在瀏覽器中打開http://localhost:3000/selenium/TestRunner.html，而後單擊 圖 6 中所示的 All 按鈕。失敗的測試用例和斷言將被標記爲紅色，可是這裏，在兩個瀏覽器中全部用例都應該能夠成功完成（一樣見 圖 6）。注意，我使用的是 Mozilla Firefox 1.0.7 和 Internet Explorer 6.0。

還能夠單步調試測試套件，這意味着 Selenium 將很慢地執行測試套件，這樣當測試套件在瀏覽器中執行時，就能夠看到它的每一步。

結束語

Selenium 是軟件工程師、設計人員和測試人員的工具箱中又一個有用且重要的工具。經過將該工具與持續集成工具相結合，團隊就能夠將驗收測試自動化，並構建更好的軟件，由於他們能夠更容易、更早、更頻繁地發現 bug。Selenium 的另外一個優勢是能夠節省時間，使開發人員和測試人員沒必要將時間花在本能夠（也應該）自動化的手工任務上，從而讓團隊將精力放在更有價值的活動上。