自動化認識（三）

產品穩按期自動化測試方案

 

1、概述

移動App產品更新速度太快，尤爲是產品前期階段，UI及邏輯功能調整頻繁，自動化測試很難跟上測試要求，將大量精力用於手動用例自動化並不太現實，因而自動化測試自己定位於少許用例自動化知足主要功能覆蓋，性能測試，壓力測試，穩定性測試等；但隨着產品進入穩按期，產品功能趨於完善，UI及邏輯功能調整幅度變小，能夠適時調整思路着眼於將手動用例自動化，以下降手動測試成本，加快測試速度。

整個思路以下：整理現有手動用例庫，篩選可被自動化用例組建自動化用例庫，編碼完成這些用例，以下降每次測試迭代中手動用例數量。就目前咱們組流程而言，每次發版都在下班時間點，晚上這段時間能夠批量運行自動化用例，若是單個用例成功率超過80%，則可視爲該用例成功，不然斷定失敗，次日上班後自動化人員查看失敗用例，對失敗用例進行手動驗證，並根據失敗狀況修復完善測試代碼，以此爲一個自動化迭代週期。假設一共有1000條用例，400條可用於自動化，即便自動化用例成功率在80%，也能夠爲每輪測試減小320條的量，每次測試迭代中減小了32%的量，這是很是可觀的。

 

 

 

      就一個版本內測試周期準備期而言，一旦產品文檔定版，就開始進入用例設計，篩選修改老測試用例，組建新版本測試用例計劃，與此同時自動化能夠針對產品文檔着手準備控件定義層(POM層)僞實現，調整公用方法邏輯層（LFM層）和用例層代碼，並對新版本測試用例計劃進行篩選，着手新一輪自動化測試用例代碼編寫和維護工做，一旦新版開發完畢，能夠迅速實現POM層，調試測試代碼邏輯，完成上述自動化測試迭代。

 

2、項目要求

實施上述流程對項目管理，用例管理，自動化測試人員和框架工具提出了更高的要求：

• 項目管理，整個流程對時間要求和團隊溝通配合要求十分嚴格，尤爲是準備期階段，這就要求測試管理人員針對流程各個階段在項目管理更加精細，把控能力更強；
• 用例管理是整個流程實施的基礎，咱們有兩個用例庫須要維護，總的測試計劃庫和自動化測試計劃庫（子庫），不只要求庫裏每一個用例步驟和驗證點寫得更加詳盡，還要求每次制定測試計劃時針對版本修正即便對庫裏用例進行維護，這對用例管理也提出了更高的要求；
• 另外咱們還要保證自動化用例執行的成功率以及驗證點的正確性，要知足代碼持續集成迭代的要求，這對自動化人員編碼能力提出了更高的要求，有條件的話必須引入code review；
• 整個流程中要用到測試用例管理，自動化代碼持續集成，自動化框架和自動化執行框架等各類輔助工具，市面上的一些工具並不能徹底知足需求，要自主研發和進行二次開發。

3、風險及限制

• 這一切流程都基於每一個版本迭代儘量小，尤爲是UI及頁面跳轉邏輯，至少得保證每次小幅改動頁面(邏輯基本不變，UI變更少於3處)不超過5個，大幅改動頁面不能超過2個，新增頁面雖然對原有測試代碼影響較小，但最好不能超過4個。
• 自動化最難的點仍然在於結果驗證，其不可能作到人眼驗證那麼準確，這對自動化覆蓋率有直接的影響，也要求用例描述更加詳盡。
• 要統計詳盡的自動化經過率，須要批量屢次執行用例，這就對設備個數提出了要求