破舊立新，精準測試之道

前言

第一次聽到精準測試是在幾年前了，那一瞬間就對這個流派充滿了好奇和探索的慾望，最近幾年逐漸獲得了各領域各行業中測試人員的普遍關注，那麼問題來了：

• 什麼是精準測試；
• 精準測試的意義和價值在哪裏；
• 精準測試總體方案如何落地；

傳統測試的痛點

測試效率低下

常規的測試類型包括功能測試、迴歸測試、自動化測試、接口測試等，很是依賴於測試人員的測試經驗，基於人工主觀分析的黑盒測試，藉助常規的用例設計方法來確保產品質量。

根據收益遞減規律，雖然大量的人力投入，不斷的執行測試，可是漏測率仍是居高不下。中間的無效測試和重複測試也浪費了大量的測試成本。

測試範圍沒法評估

• 多分支代碼合併到主分支，修改哪一個文件哪一個行，測試不可控；
• 代碼更新影響哪些功能無感知；
• 大部分的測試仍是基於對業務的理解，與真實業務數據還有差距，準確性難以保證，盲測，風險大；

測試過程當中的質量標準沒法衡量

怎麼樣斷定測試完成，怎麼樣斷定測的怎麼樣？質量控制貫穿於整個質量保障流程。

• 用例執行完成；
• 探索性測試完成；
• 開發人員缺陷修復完成；
• 迴歸測試完成；
• 自動化執行經過；

上述步驟完成意味着咱們的產品質量是合格的嗎？

上線以後的非一致性成本逐漸增高，測試過程沒有數據量化的評定，沒法衡量，只能依賴線上缺陷率，線下缺陷數，千行缺陷率等比較飄的指標來評定，測試管理難度大。

敏捷模式和分佈式微服務架構下的挑戰

• 迭代週期短，尤爲是互聯網行業，平常版本的週期基本兩週一個迭代，對於時間成本的控制要很是精確；
• 需求頻繁變動，每次變動都須要迴歸所有用例，大量的重複勞動；
• 軟件系統愈來愈複雜，服務和服務之間的調用邏輯關係沒有頭緒，沒法精準的預估範圍和定位缺陷；

基於上述痛點，咱們指望從如下方面解決：

1. 科學地評估代碼變動影響到的功能點，須要對這部分代碼作準確的針對性的測試，使測試更加的精準，迴歸測試所需的時間更短，迴歸的範圍更準確。釋放人力成本，將更多的時間和成本投入到更深，更底層的測試工做中；
2. 對代碼的邏輯進行深入的理解，哪些分支代碼被覆蓋到，哪些分支代碼沒有被覆蓋到，進行詳細的分析，找出漏測的地方，須要準，減小重複勞動，從經驗型的主觀判斷向精準的數據可視化轉變

精準測試的概念

精準測試是一套計算機測試輔助分析系統。使用用例和代碼兩個關鍵因子，進行質量綜合考量和分析的創新測試理論方法體系，核心組件包含軟件測試示波器、用例和代碼的雙向追溯、智能迴歸測試用例選取、覆蓋率分析、缺陷定位、測試用例聚類分析、測試用例自動生成系統，這些功能完整的構成了精準測試技術體系，大大加強了測試的深度與廣度，打破了測試部門的成長天花板，爲測試過程自己的價值挖掘和測試數據資產的增值，提供了必要而充分的條件。

核心特性之一雙向追溯

經過系統採集程序代碼執行邏輯，創建測試用例與程序代碼之間的邏輯關係，造成正向和逆向的雙向追溯機制，實現了精準無誤的數據可視化。

• 正向追溯：測試人員執行一個測試用例之後，精準測試能夠自動的記錄和顯示這個測試用例的代碼內部執行細節。每一個測試用例均可以進行量化分析和統計，這些量化數據既能夠用來對測試人員進行工做的考量，也能夠提供開發人員和測試人員之間進行信息化的交流。
• 逆向追溯：測試人員根據開發修改的代碼，分析代碼關聯的調用邏輯關係，快速精確的定位測試範圍，極大減小無效，重複的測試工做，使測試覆蓋率達到最大化。

精準的數據來斷定，全部數據由系統自動、原生錄入，數據不可篡改，產生測試數據可直接用於測試的過程管理和實效分析。支持測試數據的精準度量以及全面的、多維度的測試分析算法，將白盒測試的視角從覆蓋率擴展到智能測試分析。

用例的智能篩選

基於用例和代碼的追溯關係在進行運算以後全自動得出的。用例和代碼精準的追溯機制，使數據開始能夠實施大量的智能測試算法。

設計思路

1、增量代碼 diff

精準測試的核心特性之一是雙向追溯，前提是基於變動代碼的雙向追溯，所以變動的代碼是整個系統最重要的一個輸入。

• 經過 JGit 來獲取代碼差別；
• 解析到方法級別，做爲調用鏈路推演的輸入；

2、源碼靜態結構分析

• 函數調用分析方法：靜態方式基於字節碼的解析（ASM/bcel/Javassist 等），動態分析調用鏈路（使用 javaagent 對內部方法進行代碼織入等），這裏使用的是 JavaParser+JavaSymbolSolver 基於靜態代碼獲得完整的調用鏈路。

• 結合代碼增量得到變動代碼調用鏈：

  • 根據 Controll 層 Mapping 註解，得到變動代碼影響的上層業務相關的 Http 接口；
  • 根據 Dubbo XML 配置文件，得到變動代碼影響的內部 Dubbo 協議調用接口；

關鍵代碼：

1. 獲取 Java 文件的符號推理器

1. 獲取 Jar 文件的符號推理器（微服務架構下，跨服務的面向過程調用）

到此，關鍵的一步受影響的接口已經得到，有了上述的能力，咱們能夠知道經過哪些接口能夠去測試此次改動的代碼，可是面對大量的接口列表，相信大部分測試人員是一臉懵逼的。

3、增量代碼覆蓋率

價值：

1. 經過增量代碼覆蓋率的統計，對系統的內部執行邏輯深刻分析，篩選分析未覆蓋或者覆蓋率較低的方法，依賴上述的調用鏈路能夠獲取到影響的接口來進行用例的補充和測試；
2. 經過研發效能平臺持續集成，進行覆蓋率卡點，當覆蓋率低於預期值將沒法經過測試；

方案：

增量覆蓋率的設計方案這裏不過多介紹，請自行查閱相關資料，概括成如下幾點：

• Jacoco 作相應的改造，增長增量代碼的數據統計；
• JVM 啓動參數配置 Agent，TCP 方式啓動；
• Dump 覆蓋率文件和 class 文件解析後獲得報告；

如何避免一次測試過程當中，服務屢次重啓和部署，致使覆蓋率丟失，有幾種解決方案：

• 定時 Dump 覆蓋率數據進行彙總；
• 經過 shutdown 事件，觸發 Dump 覆蓋率數據；

總體框架:

覆蓋率曲線示波器：

覆蓋率詳情：

4、智能推薦用例

智能推薦算法：算法是什麼？咱們能夠把它簡化爲一個函數。函數接受若干個參數，輸出一個返回值。

輸入參數是線上監控，覆蓋率和自動化覆蓋的各類屬性和特徵，包括調用頻次，時間分段，行業，覆蓋率，是否有自動化，發佈時間等等。通過推薦算法處理後，返回一個按照重要度，緊迫度排序的推薦用例列表。

業內經常使用的幾種推薦算法以下：

此外，經過篩選自動化用例能夠獲得哪些接口沒有被自動化，反哺到自動化平臺用例的補充，以完善自動化接口覆蓋率，流程上造成閉環。

接口變動兼容性校驗：

咱們還能夠作接口參數變動兼容性驗證，測試過程當中經過研發效能平臺持續集成觸發檢測，挑選出接口兼容性可能存在問題的接口，郵件通知到測試人員。

將來的展望

1、智能缺陷定位

傳統軟件測試過程當中，缺陷由測試人員錄入到缺陷管理平臺，只負責發現缺陷。開發人員針對這些缺陷進行定位、排查和遠程調試，若是測試人員提交的缺陷是比較模糊的功能描述，那麼開發人員將會花費大量的時間去排查問題。

經過精準測試平臺，對於執行失敗或者不經過的用例，根據用例執行詳細的路徑追溯信息，自動分析缺陷產生的代碼塊，給出缺陷產生的可疑代碼排名。

參考實際的缺陷定位手法，實現把抽象的定位思路轉變成直觀的可視化圖形界面。

2、測試過程的行爲分析

經過對測試人員測試執行和代碼的路徑追溯信息，進行聚類分析：

• 某個功能的測試範圍是否充分；
• 測試人員的測試習慣聚焦在哪些功能；
• 哪些分支的覆蓋比較薄弱；
• 哪些用例的設計重複性較高；

客觀的呈現每一個測試人員的測試思路和能力曲線，好比測試是否充分的功能用圓形來展示，越充分直徑越大，習慣聚焦的功能點用距離來展示，越聚焦距離該功能越近等。

總結

精準測試是一個完整的質量體系架構，傳統的黑盒測試與白盒測試相結合的模式，經過不斷的對人的行爲的分析得出不足點和漏洞點，引導開發和測試有針對性的改正糾偏，逐步的完善整個質量保障體系。

更多相關技術內容歡迎關注 網易智企技術+ 公衆號。