在實踐中進行用戶測試和評估

2019工業信息安全技能大賽我的線上賽第一場圓滿收官。在保障競賽平臺成功穩定運行的同時，更多的仍是思考競賽平臺在本次支撐過程當中的用戶體驗，用戶測試與評估狀況。做爲專業爲工業信息安全打造的人才測評選拔和競賽平臺，實際的競賽活動就是檢驗和測試產品最好的試金石，也是用戶測試環節的最佳測試環境。
在產品設計與優化過程當中，產品用戶測試與評估環節是指請符合測試要求的目標用戶來完成一些特定或具備表明性的任務，觀察並記錄用戶使用產品的整個過程，包括用戶使用的順暢程度和情緒等多個方面。測試過程不是應對用戶的不滿和要求，而是經過觀察用戶的行爲操做及情緒等方面來把握用戶的實際使用狀況。用戶測試有時也會稱爲產品可用性測試，可用性測試的定義是「特定用戶在特定的使用場景下，爲了達到特定的目標而使用某產品時，所感覺到的有效性、頻率及滿意度」。用戶測試也做爲競品分析和市場調研的方法，咱們會常常性的使用用戶測試的方法對其餘廠商的產品進行評測，爲自身產品的設計提供參考。
對於目前市面上存在的網絡安全競賽平臺而言，用戶使用情境和目標就是支撐網絡安全賽題展現交互與賽題答案提交，併爲選手輸出可定量和定性的評估結果。知足了這樣的前提，咱們才能使用有效性、效率及滿意度等這些標準來對其進行評價。競賽平臺通過在咱們典型的可用性實驗室及產品測試團隊的可用性測試的基礎上，經歷了2018工業信息安全技能大賽多個場次的用戶使用測試，在產品的可用性上，已經具有了提供網絡安全賽題展現交互與賽題答案提交併提供定量和定性評估結果的目標和功能，即產品已經具有了可用性。
在2019工業信息安全技能大賽的支撐上，咱們對競賽平臺後續須要的可用性測試目標進行了進一步梳理，即在2019工業信息安全技能大勝過程中，咱們的產品團隊對競賽平臺的可用性測試的測試目標是什麼？也就是咱們作可用性測試到底要測那些內容，想知道些什麼信息？根據標準的可用性測試方法及流程，通常來說可用性測試主要分爲三大內容：
第一：首先是有效性。是否有效就是說用戶是否能達成本身的目標，好比網絡安全競賽，有效性就是用戶可以進行賽題交互、提交答案並輸出定量和定性結果，若是提交不了答案就是有效性出了問題，那這個競賽平臺就沒有存在的價值了。因此有效性問題就是首要的必需要解決的問題。
第二：效率。效率就是用戶不用作無用功，能以最快路徑達成目標，仍然以網絡安全競賽爲例，若是用戶在競勝過程中須要反覆操做不少次才能完成任務，那就存着效率問題了，嚴重的效率問題就是有效性問題。
第三：滿意度。滿意度是在有效性和效率兩方面都沒有大問題的狀況下，有沒有給咱們的用戶帶來不愉悅的體驗，這就可能涉及到不少方面不少細節，好比用戶註冊的時候會不會要求輸入過多的信息，或者系統反應及不及時等這種問題。
基於這三個基本要素的標準可用性內容，咱們競賽平臺的可用性測試須要在有效性、效率及滿意度上繼續深挖，以比賽做爲契機，競賽用戶選手做爲測試評估的主體，它基於真實的用戶數據進行評價，相對客觀，擁有較強的說服力。用戶測試的目的是發現問題，改善咱們的設計，挖掘潛在的需求。其測試評估價值巨大：
第一，它可以挖掘潛在的需求。挖掘潛在需求是根本，決定了產品的發展方向；
第二，發現並解決產品存在的問題。發現須要解決的問題，包括界面框架邏輯結構交互等等是否合理，用戶體驗是否良好；
第三，下降產品週期成本。邊作邊測試評估，經過快速迭代下降交互設計的週期成本，或者對產品迭代提供良好的參考意見；
第四，加強設計說服力。用戶測試能夠用鮮活的案例，鮮活的數據等加強設計的說服力。
咱們在競賽結束後以電話調查和採訪的方式對選手進行抽樣用戶測試數據採集，並將採集的測試評估數據記錄並進行梳理概括處理，最終輸出咱們須要的調查評估數據。在整個過程當中，用戶測試基本流程須要精心設計。根據經驗，咱們將用戶測試基本流程分爲四大部分：
第一：首先須要明確本次測試的目標，而後由用戶研究員設計參與者在測試過程當中須要完成的任務及測試腳本，因爲本次是直接在競勝過程中對用戶進行用戶測試，所以本次競賽選手即爲咱們須要招募的測試用戶。根據年齡段及社會經驗做爲招募標準和調查對象篩選條件。由於測試中設計什麼樣的任務和你要描述的用戶操做直接相關，肯定了前者，後者也就更加明確了。
第二：須要在競賽選手中篩選用戶進行數據採集，咱們所邀請的用戶必須是目標用戶，而且符合本次測試的各項條件。綜合目前調查的狀況來看，咱們篩選了進入場景題的全部用戶做爲本次調查和數據採集的對象，並根據設計對應的測試調查任務和問題進行電話逐一採訪，成功收回全部測試數據。
第三：進行測試，在正常的產品測試中，咱們會使用可用性實驗室及產品測試團隊。在本次測試中，咱們直接使用選手的實際使用操做做爲測試環境和測試對象，在進行測試中咱們須要觀察和記錄參與者執行任務的狀況。在電話採訪中，通常咱們以拋出問題爲主，少作建議，在用戶不知所措的時候適當地提問或者幫助加以引導。
第四：分析與報告，電話採訪結束後，須要對採集的數據進行記錄並進行預處理，仔細重讀每一個參與者的測試記錄，挖掘其中的可用性問題，列出全部的問題並分類整理，判斷問題的嚴重性，整理成爲可閱讀性的測試報告。
測試報告羅列出採集的問題，還不能直接用於產品的改善任務和優化條目，咱們還得繼續分析問題以梳理更多細節：好比如何判斷測試用戶對某一問題是理性仍是感性的？這就又回到了咱們設計測試任務的初衷及內容層面上，針對這一問題的判斷還須要咱們就職務內容自己着手，並就職務內容自己尋找答案。除了答案自己的理性與感性判斷，咱們還需對任務內容自己的採集數據進行定量和定性評估，定量評估是對能夠計量的部分進行評價，如點擊量，使用率等，徹底能夠用數據來講明。定性評估是指對非計量的部分進行評價，如流暢度、溫馨性、創造性等進行評價，它只能表示一個度，沒法準確用數據來講明問題。根據採集的問題的價值判斷及定量定性評估分析，咱們就能篩選出比較關切的可用性問題並針對性的羅列計劃進行逐一解決。
本次用戶測試調查幫助咱們找出了一些問題，有益於產品的優化改進。在有效性方面，測試用戶均表達了對×××接入場景的網絡穩定性的擔心、***客戶端下載速度受限於選手自己網絡速度等問題。因爲是第一次採起線上賽場景題接入模式，在調查反饋中，測試用戶表示下載×××客戶端花費了較長時間，在爭分奪秒是賽場上，網絡很差的一方將會受限於網絡下載而拖慢進入場景的速度，影響與賽題的交互和答案的提交。從產品的可用性角度看，這是一個嚴重的有效性問題，將會在後續的幾個場次中優先解決該問題。其次，測試用戶均表達對×××網絡的穩定性問題的擔心等重大有效性問題。
在效率方面，測試用戶但願在賽題答案示例、***目標IP直接提供等方面提供操做效率。因爲賽題答案格式不統一，均但願在提升答題效率方面，針對每一個賽題可以提供賽題的答案示例，以提高選手尋找答案及拼接答案的操做效率，減小重複的嘗試及時間浪費。此外，因爲***目標肯定，測試用戶但願可以直接提供***目標IP地址，減小沒必要要的網絡掃描，由於全部選手的網絡掃描會嚴重佔用大量帶寬資源，形成網絡在接入階段的阻塞和卡頓。
還有其餘各類細節的小問題記錄也會幫助咱們改善後續的產品用戶體驗。綜合來看，競賽平臺在實踐中進行用戶測試和評估，可以最大程度的幫助咱們改善產品、優化體驗，發現並解決產品存在的問題。