APP測試報告

招標手機APP測試總結報告

 

 

 

 

 

 

 

 

 

 

 

 

做    者：		日    期：	2016-03-10
文檔編號：	002	版    本：	Ver 1.0

 

目   錄

1.測試概述 1

1.1. 編寫目的 1

1.2. 測試範圍 1

2. 測試計劃執行狀況 1

2.1. 測試類型 1

2.2. 測試環境與配置 2

2.3. 測試人員 2

2.4. 測試問題總結 3

3. 測試總結 3

3.1.測試用例執行結果 3

3.2. 安全測試 4

3.2.1. 軟件權限 5

3.2.2. 安裝與卸載安全性 5

3.2.2. 數據安全性 6

3.2.3. 通信安全性 7

3.2.4. 人機接口安全性 7

3.3. 安裝、卸載測試 8

3.3.1. 安裝 8

3.3.2. 卸載 8

3.4. UI測試 9

3.4.1. 導航測試 9

3.4.2. 圖形測試 9

3.4.3. 內容測試 9

3.5. 功能測試 10

3.5.1. 運行 10

3.5.2. 註冊 10

3.5.3. 登陸 10

3.5.4. 註銷 11

3.5.5. 應用的先後臺切換 11

3.5.6. 免登入 11

3.5.7. 數據更新 12

3.5.8. 離線瀏覽 12

3.5.9. APP更新 12

3.5.10. 時間測試 13

3.5.11. 性能測試 13

3.5.12. 交叉性事件測試 13

3.6. 兼容測試 14

3.7. 用戶體驗測試 14

4. 測試結果 15

 

 

1.測試概述

1.1. 編寫目的

本測試報告爲招標手機APP的測試報告，目的在於總結測試階段的測試狀況以及分析測試結果，描述系統是否符合用戶需求，是否已達到用戶預期的功能目標，並對測試質量進行分析。

測試報告參考文檔提供給用戶、測試人員、開發人員、項目管理者、其餘管理人員和須要閱讀本報告的高層經理閱讀。

1.2. 測試範圍

測試主要根據用戶需求說明書和軟件需求規格說明書以及相應的文檔進行系統測試，包括功能測試、性能測試、安全性和訪問控制測試、用戶界面測試以及兼容性測試等，而單元測試和集成測試由開發人員來執行。

主要功能包括：用戶登陸、個人項目、推薦項目訂閱、行業資訊、個人收藏、意見反饋、個人CA鎖。

2. 測試計劃執行狀況

2.1. 測試類型

測試類型	測試內容	測試目的	所用的測試工具和方法
功能測試	用戶登陸、個人項目、推薦項目訂閱、行業資訊、個人收藏、意見反饋、個人CA鎖	覈實全部功能均已正常實現，便可按用戶的需求使用軟件： 一、 業務流程檢驗：各個業務流程可以知足用戶需求，用戶使用不會產生疑問； 二、 數據準確：推送的信息與交易平臺生產信息一致，不會出現消息錯誤或漏發、重複發送。	採用黑盒測試，使用邊界值測試、等價類劃分等測試方法，進行手工測試
用戶界面測試	一、 頁面結構：包括菜單、背景、顏色、字體、按鈕、Title、提示信息的一致性等 二、 友好性、易用性、合理性、一致性、正確性	覈實軟件風格符合可接受標準，可以保證用戶界面友好性、易操做性，符合用戶操做習慣	手工測試
兼容性測試	一、 用不一樣型號的安卓手機：華爲、小米、三星、OPPO、聯想等，屏幕尺寸：3.5英寸～5.5英寸，操做系統：android4.0及以上 二、 不一樣版本的IOS手機：ios9.0及以上	覈實軟件在不一樣的系統中運行穩定	黑盒測試、 手工測試
安全性和訪問控制測試	一、 註冊、登陸、退出登陸 二、 權限限制 三、 經過修改URL非法訪問 四、 登陸超時限制	一、 應用程序級別的安全性：覈實用戶只能操做其所擁有權限能操做的功能 二、 系統級別的安全性：覈實只能具有系統訪問權限的用戶才能訪問系統	黑盒測試、 手工測試
性能測試	一、 註冊、登陸響應速度 二、 各功能模塊切換響應速度	覈實程序在多數據推送、手機多程序運行的狀況下軟件性能的穩定性，不形成程序崩潰或相關的異常現象	黑盒測試、 手工測試

 

2.2. 測試環境與配置

資源名稱/類型	配   置
測試移動端	主頻2.2GHz，硬盤500G，內存4GB
應用服務器	Tomcat7.0服務器
數據庫管理系統	mysql,sqllite
應用軟件	eclipse8、android、svn客戶端

 

2.3. 測試人員

職務	姓名	E-mail	電話
開發工程師
測試人員1
測試人員2

 

2.4. 測試問題總結

在app開始測試及投入使用的過程當中，一直存在或多或少的影響用戶使用體驗的問題存在，至今仍有部分問題沒有完全解決。

3. 測試總結

3.1.測試用例執行結果

測試用例標識符	測試用例名稱	狀態	測試結果	備註
功能測試
Testcase001	用戶手機在線註冊	已執行	測試經過	用戶登陸註冊
Testcase002	註冊協議查看	已執行	測試經過
Testcase003	註冊後訂閱項目功能	已執行	測試經過
Testcase004	手機註冊賬號登陸	已執行	測試經過
Testcase005	智慧交易雲系統註冊賬號登陸	已執行	測試經過
Testcase006	記住密碼和自動登陸功能	已執行	測試經過
Testcase007	按地市訂閱項目分類	已執行	測試經過	推薦項目訂閱
Testcase008	取消已訂閱項目分類	已執行	測試經過
Testcase009	已訂閱項目類別消息推送	已執行	有重複數據推送
Testcase010	已訂閱項目消息推送提醒	已執行	重複提醒；提醒消息與打開查看時內容不符；小米4沒有消息提醒
Testcase011	推薦項目信息分頁查看	已執行	只有上下頁跳轉功能，看不到明確頁數
Testcase012	推薦項目信息關鍵字檢索	已執行	測試經過
Testcase013	按地市條件篩選推薦項目信息	已執行	測試經過
Testcase014	推薦項目收藏功能	已執行	部分項目信息沒法收藏
Testcase015	推薦消息點擊查看	已執行	公告內容有圖片或者表格時內容顯示有誤
Testcase016	個人項目消息推送	已執行	有重複信息推送；投標人角色沒有信息推送	個人項目
Testcase017	個人項目信息點擊查看	已執行	公告內容有圖片或者表格時內容顯示有誤
Testcase018	個人項目信息分頁查看	已執行	測試經過
Testcase019	個人項目信息關鍵字檢索	已執行	測試經過
Testcase020	個人項目信息按消息類型分類檢索	已執行	測試經過
Testcase021	個人項目新消息紅色字體區分顯示	已執行	測試經過
Testcase022	行業資訊信息推送	已執行	測試經過	行業資訊
Testcase023	行業資訊信息點擊查看	已執行	測試經過
Testcase024	行業資訊信息分頁查看	已執行	測試經過
Testcase025	行業資訊信息關鍵字檢索	已執行	測試經過
Testcase026	個人項目信息收藏	已執行	測試經過	個人收藏
Testcase027	訂閱推薦項目信息收藏	已執行	測試經過
Testcase028	收藏項目信息查看	已執行	測試經過
Testcase029	收藏項目信息關鍵字檢索	已執行	測試經過
Testcase030	收藏項目信息刪除	已執行	測試經過
Testcase031	收藏項目信息分頁查看	已執行	測試經過
Testcase032	用戶提交意見建議	已執行	測試經過	意見反饋
Testcase033	提交的意見在頁面上顯示	已執行	測試經過
Testcase034	意見回覆內容在頁面上的顯示	已執行	測試經過
Testcase035	CA鎖到期10日內登陸後顯示提醒頁面	已執行	測試經過	個人CA鎖

3.2. 安全測試

 

3.2.1. 軟件權限 

3.2.1.1. 扣費風險

測試內容	是否扣費	備註
收發短信	否	接收短信無費用（如短信驗證碼）
撥打電話	是	撥打APP內提供的客服電話有費用（由運營商收取）
鏈接網絡	是	鏈接2G、3G、4G及WIFI網絡有費用（由運營商收取）

3.2.1.2. 隱私泄漏風險

測試內容	是否泄漏	備註
訪問手機信息	否	APP暫時無任何功能和需求會訪問手機信息
訪問通信錄信息	否	APP暫時無任何功能和需求會訪問通信錄信息

3.2.1.3. 限制性測試

測試內容	是否限制
限制/容許使用手機發送接受信息功能	容許
限制/容許應用程序來註冊自動啓動應用程序	容許
限制/容許使用手機讀取用戶數據	容許
限制/容許使用手機寫人用戶數據	容許

3.2.2. 安裝與卸載安全性

測試內容	測試結果
應用程序應能正確安裝到設備驅動程序上	是
可以在安裝設備驅動程序上找到應用程序的相應圖標	是
是否包含數字簽名信息	否
安裝路徑應能指定	否
JAD文件顯示的資料內容與應用程序顯示的資料內容應一致	是
沒有用戶的容許, 應用程序不能預先設定自動啓動	是
卸載是否安全, 其安裝進去的文件是否所有卸載	是
卸載用戶使用過程當中產生的文件是否有提示	否
其修改的配置信息是否復原	否
卸載是否影響其餘軟件的功能	否
卸載應該移除全部的文件	是

3.2.2. 數據安全性

測試內容	測試結果
當將密碼或其餘的敏感數據輸人到應用程序時, 其不會被儲存在設備中, 同時密碼也不會被解碼	是
輸人的密碼將不以明文形式進行顯示	是
密碼或其餘的敏感數據將不被儲存在它們預輸人的位置上	否
不一樣的應用程序的我的身份證或密碼長度必需至少在6一20 個字符長度之間	是
備份應該加密, 恢復數據應考慮恢復過程的異常通信中斷等, 數據恢復後再使用前應該通過校驗	否
應用程序應考慮系統或者虛擬機器產生的用戶提示信息或安全警告	否
應用程序不能忽略系統或者虛擬機器產生的用戶提示信息或安全警告, 更不能在安全警告顯示前，利用顯示誤導信息欺騙用戶，應用程序不該該模擬進行安全警告誤導用戶	是
在數據刪除以前，應用程序應當通知用戶或者應用程序提供一個「取消」命令的操做	是
「 取消」 命令操做可以按照設計要求實現其功能	是
應用程序應當可以處理當不容許應用軟件鏈接到我的信息管理的狀況	否
當進行讀或寫用戶信息操做時, 應用程序將會向用戶發送一個操做錯誤的提示信息	否
在沒有用戶明確許可的前提下不損壞刪除我的信息管理應用程序中的任何內容	是
應用程序讀和寫數據正確	是
應用程序應當有異常保護	否
若是數據庫中重要的數據正要被重寫, 應及時告知用戶	否
能合理地處理出現的錯誤	否
意外狀況下應提示用戶	否

3.2.3. 通信安全性

測試內容	測試結果
當創立鏈接時, 應用程序可以處理由於網絡鏈接中斷, 進而告訴用戶鏈接中斷的狀況	否
應能處理網絡異常和及時將異常狀況通報用戶	是
應用程序關閉或網絡鏈接再也不使用時應及時關閉) 斷開	是
HTTP、HTTPS覆蓋測試 -App和後臺服務通常都是經過HTTP來交互的，驗證HTTP環境下是否正常； --公共免費網絡環境中（如：麥當勞、星巴克等）都要輸入用戶名和密碼，經過SSL認證來訪問網絡，須要對使用HTTP Client的library異常做捕獲處理	否

3.2.4. 人機接口安全性

測試內容	測試結果
返回菜單總保持可用	否
命令有優先權順序	否
聲音的設置不影響應用程序的功能	是
應用程序必需利用目標設備適用的全屏尺寸來顯示上述內容	是
應用程序必需可以處理不可預知的用戶操做, 例如錯誤的操做和同時按下多個鍵	否

3.3. 安裝、卸載測試

3.3.1. 安裝

測試內容	測試結果
軟件在不一樣操做系統（Palm OS、Symbian、Linux、Android、iOS、Black Berry OS 6.0、Windows Phone 7）下安裝是否正常	是（只測試了Android、IOS）
軟件安裝後是否可以正常運行，安裝後的文件夾及文件是否寫到了指定的目錄裏	是
軟件安裝嚮導的UI測試	否
軟件安裝過程當中意外狀況的處理是否符合需求（如死機，重啓，斷電）	否
安裝空間不足時是否有相應提示	否
安裝後沒有生成多餘的目錄結構和文件	是
依照安裝手冊是否能順利安裝	是

3.3.2. 卸載

測試內容	測試結果
直接刪除安裝文件夾卸載是否有提示信息	否
測試系統直接卸載程序是否有提示信息	否
測試卸載後文件是否所有刪除全部的安裝文件夾	是
卸載過程當中出現的意外狀況的測試（如死機、斷電、重啓）	否
卸載是否支持取消功能	是

 

3.4. UI測試

3.4.1. 導航測試

測試內容	測試結果
在不一樣的鏈接頁面之間須要導航	是
是否易於導航，導航是否直觀	否
是否有搜索引擎	是
導航幫助是否準確直觀	否
導航與頁面結構、菜單、鏈接頁面的風格是否一致	否

3.4.2. 圖形測試

測試內容	測試結果
橫向比較，各控件操做方式統一	是
自適應界面設計，內容根據窗口大小自適應	是
頁面標籤風格是否統一	是
頁面是否美觀	否
頁面的圖片應有其實際意義而要求總體有序美觀	否
圖片質量要高且圖片尺寸在設計符合要求的狀況下應儘可能小	是
界面總體使用的顏色不宜過多	是

3.4.3. 內容測試

測試內容	測試結果
輸入框說明文字的內容與系統功能是否一致	是
文字長度是否加以限制	否
文字內容是否表意不明	否
是否有錯別字	否
信息是否爲中文顯示	是
是否有敏感性詞彙、關鍵詞	否
是否有敏感性圖片，如：涉及版權、專利、隱私等圖片	否

3.5. 功能測試

3.5.1. 運行

測試內容	測試結果
App安裝完成後的試運行，可正常打開軟件	是
App打開測試，是否有加載狀態進度提示	是
App打開速度測試，速度是否可觀	否
App頁面間的切換是否流暢，邏輯是否正確	邏輯正確，切換不夠流暢

3.5.2. 註冊

測試內容	測試結果
後臺能否增長用戶	是
用戶名密碼長度是否限制	是
註冊後是否有提示頁面	否
前臺註冊頁面和後臺的管理頁面數據是否一致	是
註冊後，在後臺管理中頁面提示	否

3.5.3. 登陸

測試內容	測試結果
使用合法的用戶登陸系統	是
系統是否容許屢次非法的登錄，是否有次數限制	否
使用已經登錄的帳號登錄系統是否正確處理	是
使用禁用的帳號登錄系統是否正確處理	是
用戶名、口令（密碼）錯誤或漏填時可否登錄	否
刪除或修改後的用戶，原用戶登錄	否
不輸入用戶口令和用戶、重複點（肯定或取消按鈕）是否容許登錄	否
頁面中有退出登陸按鈕	是
登錄超時的處理	否

3.5.4. 註銷

測試內容	測試結果
是否能正常註銷	否
註銷原用戶，新用戶系統可否正確處理	否
使用錯誤的帳號、口令、無權限的被禁用的帳號進行註銷	否

3.5.5. 應用的先後臺切換

測試內容	測試結果
APP切換到後臺，再回到app，檢查是否停留在上一次操做界面	否
APP切換到後臺，再回到app，檢查功能及應用狀態是否正常	是
手機鎖屏解屏後進入app注意是否會崩潰，功能狀態是否正常，尤爲是對於從後臺切換回前臺數據有自動更新的時候	否（個別狀況下APP會白屏）
當App使用過程當中有電話進來中斷後再切換到app，功能狀態是否正常	是
當殺掉app進程後，再開啓app，app可否正常啓動	是
出現必須處理的提示框後，切換到後臺，再切換回來，檢查提示框是否還存在，有時候會出現應用自動跳過提示框的缺陷	是

3.5.6. 免登入

測試內容	測試結果
App是否有免登陸功能，須要考慮IOS版本差別	否
考慮無網絡狀況時可否正常進入免登陸狀態	否
切換用戶登陸後，要校驗用戶登陸信息及數據內容是否相應更新，確保原用戶退出	是
切換到後臺，再切換回前臺的測試	是
密碼更換後，檢查有數據交換時是否進行了有效身份的校驗	否
檢查用戶主動退出登陸後，下次啓動app，應停留在登陸界面	是

3.5.7. 數據更新

測試內容	測試結果
須要肯定哪些地方須要提供手動刷新，哪些地方須要自動刷新，哪些地方須要手動+自動刷新	是
從後臺切換回前臺時須要進行數據更新	是
根據業務、速度及流量的合理分配，肯定哪些內容須要實時更新，哪些須要定時更新	是
肯定數據展現部分的處理邏輯，是每次從服務端請求，仍是有緩存到本地	是
檢查有數據交換的地方，均有相應的異常處理	否

3.5.8. 離線瀏覽

測試內容	測試結果
在無網絡狀況能夠瀏覽本地數據	否
退出app再開啓app時能正常瀏覽	否
切換到後臺再切回前臺能夠正常瀏覽	否
鎖屏後再解屏回到應用前臺能夠正常瀏覽	否
在對服務端的數據有更新時會給予離線的相應提示	否

3.5.9. APP更新

測試內容	測試結果
當客戶端有新版本時，有更新提示	否
當客戶端有新版本時，在本地不刪除客戶端的狀況下，直接更新檢查是否能正常更新	是（客戶端自動更新）

3.5.10. 時間測試

測試內容	測試結果
修改系統時間，後臺發佈信息時間是否隨之更改	是
修改手機時間，推送信息時間是否隨之更改	否

3.5.11. 性能測試

3.5.11.1. 響應測試

測試內容	測試結果
運行App時斷掉網絡，是否影響手機其它使用	否
安裝、卸載的響應時間，是否可以接受	是
App各種功能性操做的響應時間，是否可以接受	否（推薦項目訂閱功能響應有點慢）
反覆進行安裝卸載，查看系統資源是否正常	是

3.5.12. 交叉性事件測試

測試內容	測試結果
多個App同時運行是否影響正常功能	否
App運行時前/後臺切換是否影響正常功能	否
App運行時撥打/接聽電話是否影響正常功能	否
App運行時發送/接收信息是否影響正常功能	否
App運行時切換網絡（3G、4G、wifi）是否影響正常功能	否
App運行時瀏覽網絡是否影響正常功能	否
App運行時使用藍牙傳送/接收數據是否影響正常功能	否
App運行時使用相機、計算器等手機自帶設備是否影響正常功能	否
App運行時充電是否影響正常功能	否

3.6. 兼容測試

測試內容	測試結果
與本地及主流App是否兼容	是
基於開發環境和生產環境的不一樣，檢驗在各類網絡鏈接下(WiFi、GSM、GPRS、EDGE、WCDMA、CDMA1x、CDMA2000、HSPDA等)，App的數據和運用是否正確	是（只測了3G、4G、wifi）
不一樣操做系統的兼容性，是否適配	是（測了IOS9.0及以上、安卓4.0及以上）
不一樣手機屏幕分辨率的兼容性	是（測了iPhone4s\5s\6\6p、小米4、華爲榮耀4）
不一樣手機品牌的兼容性	是（測了蘋果、華爲、小米）

3.7. 用戶體驗測試

測試內容	測試結果
是否有空數據界面設計，引導用戶去執行操做	否
是否濫用用戶引導	否
是否有不可點擊的效果，如：你的按鈕此時處於不可用狀態，那麼必定要灰掉，或者拿掉按鈕，不然會給用戶誤導	否
菜單層次是否太深	否
交互流程分支是否太多	否
一次是否載入太多的數據	否
界面中按鈕可點擊範圍是否適中	否（回退和訂閱按鈕操做體驗不佳）
標籤頁跟內容是否有從屬關係，當切換標籤的時候，內容跟着切換	是
操做應該有主次從屬關係	是
是否有橫屏模式的設計，應用通常須要支持橫屏模式，即自適應設計	否

 

4. 測試結果

根據測試組綜合評定，給與如下測試結果，僅供參考

序號	內容	結果
1	測試環境不具有，未完成測試
2	測試內容不完整，未完成測試
3	測試合格，容許上線
4	測試不合格，需作修改後上線	√
5	測試不合格，不容許上線