Beta階段測試報告

iCourse課程平臺beta階段測試報告

本報告由「燙燙燙燙燙」團隊撰寫

測試環境及工具

• 此部分與alpha階段同樣
• windows10/selenium/jmeter/badboy/firefox/chrome/IE
  
• Mac/safari
• 本着儘量使用自動化測試的原則，又考慮到測試人員對java更爲熟悉，所以功能測試使用java版本的selenium，首先由firefox的selenium IDE插件錄製測試用例，導出爲java/Junit4/webdriver格式的代碼，手動修改部分代碼使之可以正常運行，迴歸測試時只需從新運行便可。本着效率優先的原則，合理分配手工測試和自動化測試。
• 負載測試採用jmeter和badboy實現，首先由badboy錄製測試用例，導出爲jmx格式，jmeter可直接使用，經過設置jmeter運行時的線程數控制網站負載，完成負載測試和壓力測試。

測試用例（僅列出文件名，具體代碼請查看github項目的doc分支）

• beta階段，測試人員在錄製測試用例時，導出的錄製腳本在運行時與預期的行爲不符，因爲前端使用的是vue，無法直接爲網站頁面元素加惟一的id屬性以方便測試程序定位元素，所以元素定位十分困難，本着效率優先的原則，功能測試階段所有使用人工測試，壓力測試仍使用jmeter進行測試。
• beta階段負載測試代碼：beta_load_test.jmx

錯誤報告

• beta階段共發現bug23處，現已所有解決，詳情請見github項目的issue。

• 2017.11.18（alpha階段遺留問題）

  • (未解決)登陸http://buaaicourse.com/course/page/31/，點擊資源「第十三章.zip」，點擊「下載資源」，會提示進行統一認證，輸入帳號密碼後會顯示頁面不存在。從新點擊「下載資源」，直接進入403 forbidden。（此問題爲課程中心資源的問題，目前沒法解決）

負載&壓力測試

• 測試下載的資源認爲工科數學分析的ppt，理由請見alpha相關說明。

• jmeter中設置用戶數爲30，循環次數爲「永遠」，運行起始時間爲2017.12.23 00：30， 運行結束時間爲2017.11.25 00：34， 平均請求響應時間爲3.6s，錯誤率爲0，30個用戶，3.6s的平均響應時間偏慢，響應最慢的url是course/contrib，這個是計算課程的用戶貢獻度的，速度比較慢的緣由推測是每次計算課程用戶複雜度時，都要從新遍歷數據庫，從新計算用戶貢獻度，所以較慢，具體數據見下圖：
  

• 測試人員一樣嘗試了用戶數爲35,33,31的狀況，運行10min左右後，發現均會出現微小的錯誤，大約千分之幾到百分之幾的樣子，這說明30個用戶已經是網站的最大負載。

• 2017.12.28 將服務器上運行的進程數由1增長到10，最大負載增長到141個用戶。嘗試142/143個用戶時都會出現微小錯誤。

• 2017.12.29 通過劉暢同窗和趙奕同窗的優化，平均響應時間降至1.4s,較第一次測試的平均響應時間下降61%，最大用戶數不變。

場景測試

學霸級：

• 不屑於學院安排的課程，對課外知識涉獵更多，利用平臺進行知識與經驗的分享

• 想學的課太多，不少知識都想了解一下，經過這個平臺能夠獲取到感興趣課的課件

• 解決方案：

  • 下載（針對需求一）：登錄buaaicourse.com，搜索欄中輸入課程名稱搜索，在搜索結果中點擊「進入課程」進入相應課程，點擊「所有資源」，進入資源頁面，點擊想要下載的資源，在彈出的窗口中點擊「下載資源」便可。
  • 上傳（針對需求二）：進入課程頁面後點擊「上傳資源」
  • 訪問課程論壇（針對需求二）：登錄課程頁面後點擊「進入課程論壇」便可瀏覽論壇中的帖子，併發帖、跟帖或評論。

普通級：

• 即將面臨研究生考試，有些方，但願能在平臺上獲得比較靠譜的考研指點
• 學習很努力，善於作筆記，記錄本身學習的點滴收穫

• 趁着假期對下學期的課程進行預習

• 解決方案

  • 下載（針對需求三）：登錄buaaicourse.com，搜索欄中輸入課程名稱搜索，在搜索結果中點擊「進入課程」進入相應課程，點擊「所有資源」，進入資源頁面，點擊想要下載的資源，在彈出的窗口中點擊「下載資源」便可。
  • 上傳（針對需求1、二）：進入課程頁面後點擊「上傳資源」
  • 訪問課程論壇（針對需求1、二）：登錄課程頁面後點擊「進入課程論壇」便可瀏覽論壇中的帖子，併發帖、跟帖或評論。

學弱級：

• 平時浪太多，期末壓力大，利用平臺進行知識惡補

• 解決方案：

  • 下載：登錄buaaicourse.com，搜索欄中輸入課程名稱搜索，在搜索結果中點擊「進入課程」進入相應課程，點擊「所有資源」，進入資源頁面，點擊想要下載的資源，在彈出的窗口中

測試矩陣

針對alpha階段已實現功能從新測試

操做系統	硬件配置	瀏覽器類型	註冊功能	登陸功能	按系別搜索課程	搜索欄搜索課程	上傳資源功能	下載資源功能	課程所有資源頁面	資源上傳頁面	資源下載頁面	課程搜索頁面	課程頁面	我的中心頁面
win10	8G內存，64位cpu	chrome	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	firefox	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	IE11	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	edge	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過
mac	8G內存，64位cpu	Safari	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	360極速瀏覽器	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	QQ瀏覽器	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	UC瀏覽器	經過	經過	經過	經過	經過	下載部分zip文件有問題	經過	經過	經過	經過	經過	經過

針對beta階段新增功能測試

操做系統	硬件配置	瀏覽器類型	同袍登陸	論壇發帖	論壇跟帖	論壇評論	收藏資源	編輯我的信息	查看熱門資源	查看熱門帖子	查看最新帖子	查看最新帖子	查看課程貢獻分	資源評價	帖子評價	修改帖子內容
win10	8G內存，64位cpu	chrome	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	firefox	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	IE11	經過	不經過	不經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	不經過
win10	8G內存，64位cpu	edge	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過
mac	8G內存，64位cpu	Safari	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	360極速瀏覽器	經過	不經過	不經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	不經過
win10	8G內存，64位cpu	QQ瀏覽器	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過
win10	8G內存，64位cpu	UC瀏覽器	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過	經過

建議：推薦使用chrome，firefox，edge，safari等主流瀏覽器。

出口條件（與alpha階段同樣）

• 核心功能可以正常運行且無重大bug