[BUAA-SE-2018]結對做業測試報告

目錄

• 1. 測試方式
• 2. 評分規則
  • 2.1 測試點組成
  • 2.2 性能測試的分級
  • 2.3 從新提交的扣分策略
• 3. 評測結果
  • 3.1 羅老師班
  • 3.2 任老師班
  • 3.3 表中數據的說明
• 4. 測試點下載和說明
  • 4.1 測試樣例下載
  • 4.2 測試點說明
• 5. 總結

做業鏈接：結對項目-最長單詞鏈

本次評測僅包含正確性、魯棒性和性能測試三個部分。

2019.4.2修改：更正了幾組同窗的魯棒性測試評分和一組同窗的測試評分。
2019.4.3修改：更新了性能測試相關的分數，以及一些細節。

1. 測試方式

本次測試採用自動評測+人工複查的方式進行

其中，正確性和性能測試徹底依賴於自動測試，魯棒性測試則經過人工複查的方式來評分。

2. 評分規則

2.1 測試點組成

• 正確性：34個，每一個1分
• 魯棒性：6個，每一個1分
• 性能：2個，其中第一個測試10分，第二個較複雜5分

對於魯棒性測試，要求必須輸出正確的提示信息才能得分。
正確性測試中也存在沒有輸出的邊界測試點，但對於這些測試點，不要求必定輸出相關提示信息。

2.2 性能測試的分級

考慮到本次正確性測試的測試點較多，且包含不少邊界狀況，所以咱們放寬性能測試的條件爲：無條件，即全部同窗都可測試，正確便可得分。
本次測試中，第一個性能測試分兩檔，以60s爲界，60s之內得10分，60s以上得5分。
第二個性能測試，因爲只有兩組同窗能正確輸出，因此只有一檔。

2.3 從新提交的扣分策略

本次做業中有部分同窗的做業不符合做業要求，致使沒法測試。爲了確保可以進行測試，咱們容許這些同窗修改代碼從新提交。但爲了確保公平，咱們決定扣除這些同窗的一些分數。

扣分的策略爲：

1. BIN原本就存在，可是放錯位置，不扣分
2. BIN不存在，或者wordlist.exe命名錯誤，扣1分
3. 修改程序，問題不大的狀況，第一次修改扣1分，第二次再扣2分
4. 修改程序問題比較大的狀況，第一次扣2分，第二次再扣3分
5. 程序輸出格式錯誤，扣1分

3. 評測結果

因爲測試點較多，這裏不給出除了性能測試以外的單個測試點的得分狀況。

3.1 羅老師班

學號	正確性(34)	魯棒性(6)	性能1	性能1時間(s)	性能2	性能2時間(s)	從新修改的扣分	總分
15005012	15	1	0	-1	0	338.5391	0	16
15061114	0	0	0	-1	0	-1	0	0
16021160	27	5	1	129.4598	0	-1	0	37
16061008	11	4	0	319.3594	0	-1	0	15
16061014	20	1	0	0.0937	0	0.0156	1	20
16061026	11	4	0	319.3594	0	-1	0	15
16061027	20	1	0	0.0937	0	0.0156	1	20
16061050	23	5	0	0.4844	0	113.3438	0	28
16061051	33	6	1	411.4988	0	574.9063	0	44
16061057	31	6	0	0.1406	0	2	0	37
16061076	30	5	1	2.3281	0	-1	0	45
16061082	32	6	1	20.4269	0	421.1138	0	48
16061093	33	6	1	0.8125	0	-1	3	46
16061097	32	6	0	286.7032	0	-1	0	38
16061100	15	1	0	-1	0	150.9222	1	15
16061101	21	6	1	0.2675	0	-1	0	37
16061104	32	6	1	20.4269	0	421.1138	0	48
16061106	21	6	0	0.1602	0	0.0611	3	24
16061107	21	6	1	0.2675	0	-1	0	37
16061109	32	6	0	286.7032	0	-1	0	38
16061110	22	3	1	6.5095	0	-1	4	31
16061113	12	5	0	57.6061	0	1.7344	0	17
16061114	12	5	0	57.6061	0	1.7344	0	17
16061118	29	6	1	2.4025	0	-1	0	45
16061119	21	6	0	0.1602	0	0.0611	3	24
16061125	33	5	1	151.5781	0	-1	0	43
16061135	24	6	1	0.4219	0	-1	0	40
16061137	32	6	1	0.2154	1	0.1719	1	52
16061144	32	6	1	0.2154	1	0.1719	1	52
16061145	33	5	1	151.5781	0	-1	0	43
16061155	33	6	1	0.8125	0	-1	3	46
16061156	29	6	1	0.2656	0	-1	0	45
16061159	33	6	1	405.3438	0	570.5156	0	44
16061165	23	5	0	0.4844	0	113.3438	0	28
16061167	25	6	1	0.1747	1	33.875	0	46
16061168	23	6	0	12.5133	0	-1	1	28
16061170	25	6	1	0.1747	1	33.875	0	46
16061173	24	6	1	0.4219	0	-1	0	40
16061175	29	6	1	0.2656	0	-1	0	45
16061182	23	6	0	12.5133	0	-1	1	28
16061197	22	3	1	6.5095	0	-1	4	31
16061200	30	5	1	2.3281	0	-1	0	45
16061201	26	0	1	217.9223	0	-1	3	28
16061202	26	0	1	217.9223	0	-1	3	28
16091049	31	6	0	0.1406	0	2	0	37
16101061	29	6	1	2.4025	0	-1	0	45

3.2 任老師班

學號	正確性(34)	魯棒性(6)	性能1	性能1時間(s)	性能2	性能2時間(s)	從新修改的扣分	總分
15231112	28	3	0	4.8217	0	-1	1	30
16061007	27	2	1	34.5461	0	-1	0	39
16061010	32	6	0	-1	0	-1	0	38
16061011	29	3	1	107.7189	0	280.9996	0	37
16061022	32	6	0	-1	0	-1	0	38
16061023	18	5	0	0.2812	0	0.2166	1	22
16061030	13	6	0	1.4679	0	0.125	0	19
16061048	18	5	0	0.2812	0	0.2166	1	22
16061103	31	4	0	1.5156	0	-1	1	34
16061120	0	3	0	-1	0	243.1577	2	1
16061152	29	3	1	107.7189	0	280.9996	0	37
16061153	5	0	0	0.2475	0	0.0531	2	3
16061161	28	3	0	4.8217	0	-1	1	30
16061192	31	4	0	1.5554	0	-1	1	34
16061203	5	0	0	0.2475	0	0.0531	2	3
16131059	27	2	1	34.5461	0	-1	0	39
16231030	27	5	1	58.7656	0	-1	0	42
16231031	27	5	1	58.7656	0	-1	0	42
16231247	13	6	0	1.4679	0	0.125	0	19

3.3 表中數據的說明

正確性和魯棒性兩列，數字表明得分。
性能1和性能2兩列，1表明正確，0表明錯誤。
相應的時間列表示運行時間，運行時間爲-1表示超時或沒法運行。

4. 測試點下載和說明

4.1 測試樣例下載

爲了方便同窗們複查本身的問題，咱們公開全部的測試樣例。
下載鏈接爲：BUAA-SE-2018-結對做業測試樣例
提取碼：snh4

4.2 測試點說明

這裏說明一些可能引發誤解或者錯誤人數比較多的測試點：

• 5：該測試點中，輸入的全部單詞都在輸出的單詞鏈中
• 34, 35：這兩個測試點測試輸入文件路徑不在指令最後的狀況，相似Wordlist.exe -w 34.in -r這樣的指令也應該是合法的
• 36：該測試考察題目要求中」單詞鏈至少2個單詞「這個點，因此不能有輸出
• 39：該測試點測試單詞特別長的狀況
• 40：該測試點測試單詞特別多的狀況

5. 總結

整體而言，同窗們在包含-r參數的測試點中錯誤較多，這也是本次做業的難點之一。

性能測試的第二個測試點較難，只有一組同窗作對，有兩組同窗作對，其中一組同窗的程序的運行速度很快，運行這個性能測試只須要不到1s的時間。
在此特別表揚16061137和16061144兩位同窗。

這裏也給出他們兩人博客的地址：

• 結對項目-最長單詞鏈
• 結對編程博客

除此以外也要表揚1606108二、1606110四、1606109三、1606115五、1606105一、1606115九、1606112五、16061145這四組同窗，他們也作得至關不錯。