軟件評測：軟件系統對比測試分析模型

　　一、軟件系統對比測試分析模型原理

　　軟件系統對比測試分析模型採用單位元做爲基準座標系。單位圓指的是半徑爲1的圓。在三角學中，單位圓一般是指歐幾里德平面直角座標系中圓心爲(0,0)、半徑爲 1 的圓。

　　假設在對比測試過程當中，考察了n個測試內容，那麼就須要將單位圓平均分紅n等分。以下圖所示：

▲圖1 對比分析模型示意圖

　　在這個對比座標系之上，能夠對一款被測將進行詳細的描述，設本次考察的被測件分別問S和R，而且在n個測試內容的評測結果分別爲{s1,s2,…,sn}和{r1,r2,…rn}

　　評價S和R被測件的總體能力描述以下

　　經過S:R就能夠比較出兩個被測件的總體特性。單個測試內容i能夠經過si:ri進行結果分析。可是有些測試內容是有固定的上限範圍的，也就是說能夠計算出其相對100%符合要求的百分比，例如SQL92標準符合性等測試。而大部分測試內容無上限要求，所以本對比分析模型引出了以下單位化轉換方法。對於某個測試內容x，須要進行單位化轉化後，在對比座標系上描點。單位化公式以下：

　　Tsx=sx/Max(sx，rx)

　　通過單位化後的評測結果分別爲{Ts1,Ts2,…,Tsn}和{Tr1,Tr2,…Trn}，所以能夠得出最後單位化後的能描述方法以下：

　　所以能夠得出經過TS:TR就能夠比較出兩個被測件的總體特性。單個測試內容i能夠經過Tsi:Tri進行結果分析。

　　二、對比分析模型應用

　　2.1瀏覽器性能對比測試分析結果

　　2.1.1 瀏覽器性能對比測試內容

　　瀏覽器性能測試全部數據結果均來自中國軟件評測中心國家科技專項測評服務項目，其中隱藏了關鍵信息。結合在瀏覽器

　　性能對比測試中通用方法和準則，總結概括出10項瀏覽器性能對比評價指標，以下表所示。

標號	種類	種類別名	性能測試評價指標性	性能測試評價指標別名
1	啓動測試	R	冷啓動時間特性	P1
2	熱啓動時間特性	P2
3	標準符合測試	S	Acid2	P3
4	Acid3	P4
5	標準符合測試	S	HTML5	P5
6	標準符合測試	S	avaScript1	P6
7	avaScript2	P7
8	標準符合測試	S	CSS渲染	P8
9	頁面加載測試	P	標準頁面加載速度測試	P9
10	硬件加速測試	H	硬件加速	P10

▲表1 瀏覽器性能對比測試評價指標

　　啓動類測試中主要考察冷啓動時間特性和熱啓動時間特性，而對啓動過程當中資源(例如：內存、CPU等)的消耗，做爲輔助考察項，被記錄在測試結果中。這是由於目前硬件發展愈來愈快速，目前市場上瀏覽器對在啓動測試時消耗相對於都很小，所以資源消耗並不在本次的具體評價標準中。

　　標準符合測試類主要考察瀏覽器對標準的支持，JavaScript的解釋速度以及CSS的渲染速度。 JavaScript基準測試方面有兩款公認的測試工具，分別是SunSpider和V8 JavaScript。

　　SunSpider：Mozilla公司開發的JavaScript引擎性能基準測試工具，屏蔽了瀏覽器類型和語言的差異，僅針對JavaScript進行測試，與Dom和瀏覽器接口均無關。SunSpider主要協助開發者解決現實世界的問題，擁有對象、函數調用、數學、遞歸等測試類型，共測試3d、access、bitops、controlflow、crypto、date、math、regexp、string九項內容，執行時間越短，表明瀏覽器的JavaScript解碼速度越快。

　　V8 JavaScript：Google公司開發的JavaScript引擎性能基準測試工具，分別對Richards、DeltaBlue、Crypto、RayTrace和EarleyBoyer五項內容進行測試，running times/s值越高，代表瀏覽器的JavaScript解碼速度越快，分值也相應越高。

　　這兩款測試工具考察角度存在必定的差別，所以將JavaScript測試分紅兩部分Javascript，JavaScript1是應用SunSpider測試結果，JavaScript2是V8 JavaScript測試結果，這些都和普通用戶使用瀏覽器的平常行爲息息相關，既能考察瀏覽器是否可以爲用戶正常提供展現、交互等的能力，又能考察被測瀏覽器對腳本語言和樣式表渲染的速度。

　　頁面加載類測試是對標準頁面Nontroppo訪問的時間特性，訪問標準頁面可以分析出瀏覽器對目前互聯網主流web技術的支持能力以及解析顯示速度，也是從最終受衆角度進行的測試。

　　硬件加速類測試主要是對瀏覽器的硬件加速功能進行的測試，該項技術在瀏覽器領域中愈來愈重要，可以加快瀏覽器在圖像合成、圖像縮放等方面的顯示。

　　2.1.2被測瀏覽器性能測試結果

　　對某互聯網公司自行開發的瀏覽器(因爲被測瀏覽器目前處於內部測試階段，還未正式產業化，爲避免引發沒必要要的糾紛，待測試的瀏覽器下文簡稱A)與主流的瀏覽器IE、Firefox和Chrome進行了性能對比(其中IE8.0、Firefox9.0.一、Chrome17.0.963.6和A瀏覽器1.4)。性能測試結果以下所示：

被測件\指標	P1	P2	P3	P4	P5	P6	P7	P8	P9	P10
IE	6.45	2.25	10	23	41	5685.9	131.6	345	1125	0
Firefox	12.03	4.53	10	100	299	283	4779	574	896	18
Chrome	10.36	5.76	10	100	329	228.7	7880	574	743	29
A	3.40	3.40	10	100	213	327	7617	558	98	30

▲表2 瀏覽器性能測試結果記錄表

被測件\指標	P1	P2	P3	P4	P5	P6	P7	P8	P9	P10
IE	0.54	0.39	1.00	0.23	0.12	1.00	0.02	0.60	1.00	0.00
Firefox	1.00	0.79	1.00	1.00	0.91	0.50	0.61	1.00	0.80	0.60
Chrome	0.86	1.00	1.00	1.00	1.00	0.04	1.00	1.00	0.66	0.97
A	0.81	0.59	1.00	1.00	0.65	0.06	0.97	0.97	0.09	1.00

▲表3 單位化測試結果

　　以P1爲例，單位化計算過程以下：

　　P1屬性最大值爲12.03

　　IE瀏覽器在P1單位化結果P1(EI)=P1(EI)/Max(P1)=6.45/12.03≈0.54

　　Firefox瀏覽器在P1單位化結果P1(Firefox)=P1(Firefox)/Max(P1)=1.00

　　Chrome瀏覽器在P1單位化結果P1(Chrome)=P1(Chrome)/Max(P1)≈0.86

　　A瀏覽器在P1單位化結果P1(A)=P1(A)/Max(P1)≈0.81

　　將各個被測瀏覽器單位化後性能測試結果在瀏覽器性能對比測試基準模型中，獲得以下所示結果。

▲圖2 四款瀏覽器總體性能測試對比結果

　　經過上述分析，應用瀏覽器性能對比測試模型計算得出IE綜合性能爲0.197，Firefox綜合性能爲0.79，Chrome綜合性能爲0.83，A瀏覽器綜合性能爲0.54。總體性能上Chrome瀏覽器目前優於其餘產品，可是在應用數量方面IE佔優，在標準符合性方面Firefox佔優，國產瀏覽器產品A在目前總體評價排名第三，可是在標準符合性、標準頁面載入等方面上還有必定的提高空間。

　　2.2國產數據庫MPP對比測試分析結果

　　2.2.1國產數據庫MPP對比測試內容

　　國產數據庫MPP對比測試結果來自中國軟件評測中心承擔的「核高基」重大專項通用基礎軟件測試評估課題成果物，其中隱藏了對應廠商的關鍵信息，並對數據作了總體的比例轉換。

　　MPP即大規模並行處理。在數據庫非共享集羣中，每一個節點都有獨立的磁盤存儲系統和內存系統，業務數據根據數據庫模型和應用特色劃分到各個節點上，每臺數據節點經過高速專用網絡或者商業通用網絡互相鏈接，彼此協同計算，做爲總體提供數據庫服務。

　　TPC-H基準測試是由一系列商業查詢組成，是依據真實的生產運行環境創建的OLAP模型，這使其能夠評估一些其餘測試所不能評估的關鍵性能參數。採用TPC-H模型，100GB數據量，應用其標準中的22條複雜查詢進行測試並統計查詢耗時。MPP中分別測試2節點、4節點和8節點的狀況。

　　本次測試分別對3家國產數據庫MPP測試，測試硬件環境、網絡環境徹底相同(因爲測試項目還處於保密期，如下測試結果分別以數據庫A、數據庫B和數據庫C代替)。測試結果以下：

　　2.2.2被測國產數據庫MPP對比測試內容

　　依據第一章的對比測試分析模型，得出了以下結果。

　　有圖中能夠看出，數據庫C的MPP在全部查詢耗時都比較長，數據庫B次之，數據庫A的表現最優，說明A廠商在MPP對SQL查詢語句、標準函數的解析等方面的解釋優化最的最優。