Jmeter中的幾個重要測試指標釋義

1、基本概念

1．測試計劃是使用 JMeter 進行測試的起點，它是其它 JMeter 測試元件的容器。

2．線程組：表明必定數量的併發用戶，它能夠用來模擬併發用戶發送請求。實際的請求內容在Sampler中定義，它被線程組包含。能夠在「測試計劃 ->添加->線程組」來創建它，而後在線程組面板裏有幾個輸入欄：線程數、Ramp-Up Period(in seconds)、循環次數，其中Ramp-Up Period(in seconds)表示在這時間內建立完全部的線程。若有8個線程，Ramp-Up = 200秒，那麼線程的啓動時間間隔爲200/8=25秒，這樣的好處是：一開始不會對服務器有太大的負載。線程組是爲模擬併發負載而設計。

三、取樣器（Sampler）：模擬各類請求。全部實際的測試任務都由取樣器承擔，存在不少種請求。如：HTTP 、ftp請求等等。

四、監聽器：負責收集測試結果，同時也被告知告終果顯示的方式。功能是對取樣器的請求結果顯示、統計一些數據（吞吐量、KB/S……）等。

六、斷言：用於來判斷請求響應的結果是否如用戶所指望，是否正確。它能夠用來隔離問題域，即在確保功能正確的前提下執行壓力測試。這個限制對於有效的測試是很是有用的。

七、定時器：負責定義請求（線程）之間的延遲間隔，模擬對服務器的連續請求。

五、邏輯控制器：容許自定義JMeter發送請求的行爲邏輯，它與Sampler結合使用能夠模擬複雜的請求序列。

八、配置元件維護Sampler須要的配置信息，並根據實際的須要會修改請求的內容。

九、前置處理器和後置處理器負責在生成請求以前和以後完成工做。前置處理器經常用來修改請求的設置，後置處理器則經常用來處理響應的數據。

2、Jmeter報告 （轉載）

http://www.cnblogs.com/jackei/archive/2006/11/13/558720.html

1、Aggregate Report 解析

Aggregate Report 是 JMeter 經常使用的一個 Listener，中文被翻譯爲「聚合報告」。今天再次有同行問到這個報告中的各項數據表示什麼意思，順便在這裏公佈一下，以備你們查閱。

若是你們都是作Web應用的性能測試，例如只有一個登陸的請求，那麼在Aggregate Report中，會顯示一行數據，共有10個字段，含義分別以下。

Label：每一個 JMeter 的 element（例如 HTTP Request）都有一個 Name 屬性，這裏顯示的就是 Name 屬性的值

Samples：表示你此次測試中一共發出了多少個請求，若是模擬10個用戶，每一個用戶迭代10次，那麼這裏顯示100

Average：平均響應時間——默認狀況下是單個 Request 的平均響應時間，當使用了 Transaction Controller 時，也能夠以Transaction 爲單位顯示平均響應時間

Median：中位數，也就是 50％ 用戶的響應時間

**90% Line：**90％ 用戶的響應時間

Note：關於 50％ 和 90％ 併發用戶數的含義，請參考下文 
http://www.cnblogs.com/jackei/archive/2006/11/11/557972.html

Min：最小響應時間

Max：最大響應時間

Error%：本次測試中出現錯誤的請求的數量/請求的總數

Throughput：吞吐量——默認狀況下表示每秒完成的請求數（Request per Second），當使用了 Transaction Controller 時，也能夠表示相似 LoadRunner 的 Transaction per Second 數

KB/Sec：每秒從服務器端接收到的數據量，至關於LoadRunner中的Throughput/Sec

2、基本知識：

一、吞吐量：是指在沒有幀丟失的狀況下，設備可以接受的最大速率。

二、存儲的最小單位是字節Byte，對於存儲單位，有如下幾個單位，GB、MB和KB，那麼這三者之間的換算關係是：1GB＝1024MB，1MB＝1024KB，1KB＝1024Bytes。 
Bit ：「位」，稱爲bit，也就是比特，有的時候也稱爲位。一個字節爲8位二進制表示。 
Byte：「字節」，一個字節就是8比特。

三、Mbps (million bits per second 兆位/秒) 表明每秒傳輸1，000，000比特。該縮寫用來描述數據傳輸速度。例如：4Mbps=每秒鐘傳輸4M比特。數據傳輸速率的單位，字母b（bit）是比特和字母 B （Byte）是字節。

四、吞吐量與帶寬的區分：吞吐量和帶寬是很容易搞混的一個詞，二者的單位都是Mbps.先讓咱們來看二者對應的英語，吞吐量:throughput ; 帶寬: Max net bitrate 。當咱們討論通訊鏈路的帶寬時，通常是指鏈路上每秒所能傳送的比特數。咱們能夠說以太網的帶寬是10Mbps。可是，咱們須要區分鏈路上的可用帶寬（帶 寬）與實際鏈路中每秒所能傳送的比特數（吞吐量）。咱們傾向於用「吞吐量」一次來表示一個系統的測試性能。這樣，由於實現受各類低效率因素的影響，因此由 一段帶寬爲10Mbps的鏈路鏈接的一對節點可能只達到2Mbps的吞吐量。這樣就意味着，一個主機上的應用可以以2Mbps的速度向另外的一個主機發送 數據。

五、方差和標準差都是用來描述一組數據的波動性的（集中仍是分散），標準差的平方就是方差。方差越大，數據的波動越大。

三．利用BadBoy生成測試計劃（測試腳本）

badBoy能夠很是容易的生成web的測試腳本。相似與LoadRunner的使用，輸入站點的URL，點擊Record開始錄製。File –> Export to Jmeter ，導出爲Jmeter認識的測試腳本。

四．一個簡單的測試示例思路（目前本身思路，不斷改進）

a． 須要的「測試腳本」，對應web的應用使用badboy生成測試腳本。直接導入Jmeter，進行配置。

b．如圖

TestPlan ：是整個Jmeter測試執行的容器。 
ThreadGroup ：模擬請求，定義線程數、Ramp-Up Period、循環次數。 
Step1 ：循環控制器 ，控制Sample的執行次數。 
Sample取樣器 ：決定進行那種類型的測試，如http、ftp等。 
監聽器 ：圖形結果、聚合報告。 
定時器 ：Random類型，定義線程請求的延遲。

c．聚合報告的解釋

Label ：各個模擬測試的名稱 
Samples ：各個測試的樣本總數 
Average ：每一個請求的平均響應時間 
Median ：中值，即50%請求的平均響應時間 
90%Line ：90%請求的響應時間 
Min ：最小響應時間 ，Max ：最大的響應時間 
Error% ：錯誤響應的機率。即沒法響應的機率。 
ThroughPut ：吞吐量 – 默認狀況下表示每秒完成的請求數（Request per Second）。 
KB/Sec ：每秒從服務器端接收到的數據量。

五．Jmeter常見問題 （轉載）

http://www.51testing.com/?uid-128005-action-viewspace-itemid-84094

說明：這些問答是從網上轉載的，本身修改了其中的一些內容，若是你們興趣，能夠將你們在使用Jmeter的時候碰到的問題寫下來，咱們一塊兒補充到這個問答裏面，共同努力完善jmeter的資料。

1. JMeter的工做原理是什麼？ 
   向服務器提交請求；從服務器取回請求返回的結果。
2. JMeter的做用？ 
   JMeter能夠用於測試靜態或者動態資源的性能（文件、Servlets、Perl腳本、Java對象、數據庫和 查詢、ftp服務器或者其餘的資源）。JMeter用於模擬在服務器、網絡或者其餘對象上附加高負載以測試他們提供服務的受壓能力，或者分析他們提供的服 務在不一樣負載條件下的總性能狀況。你能夠用JMeter提供的圖形化界面分析性能指標或者在高負載狀況下測試服務器/腳本/對象的行爲。
3. 怎樣能看到jmeter提供的腳本範例？ 
   在\JMeter\jakarta-jmeter-2.0.3\xdocs\demos目錄下。
4. 怎樣設置併發用戶數？ 
   選中可視化界面中左邊樹的Test Plan節點，單擊右鍵，選擇Add-> Thread Group,其中Number of Threads參數用來設置發送請求的用戶數目。
5. JMeter的運行指示？ 
   Jmeter在運行時，右上角有個單選框大小的小框框，運行是該框框爲綠色，運行完畢後，該框框爲白色。
6. User Parameters的做用是什麼？ 
   提升腳本可用性
7. 在result裏會出現彩色字體的http response code，說明什麼呢？ 
   Http response code是http返回值，彩色字體較引人注目，可使用戶迅速關注。象綠色的302就說明在這一步驟中，返回值取自本機的catch，而不是server。
8. 怎樣計算Ramp-up period時間？ 
   Ramp-up period是指每一個請求發生的總時間間隔，單位是秒。若是Number of Threads設置爲5，而Ramp-up period是10，那麼每一個請求之間的間隔就是10／5，也就是2秒。Ramp-up period設置爲0，就是同時併發請求。
9. Get和Post的區別？ 
   他們是http協議的2種不一樣實現方式。Get是指server從Request URL取得所需參數。從result中的request中能夠看到，get能夠看到參數，可是post是主動向server發送參數，因此通常看不到這些參數的。
10. 哪些緣由可能致使error的產生？ 
    a. Http錯誤，包括不響應，結果找不到，數據錯誤等等； 
    b. JMeter自己緣由產生的錯誤。
11. 爲何Aggregate Report結果中的Total值不是真正的總和？ 
    JMeter給結果中total的定義是並不徹底指總和，爲了方便使用，它的值表現了所在列的表明值，好比min值，它的total就是所在列的最小值。下圖就是total在各列所表示的意思。
12. JMeter的Thread Number是提供多個不一樣用戶併發的功能麼？ 
    不是，Thread Number僅僅是指併發數，若是須要實現多個不一樣用戶併發，咱們應該採用其它方法，好比經過在jmeter外創建csv文件的方法來實現。
13. 同時併發請求時，若須要模擬不一樣的用戶同時向不一樣的server併發請求，怎樣實現呢？ 
    方法很靈活，咱們能夠將不一樣的server在thread裏面預先寫好。或者預先將固定的變量值寫入csv文件，這樣還能夠方便修改。而後將文件添加到User Parameters。
14. User Parameter中的DUMMY是什麼意思？ 
    當其具體內容是 
    {__CSVRead({__CSVRead({__property(user.dir)}${FILENAME},next())} 
    時用來模擬讀文件的下一行。
15. 當測試對象在多server間跳轉時，應該怎樣處理？ 
    程序運行時，有些http和隱函數會攜帶另外的server IP,咱們能夠從他們的返回值中獲取。
16. 爲什麼測試對象是http和https混雜出現？ 
    Https是加密協議，爲了安全，通常不推薦使用http，可是有些地方，使用https過於複雜或者較難實現，會採用http協議。
17. Http和https的默認端口是什麼？ 
    Apache server (Http)的默認端口是80； 
    SSL (Https)的默認端口是443。
18. 爲什麼在run時，有些頁面失敗，可是最後不影響結果？ 
    緣由較多，值得說起的一種是由於主流頁面與它不存在依賴關係，因此即便這樣的頁面出錯，也不會影響運行獲得正常結果，可是這樣會影響到測試的結果以及分析結果。
19. 爲何腳本剛開始運行就有錯誤，其後來的腳本還可運行？ 
    在Thread Group中有相關設置，若是選擇了continue，即便前面的腳本出現錯誤，整個thread仍會運行直到結束。選擇Stop Thread會結束當前thread；選擇Stop Test則會結束所有的thread。推薦選項是Stop Thread。
20. 在Regular expression_r Extractor會看到Template的值是1,這個值是什麼意思呢？ 
    1是指取第一個（）裏面的值。若是Regular expression_r的數值有多個，用這種方法能夠避免沒必要要的麻煩。
21. Regular expression_r中的(.*)是什麼意思？ 
    那是一個正則表達式（regular expression_r）。’.’等同於sql語言中的’?’,表示無關緊要。’’表示0個或多個。’()’表示須要取值。(.)表達任意長度的字符串。
22. 在讀取Regular expression_r時要注意什麼？ 
    必定要保證所取數值的絕對惟一性。
23. 怎樣才能判斷什麼樣的狀況須要添加Regular expression_r Extractor？ 
    檢查Http Request中的Send Parameters,若是有某個參數是其前一個page中所沒有給出的，就要到原文件中查找，並添加Regular expression_r Extractor到其前一page的http request中。
24. 在自動獲取的腳本中有時會出現空的http request，是什麼意思呢？ 
    是由於在獲取腳本時有些錯誤，是腳本工具緣由。在run時這種錯誤不參與運行的。
25. 在運行結果中爲什麼有rate爲N/A的狀況出現？ 
    可能由於JMeter自身問題形成，再次運行能夠獲得正確結果。
26. 經常使用http錯誤代碼有哪些？ 
    400沒法解析此請求。 
    403禁止訪問：訪問被拒絕。 
    404找不到文件或目錄。 
    405用於訪問該頁的HTTP動做未被許可。 
    410文件已刪除。 
    500服務器內部錯誤。 
    501標題值指定的配置沒有執行。 
    502 Web服務器做爲網關或代理服務器時收到無效的響應。
27. Http request中的Send Parameters是指什麼？ 
    是指code中寫定的值和自定義變量中獲得的值，就是在運行頁面時須要的參數。
28. Parameters在頁面中是不斷傳遞的麼？ 
    是的。參數再產生後會在頁面中一直傳遞到所需頁面。因此咱們能夠在動態參數產生時捕獲它，也能夠在所需頁面的上一頁面捕獲。(可是這樣可能有錯誤，最好在產生頁面獲取)
29. 在使用JMeter測試時，是徹底模擬用戶操做麼？形成的結果也和用戶操做徹底相同麼？ 
    是的。JMeter徹底模擬用戶操做，因此操做記錄會所有寫入DB.在運行失敗時，可能會產生錯誤數據，這就取決於腳本檢查是否嚴謹，不然錯誤數據也會進入DB，給程序運行帶來不少麻煩。

六．Jmeter測試心得（轉載）

http://www.javaeye.com/topic/211216

企業應用開發過程當中，性能測試是很重要的一個環節，在這個環節中Apache的JMeter以它開源、100%純Java、操做方便等優勢發揮着很大的做用。 
通過一段時間的使用，多少有些心得和技巧，拿出來共享，但願能有些幫助。

一、製做測試腳本： 
手工製做測試腳本，須要你知道請求的url和攜帶的參數等等，太花費時間， 
因此能夠用badboy工具錄製腳本。這個工具雖然不是開源的，可是卻能夠用來免費的錄製成.jmx的腳本，使用起來很方便。 
官方網站是：http://www.badboy.com.au/

二、出現亂碼了？ 
在用JMeter發行HTTPRequest時，在請求參數中有中文時，發現存儲到DB中後，相應的字段是亂碼， 
明明在參數後面的Encode選項中打了V。後來發現badboy錄製腳本的時候並無記錄編碼方式，因此修改腳本， 
在Content encoding中設置正確的編碼方式就不會出現亂碼了。

三、JMeter的妙用—準備測試數據： 
要求性能測試開始前，先準備5W條數據。固然能夠經過直接修改DB，可是若是這5W條數據涉及到不少表的關聯， 
甚至還要經過存儲過程的處理怎麼辦，直接修改DB很容易出現錯誤的數據，要是在客戶的機器上弄錯，可就闖禍了。 
這時候想到了JMeter，它原本是用來模擬大量用戶併發請求的，如今用它來批量的生成數據吧。 
若是要求每條數據都不一樣，就要修改腳本，使用JMeter的函數來動態產生數據，比較經常使用的是CSVRead函數， 
記不住名的話Ctrl+F能夠呼喚出函數助手。使用這個函數的時候須要注意幾點，首先是csv文件的編碼格式， 
使用ansi沒有問題，使用unicode時會使讀取的第一行數據出現錯誤； 
{__CSVRead(data.txt,0)}—讀取本行的第一列值{__CSVRead(data.txt,0)}—讀取本行的第一列值{__CSVRead(data.txt,1)}${__CSVRead(data.txt,next)}—讀取本行的第二列值，並把行標移動到下一行 
試驗證實JMeter應該作好了同步，在多線程環境下上面的調用方法沒有問題； 
最後，修改JMeter的線程數會加快數據生成的速度，原理是當併發線程在20左右的時候會達到最大的吞吐量（request/分）， 
因此應該設定線程數20左右。

四、JMeter中debug方法： 
JMeter提供了log函數輸出log，可是有時候並很差用，好比我想輸出某個函數的返回值看是否是正確的， 
{__log({__log({__CSVRead(data.txt,1)})}這樣的寫法是錯誤的，JMeter會拋出異常，該怎麼辦呢？ 
答案是巧用監聽器（Listener）來輸出想看到的數據，結果顯示爲樹的那個監聽器， 
它可讓你查看每一個sampler的請求數據和響應數據，在請求數據中就有你想看到的信息。

五、經常使用的功能： 
1)使用HTTP Cookie Manager或URL重寫實現同一線程內的多個請求共享Session。 
2)把Login的請求放到只執行一次的控制器中，那麼即便循環屢次，Login也只請求一次。 
3)若是想讓多個線程在同一時刻同時請求，那麼用Synchronizing Timer來作集合點。 
4)爲了節省系統資源，使用非窗口模式運行JMeter（jmeter -n -t test.jmx） 
5)若是模擬併發用戶過多，好比200線程，那麼能夠分散到多臺機器上運行Jmeter（好比4臺電腦，每臺50線程） 
更多功能請參照使用手冊 
中文手冊（未完成）http://wiki.javascud.org/pages/viewpage.action?pageId=5566

六、在winnt系統上，使用perfmon來幫助Jmeter採集服務器的系統資源數據，能夠配置log輸出這些數據做爲性能瓶頸分析時使用。

七．置信區間 http://java.chinaitlab.com/tools/355421.html 
對數據進行更科學的分析，肯定測試結果。相似於Jmeter聚合報告的90% Line給出的參考，而不能僅僅參考均值。

記：熟悉Jmeter使用以後，本身更應該關注的是「測試實踐」，以及經過怎麼樣的方法改進性能。