Jmeter(三十五)_精確實現網頁爬蟲

Jmeter實現了一個網站文章的爬蟲，能夠把全部文章分類保存到本地文件中，並以文章標題命名

它原理就是對網頁提交一個請求，而後把返回的全部值提取出來，利用ForEach控制器去實現遍歷。下面來介紹一下如何操做。

首先咱們須要對網頁提交一個請求。咱們對一個站點發起一個請求，觀察一下返回值能夠發現中間有不少中文title，這些title都是href標籤，他們做爲超連接能夠跳轉到正文

 

咱們用xpath提取器獲取這些href的title，而且用-1提取所有

 

 

用foreach控制器遍歷提取的title，並傳參

 

 

 

經過beanshell腳本將遍歷提取的title保存到本地文件，文件保存爲title.csv

 

 

用matchNr函數獲取返回的title總數，做爲後續csv提取器的循環次數

 

 

 

在循環控制器下，用csv提取器從以前保存到本地的title.csv中循環讀取title，並做爲參數傳遞到後續接口的url中

 

 

 

循環控制器下，經過csv傳參，循環觸發url

 

 

 

循環觸發url以後，用xpath表達式從url中提取出文本，傳遞變量爲text

 

 

 

循環控制器下，經過foreach控制器遍歷以前的提取的text，保存到本地文件。文件名用遍歷獲取的title依次命名建立

 

 

 

注：難點在於，須要按照超連接的標題建立本地文件，並把超連接以後的文本正確保存到文件之中

 

 

 

你還在爲找不到可練習的接口而煩惱嗎？如今加入龍淵閣，咱們手把手教你搭建屬於本身的接口測試環境！

點擊這裏進入史上最具活力的測試交流平臺！