Jmeter(十九)_ForEach控制器實現網頁爬蟲

時間 2019-11-07

標籤 jmeter 十九 foreach 控制器實現網頁爬蟲欄目 HTML 简体版

原文原文鏈接

一直以來，爬蟲彷佛都是寫代碼去實現的，今天像你們介紹一下Jmeter如何實現一個網頁爬蟲！龍淵閣測試開發家園 317765580正則表達式

Jmeter的爬蟲原理其實很簡單，就是對網頁提交一個請求，而後把返回的全部href提取出來，利用ForEach控制器去實現url遍歷。這樣解釋是否是很清晰？下面就來簡單介紹一下如何操做。網頁爬蟲

首先咱們須要對網頁提交一個請求，就拿騰訊新聞網舉例子吧！咱們像騰訊新聞網發起一個請求，觀察一下返回值能夠發現中間有不少href標籤+文字標題的url測試

咱們如今須要把這些url提取出來，利用強大的正則表達式！記得匹配數字填-1，意思就是把全部合適的url都取出來龍淵閣測試開發家園 317765580url

a target="_blank" class="linkto" href="http:// *(.*l)"spa

加一個debug查看一下是否真的取出來了龍淵閣測試開發家園 317765580debug

又或者咱們在結果裏面直接利用正則匹配一下，能夠看到不少網頁連接都被取出來了龍淵閣測試開發家園 3177655803d

接下來咱們須要動用到ForEach控制器了，利用這個控制器對全部取出來的url進行遍歷觸發。記得在控制器裏面填入變量名稱，也就是剛剛正則表達式裏面的變量名blog

接下來在ForEach控制器下面再添加一個http請求，利用它去執行請求觸發開發

下面咱們能夠觀察結果了，見證奇蹟的時候到了。觀察結果咱們發現全部匹配的url都被觸發了！龍淵閣測試開發家園 317765580get

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。