爬蟲工程師經常使用的 Chrome 插件

作多了爬蟲都知道,寫一個爬蟲大部分時間不是在代碼上,而是在分析網頁上,全部有一套好用的工具能夠極大節省勞動力,這裏把平時積累的一些 Chrome 插件分享出來,均來自本人和同事推薦,並不定時更新,歡迎點贊和收藏。 注意下載地址是谷歌應用商店,訪問須要特殊方法,你懂的。javascript

XPath Helper

XPath Helper 相比較 Chrome 自身的 html 搜索,這款插件好用之處是能夠顯示匹配結果,在插件裏寫出正確的 XPath 語句後再複製到代碼裏便可。html

<br>java

Toggle JavaScript

Toggle JavaScript 一鍵攔截網頁全部的 JS,能夠快速區分出哪些是異步加載的數據,絕對是爬蟲必備神器。web

<br>chrome

FeHelper

FeHelper 這款插件的強大之處不想多說,看上面的截圖就好了,其中一些數據轉換的功能,在分析請求時會常常用到。編程

<br> ### [JSON-Handle](https://chrome.google.com/webstore/detail/json-handle/iahnhfdhidomcpggpaimmmahffihkfnj) ![JSON-Handle](https://img2018.cnblogs.com/blog/1627229/201907/1627229-20190701234543632-297499716.png) 雖然上面推薦的已經帶有 JSON 功能,不過這款插件帶有局部選取、對象類型、數組長度等小功能,能夠做爲有額外需求時的後備之選。json

<br>數組

User-Agent Switcher

User-Agent Switcher 快速修改 UserAgent 的插件,當須要請求移動端頁面時,或者須要傳特殊的 UA 時,不要忘記它。微信

<br>dom

X-Forwarded-For Header

X-Forwarded-For Header 有時候網站過濾 IP 是經過請求 Headers 中的 X-Forwarded-For 字段,經過這個插件就能夠修改此字段,用來快速進行判斷。

<br>

SwitchyOmega

SwitchyOmega 快速切換 HTTP / Socks 代理的插件,還能根據匹配地址自動切換。另外一個技巧是配合 Charles、Burp Suite 這類抓包工具,這些工具使用時須要設置本地代理,能夠提早設置好用時就切換。

持續更新中,點贊是動力,有其餘好用的插件也歡迎分享給我。

<br> ---- ### 打包下載 若是沒法進入谷歌商店,能夠關注微信公衆號:面向人生編程

回覆【插件】獲取打包下載

回覆【資料】獲取本人精選的學習視頻及代碼

微信公衆號:面向人生編程

原文出處:https://www.cnblogs.com/zkqiang/p/10963515.html

相關文章
相關標籤/搜索