作多了爬蟲都知道,寫一個爬蟲大部分時間不是在代碼上,而是在分析網頁上,全部有一套好用的工具能夠極大節省勞動力,這裏把平時積累的一些 Chrome 插件分享出來,均來自本人和同事推薦,並不定時更新,歡迎點贊和收藏。 注意下載地址是谷歌應用商店,訪問須要特殊方法,你懂的。javascript
XPath Helper
相比較 Chrome 自身的 html 搜索,這款插件好用之處是能夠顯示匹配結果,在插件裏寫出正確的 XPath 語句後再複製到代碼裏便可。html
<br>java
Toggle JavaScript
一鍵攔截網頁全部的 JS,能夠快速區分出哪些是異步加載的數據,絕對是爬蟲必備神器。web
<br>chrome
FeHelper
這款插件的強大之處不想多說,看上面的截圖就好了,其中一些數據轉換的功能,在分析請求時會常常用到。編程
<br> ### [JSON-Handle](https://chrome.google.com/webstore/detail/json-handle/iahnhfdhidomcpggpaimmmahffihkfnj) ![JSON-Handle](https://img2018.cnblogs.com/blog/1627229/201907/1627229-20190701234543632-297499716.png) 雖然上面推薦的已經帶有 JSON 功能,不過這款插件帶有局部選取、對象類型、數組長度等小功能,能夠做爲有額外需求時的後備之選。json
<br>數組
User-Agent Switcher
快速修改 UserAgent
的插件,當須要請求移動端頁面時,或者須要傳特殊的 UA 時,不要忘記它。微信
<br>dom
X-Forwarded-For Header
有時候網站過濾 IP 是經過請求 Headers 中的 X-Forwarded-For
字段,經過這個插件就能夠修改此字段,用來快速進行判斷。
<br>
SwitchyOmega
快速切換 HTTP / Socks 代理的插件,還能根據匹配地址自動切換。另外一個技巧是配合 Charles、Burp Suite 這類抓包工具,這些工具使用時須要設置本地代理,能夠提早設置好用時就切換。
持續更新中,點贊是動力,有其餘好用的插件也歡迎分享給我。
<br> ---- ### 打包下載 若是沒法進入谷歌商店,能夠關注微信公衆號:面向人生編程
回覆【插件】獲取打包下載
回覆【資料】獲取本人精選的學習視頻及代碼
原文出處:https://www.cnblogs.com/zkqiang/p/10963515.html