[toc] 工欲善其事必先利其器的道理相信你們都懂。而做爲常常要和各大網站作拉鋸戰的爬蟲工程師們，則更須要利用利用好身邊的一切法器，以便更快的攻破對方防線。今天我就以平常爬蟲流程，給你們介紹十款工具，相信你們掌握以後，一定可以在工做效率上，提高一個量級。 ###1.Chrome Chrome屬於爬蟲的基礎工具，通常咱們用它作初始的爬取分析，頁面邏輯跳轉、簡單的js調試、網絡請求的步驟等。咱們初期的大部分工做都在它上面完成，打個不恰當的比喻，不用Chrome，咱們就要從智能時代倒退到馬車時代前端
同類工具： Firefox、Safari、Operagit
###2.Charles Charles與Chrome對應，只不過它是用來作App端的網絡分析，相較於網頁端，App端的網絡分析較爲簡單，重點放在分析各個網絡請求的參數。固然，若是對方在服務端作了參數加密，那就涉及逆向工程方面的知識，那一塊又是一大籮筐的工具，這裏暫且不談github
同類工具：Fiddler、Wireshark、Anyproxyjson
###3.cUrl 維基百科這樣介紹它後端
cURL是一個利用URL語法在命令行下工做的文件傳輸工具，1997年首次發行。它支持文件上傳和下載，因此是綜合傳輸工具，但按傳統，習慣稱cURL爲下載工具。cURL還包含了用於程序開發的libcurl。網絡
在作爬蟲分析時，咱們常常要模擬一下其中的請求，這個時候若是去寫一段代碼，未免過小題大作了，直接經過Chrome拷貝一個cURL，在命令行中跑一下看看結果便可，步驟以下架構
###4.Postman 固然，大部分網站不是你拷貝一下cURL連接，改改其中參數就能夠拿到數據的，接下來咱們作更深層次的分析，就須要用到Postman「大殺器」了。爲何是「大殺器」呢？由於它着實強大。配合cURL，咱們能夠將請求的內容直接移植過來，而後對其中的請求進行改造，勾選便可選擇咱們想要的內容參數，很是優雅併發
###5.Online JavaScript Beautifiercurl
用了以上的工具，你基本能夠解決大部分網站了，算是一個合格的初級爬蟲工程師了。這個時候，咱們想要進階就須要面對更復雜的網站爬蟲了，這個階段，你不只要會後端的知識，還須要瞭解一些前端的知識，由於不少網站的反爬措施是放在前端的。你須要提取對方站點的js信息，並須要理解和逆向回去，原生的js代碼通常不易於閱讀，這時，就要它來幫你格式化吧工具
###6.EditThisCookie 爬蟲和反爬蟲就是一場沒有硝煙的拉鋸戰，你永遠不知道對方會給你埋哪些坑，好比對Cookies動手腳。這個時候你就須要它來輔助你分析，經過Chrome安裝EditThisCookie插件後，咱們能夠經過點擊右上角小圖標，再對Cookies裏的信息進行增刪改查操做，大大提升對Cookies信息的模擬
###7.Sketch 當咱們已經肯定能爬取以後，咱們不該該着急動手寫爬蟲。而是應該着手設計爬蟲的結構。按照業務的需求，咱們能夠作一下簡單的爬取分析，這有助於咱們以後開發的效率，所謂磨刀不誤砍柴工就是這個道理。好比能夠考慮下，是搜索爬取仍是遍歷爬取？採用BFS仍是DFS？併發的請求數大概多少？考慮一下這些問題後，咱們能夠經過Sketch來畫一下簡單的架構圖
同類工具：Illustrator、 Photoshop
開始愉快的爬蟲開發之旅吧 終於要進行開發了，通過上面的這些步驟，咱們到這一步，已是萬事俱備只欠東風了。這個時候，咱們僅僅只須要作code和數據提取便可
###8.XPath Helper 在提取網頁數據時，咱們通常須要使用xpath語法進行頁面數據信息提取，通常地，但咱們只能寫完語法，發送請求給對方網頁，而後打印出來，才知道咱們提取的數據是否正確，這樣一方面會發起不少沒必要要的請求，另一方面，也浪費了咱們的時間。這個就能夠用到XPath Helper了，經過Chrome安裝插件後，咱們只須要點擊它在對應的xpath中寫入語法，而後即可以很直觀地在右邊看到咱們的結果，效率up+10086
###9.JSONView 咱們有時候提取的數據是Json格式的，由於它簡單易用，愈來愈多的網站傾向於用Json格式進行數據傳輸。這個時候，咱們安裝這個插件後，就能夠很方便的來查看Json數據啦
###10.JSON Editor Online JSONView是直接在網頁端返回的數據結果是Json，但多數時候咱們請求的結果，都是前端渲染後的HTML網頁數據，咱們發起請求後獲得的json數據，在終端(即terminal)中沒法很好的展示怎麼辦？藉助JSON Editor Online就能夠幫你很好的格式化數據啦，一秒格式化，而且實現了貼心得摺疊Json數據功能
既然看到這裏，相信大家必定是真愛粉啦，送大家一個彩蛋工具。 #####關注公衆號<font color='red' size='+2'>githubcn</font>，免費獲取更多學習視頻教程 