精通Python網絡爬蟲(0):網絡爬蟲學習路線

做者：韋瑋

轉載請註明出處

隨着大數據時代的到來，人們對數據資源的需求愈來愈多，而爬蟲是一種很好的自動採集數據的手段。

那麼，如何才能精通Python網絡爬蟲呢？學習Python網絡爬蟲的路線應該如何進行呢？在此爲你們具體進行介紹。

一、選擇一款合適的編程語言

事實上，Python、PHP、JAVA等常見的語言均可以用於編寫網絡爬蟲，你首先須要選擇一款合適的編程語言，這些編程語言各有優點，能夠根據習慣進行選擇。在此筆者推薦使用Python進行爬蟲項目的編寫，其優勢是：簡潔、掌握難度低。

二、掌握Python的一些基礎爬蟲模塊

固然，在進行這一步以前，你應當先掌握Python的一些簡單語法基礎，而後纔可使用Python語言進行爬蟲項目的開發。

在掌握了Python的語法基礎以後，你須要重點掌握一個Python的關於爬蟲開發的基礎模塊。這些模塊有不少能夠供你選擇，好比urllib、requests等等，只須要精通一個基礎模塊便可，沒必要要都精通，由於都是大同小異的，在此推薦的是掌握urllib，固然你能夠根據你的習慣進行選擇。

三、深刻掌握一款合適的表達式

學會了如何爬取網頁內容以後，你還須要學會進行信息的提取。事實上，信息的提取你能夠經過表達式進行實現，一樣，有不少表達式能夠供你選擇使用，常見的有正則表達式、XPath表達式、BeautifulSoup等，這些表達式你沒有必要都精通，一樣，精通1-2個，其餘的掌握便可，在此建議精通掌握正則表達式以及XPath表達式，其餘的瞭解掌握便可。正則表達式能夠處理的數據的範圍比較大，簡言之，就是能力比較強，XPath只能處理XML格式的數據，有些形式的數據不能處理，但XPath處理數據會比較快。

四、深刻掌握抓包分析技術

事實上，不少網站都會作一些反爬措施，即不想讓你爬到他的數據。最多見的反爬手段就是對數據進行隱藏處理，這個時候，你就沒法直接爬取相關的數據了。做爲爬蟲方，若是須要在這種狀況下獲取數據，那麼你須要對相應的數據進行抓包分析，而後再根據分析結果進行處理。通常推薦掌握的抓包分析工具是Fiddler，固然你也能夠用其餘的抓包分析工具，沒有特別的要求。

五、精通一款爬蟲框架

事實上，當你學習到這一步的時候，你已經入門了。

這個時候，你可能須要深刻掌握一款爬蟲框架，由於採用框架開發爬蟲項目，效率會更加高，而且項目也會更加完善。

一樣，你能夠有不少爬蟲框架進行選擇，好比Scrapy、pySpider等等，同樣的，你不必每一種框架都精通，只須要精通一種框架便可，其餘框架都是大同小異的，當你深刻精通一款框架的時候，其餘的框架了解一下事實上你便能輕鬆使用，在此推薦掌握Scrapy框架，固然你能夠根據習慣進行選擇。

六、掌握常見的反爬策略與反爬處理策略

反爬，是相對於網站方來講的，對方不想給你爬他站點的數據，因此進行了一些限制，這就是反爬。

反爬處理，是相對於爬蟲方來講的，在對方進行了反爬策略以後，你還想爬相應的數據，就須要有相應的攻克手段，這個時候，就須要進行反爬處理。

事實上，反爬以及反爬處理都有一些基本的套路，萬變不離其宗，這些後面做者會具體提到，感興趣的能夠關注。

常見的反爬策略主要有：

IP限制

UA限制

Cookie限制

資源隨機化存儲

動態加載技術

……

對應的反爬處理手段主要有：

IP代理池技術

用戶代理池技術

Cookie保存與處理

自動觸發技術

抓包分析技術+自動觸發技術

……

這些你們在此先有一個基本的思路印象便可，後面都會具體經過實戰案例去介紹。

七、掌握PhantomJS、Selenium等工具的使用

有一些站點，經過常規的爬蟲很難去進行爬取，這個時候，你須要藉助一些工具模塊進行，好比PhantomJS、Selenium等，因此，你還須要掌握PhantomJS、Selenium等工具的常規使用方法。

八、掌握分佈式爬蟲技術與數據去重技術

若是你已經學習或者研究到到了這裏，那麼恭喜你，相信如今你爬任何網站都已經不是問題了，反爬對你來講也只是一道形同虛設的牆而已了。

可是，若是要爬取的資源很是很是多，靠一個單機爬蟲去跑，仍然沒法達到你的目的，由於太慢了。

因此，這個時候，你還應當掌握一種技術，就是分佈式爬蟲技術，分佈式爬蟲的架構手段有不少，你能夠依據真實的服務器集羣進行，也能夠依據虛擬化的多臺服務器進行，你能夠採用urllib+redis分佈式架構手段，也能夠採用Scrapy+redis架構手段，都不要緊，關鍵是，你能夠將爬蟲任務部署到多臺服務器中就OK。

至於數據去重技術，簡單來講，目的就是要去除重複數據，若是數據量小，直接採用數據庫的數據約束進行實現，若是數據量很大，建議採用布隆過濾器實現數據去重便可，布隆過濾器的實如今Python中也是不難的。

以上是若是你想精通Python網絡爬蟲的學習研究路線，按照這些步驟學習下去，可讓你的爬蟲技術獲得很是大的提高。

至於有些朋友問到，使用Windows系統仍是Linux系統，其實，不要緊的，通常建議學習的時候使用Windows系統進行就行，比較考慮到大部分朋友對該系統比較數據，可是在實際運行爬蟲任務的時候，把爬蟲部署到Linux系統中運行，這樣效率比較高。因爲Python的可移植性很是好，因此你在不一樣的平臺中運行一個爬蟲，代碼基本上不用進行什麼修改，只須要學會部署到Linux中便可。因此，這也是爲何說使用Windows系統仍是Linux系統進行學習都沒多大影響的緣由之一。

本篇文章主要是爲那些想學習Python網絡爬蟲，可是又不知道從何學起，怎麼學下去的朋友而寫的。但願經過本篇文章，可讓你對Python網絡爬蟲的研究路線有一個清晰的瞭解，這樣，本篇文章的目的就達到了，加油！

本文章由做者韋瑋原創，轉載請註明出處。

做者相關推薦

書籍名：《精通Python網絡爬蟲》

定位：Python零基礎入門、中級

特色：知識點較系統、全書結合項目實戰

不足點：出版週期時間限制問題，初版中未涉及PhantomJS+Selenium等其餘工具的使用，暫未涉及分佈式爬蟲技術，這些額外的知識已經過博文補充。