Python爬蟲知識點梳理

學任何一門技術，都應該帶着目標去學習，目標就像一座燈塔，指引你前進，不少人學着學着就學放棄了，很大部分緣由是沒有明確目標，因此，在你準備學爬蟲前，先問問本身爲何要學習爬蟲。有些人是爲了一份工做，有些人是爲了好玩，也有些人是爲了實現某個黑科技功能。不過能夠確定的是，學會了爬蟲能給你的工做提供不少便利。

做爲零基礎小白，大致上可分爲三個階段去實現，第一階段是入門，掌握必備基礎知識，好比Python基礎、網絡請求的基本原理等，第二階段是模仿，跟着別人的爬蟲代碼學，弄懂每一行代碼，熟悉主流的爬蟲工具，第三階段是本身動手，到了這個階段你開始有本身的解題思路了，能夠獨立設計爬蟲系統。

爬蟲涉及的技術包括但不限於熟練一門編程語言（這裏以 Python 爲例） HTML 知識、HTTP 協議的基本知識、正則表達式、數據庫知識，經常使用抓包工具的使用、爬蟲框架的使用、涉及到大規模爬蟲，還須要瞭解分佈式的概念、消息隊列、經常使用的數據結構和算法、緩存，甚至還包括機器學習的應用，大規模的系統背後都是靠不少技術來支撐的。數據分析、挖掘、甚至是機器學習都離不開數據，而數據不少時候須要經過爬蟲來獲取，所以，即便把爬蟲做爲一門專業來學也是有很大前途的。

那麼是否是必定要把上面的知識全學完了才能夠開始寫爬蟲嗎？固然不是，學習是一生的事，只要你會寫 Python 代碼了，就直接上手爬蟲，比如學車，只要能開動了就上路吧，寫代碼可比開車安全多了。

用 Python 寫爬蟲，首先須要會 Python，把基礎語法搞懂，知道怎麼使用函數、類、list、dict 中的經常使用方法就算基本入門。接着你須要瞭解 HTML，HTML 就是一個文檔樹結構，網上有個 HTML 30分鐘入門教程 https://deerchao.net/tutorials/html/html.htm 夠用了。而後是關於 HTTP 的知識，爬蟲基本原理就是經過網絡請求從遠程服務器下載數據的過程，而這個網絡請求背後的技術就是基於 HTTP 協議。做爲入門爬蟲來講，你須要瞭解 HTTP協議的基本原理，雖然 HTTP 規範用一本書都寫不完，但深刻的內容能夠放之後慢慢去看，理論與實踐相結合。

網絡請求框架都是對 HTTP 協議的實現，好比著名的網絡請求庫 Requests 就是一個模擬瀏覽器發送 HTTP 請求的網絡庫。瞭解 HTTP 協議以後，你就能夠專門有針對性的學習和網絡相關的模塊了，好比 Python 自帶有 urllib、urllib2（Python3中的urllib），httplib，Cookie等內容，固然你能夠直接跳過這些，直接學習 Requests 怎麼用，前提是你熟悉了 HTTP協議的基本內容，數據爬下來，大部分狀況是 HTML 文本，也有少數是基於 XML 格式或者 Json 格式的數據，要想正確處理這些數據，你要熟悉每種數據類型的解決方案，好比 JSON 數據能夠直接使用 Python自帶的模塊 json，對於 HTML 數據，可使用 BeautifulSoup、lxml 等庫去處理，對於 xml 數據，除了可使用 untangle、xmltodict 等第三方庫。