python爬蟲如何入門

時間 2019-11-29

原文原文鏈接

學爬蟲是按部就班的過程，做爲零基礎小白，大致上可分爲三個階段，第一階段是入門，掌握必備的基礎知識，第二階段是模仿，跟着別人的爬蟲代碼學，弄懂每一行代碼，第三階段是本身動手，這個階段你開始有本身的解題思路了，能夠獨立設計爬蟲系統。python

爬蟲涉及的技術包括但不限於熟練一門編程語言（這裏以 Python 爲例） HTML 知識、HTTP/HTTPS 協議的基本知識、正則表達式、數據庫知識，經常使用抓包工具的使用、爬蟲框架的使用、涉及到大規模爬蟲，還須要瞭解分佈式的概念、消息隊列、經常使用的數據結構和算法、緩存，甚至還包括機器學習的應用，大規模的系統背後都是靠不少技術來支撐的。爬蟲只是爲了獲取數據，分析、挖掘這些數據纔是價值，所以它還能夠延伸到數據分析、數據挖掘等領域，給企業作決策，因此做爲一名爬蟲工程師，是大有可爲的。正則表達式

那麼是否是必定要把上面的知識全學完了才能夠開始寫爬蟲嗎？固然不是，學習是一生的事，只要你會寫 Python 代碼了，就直接上手爬蟲，比如學車，只要能開動了就上路吧，固然寫代碼可比開車安全多了。算法

用 Python 寫爬蟲，首先須要會 Python，把基礎語法搞懂，知道怎麼使用函數、類和經常使用的數據結構如 list、dict 中的經常使用方法就算基本入門。接着你須要瞭解 HTML，HTML 就是一個文檔樹結構，網上有個 HTML 30分鐘入門教程夠用了。而後是關於 HTTP 的知識，爬蟲基本原理就是經過網絡請求從遠程服務器下載數據的過程，而這個網絡請求背後的技術就是基於 HTTP 協議。做爲入門爬蟲來講，你須要瞭解 HTTP協議的基本原理，雖然 HTTP 規範用一本書都寫不完，但深刻的內容能夠放之後慢慢去看，理論與實踐相結合。sql

網絡請求框架都是對 HTTP 協議的實現，好比著名的網絡請求庫 Requests 就是一個模擬瀏覽器發送 HTTP 請求的網絡庫。瞭解 HTTP 協議以後，你就能夠專門有針對性的學習和網絡相關的模塊了，好比 Python 自帶有 urllib、urllib2（Python3中的urllib），httplib，Cookie等內容，固然你能夠直接跳過這些，直接學習 Requests 怎麼用，前提是你熟悉了 HTTP協議的基本內容。這裏不得不推薦的一本書是《圖解HTTP》。數據爬下來，大部分狀況是 HTML 文本，也有少數是基於 XML 格式或者 Json 格式的數據，要想正確處理這些數據，你要熟悉每種數據類型的解決方案，好比JSON數據能夠直接使用 Python自帶的模塊 json，對於 HTML 數據，可使用 BeautifulSoup、lxml 等庫去處理，對於 xml 數據，除了可使用 untangle、xmltodict等第三方庫。數據庫

入門爬蟲，學習正則表達式並非必須的，你能夠在你真正須要的時候再去學，好比你把數據爬取回來後，須要對數據進行清洗，當你發現使用常規的字符串操做方法根本無法處理時，這時你能夠嘗試瞭解一下正則表達式，每每它能起到事半功倍的效果。Python 的 re 模塊可用來處理正則表達式。這裏也推薦幾個教程：正則表達式30分鐘入門教程 Python正則表達式指南正則表達式徹底指南編程

數據清洗完最終要進行持久化存儲，你能夠用文件存儲，好比CSV文件，也能夠用數據庫存儲，簡單的用 sqlite，專業點用 MySQL，或者是分佈式的文檔數據庫 MongoDB，這些數據庫對Python都很是友好，有現成的庫支持。 Python操做MySQL數據庫經過Python鏈接數據庫json

從數據的抓取到清洗再到存儲的基本流程都走完了，也算是基本入門了，接下來就是考驗內功的時候了，不少網站都設有反爬蟲策略，他們千方百計阻止你用非正常手段獲取數據，好比會有各類奇奇怪怪的驗證碼限制你的請求操做、對請求速度作限制，對IP作限制、甚至對數據進行加密操做，總之，就是爲了提升獲取數據的成本。這時你須要掌握的知識就要更多了，你須要深刻理解 HTTP 協議，你須要理解常見的加解密算法，你要理解 HTTP 中的 cookie，HTTP 代理，HTTP中的各類HEADER。爬蟲與反爬蟲就是相愛相殺的一對，道高一次魔高一丈。如何應對反爬蟲沒有既定的統一的解決方案，靠的是你的經驗以及你所掌握的知識體系。這不是僅憑21天入門教程就能達到的高度。瀏覽器

數據結構和算法緩存

進行大規模爬蟲，一般都是從一個URL開始爬，而後把頁面中解析的URL連接加入待爬的URL集合中，咱們須要用到隊列或者優先隊列來區別對待有些網站優先爬，有些網站後面爬。每爬去一個頁面，是使用深度優先仍是廣度優先算法爬取下一個連接。每次發起網絡請求的時候，會涉及到一個DNS的解析過程（將網址轉換成IP）爲了不重複地 DNS 解析，咱們須要把解析好的 IP 緩存下來。URL那麼多，如何判斷哪些網址已經爬過，哪些沒有爬過，簡單點就是是使用字典結構來存儲已經爬過的的URL，可是若是碰過海量的URL時，字典佔用的內存空間很是大，此時你須要考慮使用 Bloom Filter（布隆過濾器），用一個線程逐個地爬取數據，效率低得可憐，若是提升爬蟲效率，是使用多線程，多進程仍是協程，仍是分佈式操做。安全

關於實踐

網上的爬蟲教程多如牛毛，原理大致相同，只不過是換個不一樣的網站進行爬取，你能夠跟着網上的教程學習模擬登陸一個網站，模擬打卡之類的，爬個豆瓣的電影、書籍之類的。經過不斷地練習，從遇到問題到解決問題，這樣的收穫看書無法比擬的。

爬蟲經常使用庫

urllib、urlib2（Python中的urllib）python內建的網絡請求庫

urllib3：線程安全的HTTP網絡請求庫

requests：使用最普遍的網絡請求庫，兼容py2和py3

grequests：異步的requests

BeautifulSoup：HTML、XML操做解析庫

lxml：另外一種處理 HTML、XML的方式

tornado：異步網絡框架

Gevent：異步網絡框架

Scrapy：最流行的爬蟲框架