爬蟲入門到精通-開始爬蟲之旅

開始爬蟲之旅

本文章屬於爬蟲入門到精通系統教程第一講

引言

我常常會看到有人在知乎上提問如何入門 Python 爬蟲？、Python 爬蟲進階？、利用爬蟲技術能作到哪些很酷頗有趣頗有用的事情？等這一些問題，我寫這一系列的文章的目的就是把個人經驗告訴你們。

什麼是爬蟲?

引用自維基百科

網絡蜘蛛（Web spider）也叫網絡爬蟲（Web crawler），螞蟻（ant），自動檢索工具（automatic indexer），或者（在FOAF軟件概念中）網絡疾走（WEB scutter），是一種「自動化瀏覽網絡」的程序，或者說是一種網絡機器人。它們被普遍用於互聯網搜索引擎或其餘相似網站，以獲取或更新這些網站的內容和檢索方式。它們能夠自動採集全部其可以訪問到的頁面內容，以供搜索引擎作進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們須要的信息。

個人理解就是能夠自動的抓取數據

爬蟲能作什麼？

• 能夠建立搜索引擎（Google，百度）

• 能夠用來搶火車票

• 帶逛

• 簡單來說只要瀏覽器能打開的，均可以用爬蟲實現

能夠參考如下連接，還有不少好玩的~

利用爬蟲技術能作到哪些很酷頗有趣頗有用的事情？

爬蟲的本質是什麼？

簡單來說就是模仿瀏覽器來打開網頁

那咱們應該如何模仿瀏覽器呢？

咱們首先應該要知道"瀏覽器是怎麼打開網頁？"

一旦咱們知道瀏覽器是怎麼打開網頁的，那麼咱們能夠經過一樣的手段來模擬瀏覽器

你們有興趣的話能夠看看以下文章

在瀏覽器地址欄輸入一個URL後回車，背後會進行哪些技術步驟？

從輸入 URL 到頁面加載完成的過程當中都發生了什麼事情？

---

最後的最後，收藏的大哥們，能幫忙點個贊麼~