python網絡爬蟲系列（0）——爬蟲概述 & http協議複習

一、爬蟲概述 知識點： 瞭解 爬蟲的概念 瞭解 爬蟲的作用 瞭解 爬蟲的分類 掌握 爬蟲的流程 1. 爬蟲的概念 模擬瀏覽器，發送請求，獲取響應 網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人）就是模擬客戶端(主要指瀏覽器)發送網絡請求，接收請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序。 原則上,只要是客戶端(瀏覽器)能做的事情，爬蟲都能夠做 爬蟲也只能獲取客戶端(瀏覽器)所展示出來的數據 知

>>阅读原文<<