Python爬蟲基礎教程（一）

一、爬蟲的概念：     網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人）就是模擬客戶端發送網絡請求，接收請求響應，     一種按照一定的規則，自動地抓取互聯網信息的程序。   二、爬蟲的分類：     1、通用爬蟲：通常指搜索引擎的爬蟲     2、聚焦爬蟲：針對特定網站的爬蟲   三、爬蟲的工作流程：            四、Robots協議：     網站通過Robots協議告訴搜索引擎哪些頁面

>>阅读原文<<