Python爬蟲開發與項目實戰 3: 初識爬蟲

3.1 網絡爬蟲概述      概念：按照系統結構和實現技術，大體可分：通用網絡爬蟲、聚焦爬蟲、增量式爬蟲、深層爬蟲。實際的爬蟲系統一般是幾種技術的相結合實現的。html            搜索引擎：屬於通用爬蟲，但存在必定的侷限性：python                         檢索結果包含大量用戶不關心的網頁git                         有限的服務器

>>阅读原文<<