網絡爬蟲--1.通用爬蟲和聚焦爬蟲

文章目錄 一.前言 二.通用爬蟲 1.工作原理 2.通用爬蟲的侷限性 三.聚焦爬蟲 一.前言 根據使用場景，網絡爬蟲可分爲 通用爬蟲 和 聚焦爬蟲 兩種。 其中通用網絡爬蟲是捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分。主要目的是將互聯網上的網頁下載到本地，形成一個互聯網內容的鏡像備份。 二.通用爬蟲 1.工作原理 通用網絡爬蟲從互聯網中搜集網頁，採集信息，這些網頁信息

>>阅读原文<<