爬蟲的分類和爬蟲的流程

1. 爬蟲的分類 根據被爬網站的數量的不同，我們把爬蟲分爲： 通用爬蟲 ：通常指搜索引擎的爬蟲 聚焦爬蟲 ：針對特定網站的爬蟲 2.爬蟲的流程 請思考：如果自己要實現一個和百度新聞一樣的網站需要怎麼做？ 2.1 聚焦爬蟲的工作流程如下： 2.2 搜索引擎的工作流程如下： 但是搜索引擎類似的通用爬蟲的工作流程有些不同 2.3 搜索引擎的侷限性 通用搜索引擎所返回的網頁裏90%的內容無用。 圖片、音頻

>>阅读原文<<