爬蟲的分類和爬蟲的流程

爬蟲的分類 在上一小結中，我們介紹爬蟲爬取到的數據用途的時候，給大家舉了兩個例子，其實就是兩種不同類型的爬蟲 根據被爬網站的數量的不同，我們把爬蟲分爲： 通用爬蟲 ：通常指搜索引擎的爬蟲 聚焦爬蟲 ：針對特定網站的爬蟲 爬蟲的流程 請思考：如果自己要實現一個和百度新聞一樣的網站需要怎麼做？ 聚焦爬蟲的工作流程如下： 搜索引擎的工作流程如下： 但是搜索引擎類似的通用爬蟲的工作流程有些不同 搜索引擎的

>>阅读原文<<