網絡爬蟲實現的原理

    一、爬行策略         深度優先爬行策略、廣度優先爬行策略、大站優先策略、反鏈策略、OPIC策略、Pagerank策略。        二、網頁分析算法       (1)基於用戶行爲的網頁分析算法: 根據用戶對網頁的訪問行爲及其評價            (2)基於網絡拓撲的網頁分析算法: 結構關係          網頁粒度的分析算法          網頁塊粒度的分析算法  

>>阅读原文<<