蜘蛛抓取策略:廣度優先和深度優先分析

深度和廣度:   深度優先:是指網絡蜘蛛會從起始頁開始,一個鏈接一個鏈接跟蹤下去,處理完這條線路之後再轉入下一個起始頁,繼續跟蹤鏈接。這個方法有個優點是網絡蜘蛛在設計的時候比較容易。 廣度優先:是指網絡蜘蛛會先抓取起始網頁中鏈接的所有網頁,然後再選擇其中的一個鏈接網頁,繼續抓取在此網頁中鏈接的所有網頁。這是最常用的方式,因爲這個方法可以讓網絡蜘蛛並行處理,提高其抓取速度。 影響蜘蛛抓取因素分析:
相關文章
相關標籤/搜索