個人開發全網搜索引擎項目

搜索引擎的主要模塊 1、爬蟲 網絡爬蟲（Web crawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它們被廣泛用於互聯網搜索引擎或其他類似網站，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲一般分爲數據採集，處理，儲存三個部分。 相對於通用網絡爬蟲，聚焦爬蟲還需要解決三個主要問題： (1) 對抓取目標的描述或定義； (2)

>>阅读原文<<