搜索引擎工作原理解析

本篇文章從整個搜索引擎架構技術大框架方面來學習，搜索引擎工作原理。 1 搜索引擎基本模塊 2 爬蟲 網絡爬蟲（Web crawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它們被廣泛用於互聯網搜索引擎或其他類似網站，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲一般分爲數據採集，處理，儲存三個部分。傳統爬蟲從一個或若干初始網頁

>>阅读原文<<