搜索引擎開發需要用到什麼技術？

搜索引擎是一個體積龐大的系統架構，其中的細節技術非常之多主要包括以下： 1，爬蟲技術 搜索引擎搜索展現的前提是，將互聯網的網站內容爬取到服務器保存，再進行處理，展現。想要進行全網的數據爬取，爬蟲系統的設計很關鍵，需要具備高效，健壯的特點。爬取數據分爲深度優先和廣度優先。 2，數據清洗 由於每個網站的標準不一，實際上爬取的數據非常雜亂，且包括大量的垃圾無用的內容，因此需要對數據進行過濾，去重。處理完

>>阅读原文<<