搜索引擎簡介

轉自：http://blog.csdn.net/feige2008/article/details/7084168

開放源代碼搜索引擎爲人們學習、研究並掌握搜索技術提供了極好的途徑與素材，推進了搜索技術的普及與發展，使愈來愈多的人開始瞭解並推廣使用搜索技術。使用開源搜索引擎，能夠大大縮短構建搜索應用的週期，並可根據應用需求打造個性化搜索應用，甚至構建符合特定需求的搜索引擎系統。搜索引擎的開源，不管是對技術人員仍是普通用戶，都是一個福音。

• 搜索引擎的工做流程主要分爲三步：從互聯網抓取網頁→建立抓取網頁的索引庫→從索引庫中進行搜索。

  首先須要一個能訪問網絡的爬蟲器程序，依據URL之間的關聯性自動爬行整個互聯網，並對爬行過的網頁進行抓取收集。當網頁被收集回來後，採用索引分析程序進行網頁信息的分析，依據必定的相關度算法（如超連接算法）進行大量計算，建立倒排序的索引庫。索引庫建好後用戶就能夠經過提供的搜索界面提交關鍵詞進行搜索，依據特定的排序算法返回搜索結果。所以，搜索引擎並非對互聯網進行直接搜索，而是對已抓取網頁索引庫的搜索，這也是能快速返回搜索結果的緣由，索引在其中扮演了最爲重要的角色，索引算法的效率直接影響搜索引擎的效率，是評測搜索引擎是否高效的關鍵因素。

  網頁爬行器、索引器、查詢器共同構成了搜索引擎的重要組成單元，針對特定的語言，如中文、韓文等，還須要分詞器進行分詞，通常狀況下，分詞器與索引器一塊兒使用建立特定語言的索引庫。它們之間的協同關係如圖1所示。

  而開放源代碼的搜索引擎爲用戶提供了極大的透明性，開放的源代碼、公開的排序算法、隨意的可定製性，相比於商業搜索引擎而言，更爲用戶所須要。目前，開放源代碼的搜索引擎項目也有一些，主要集在中搜索引擎開發工具包與架構、Web搜索引擎、文件搜索引擎幾個方面，本文概要介紹一下當前比較流行且相對比較成熟的幾個搜索引擎項目。

  開源搜索引擎工具包

  1．Lucene

  Lucene是目前最爲流行的開放源代碼全文搜索引擎工具包，隸屬於Apache基金會，由資深全文索引/檢索專家Doug Cutting所發起，並以其妻子的中間名做爲項目的名稱。Lucene不是一個具備完整特徵的搜索應用程序，而是一個專一於文本索引和搜索的工具包，可以爲應用程序添加索引與搜索能力。基於Lucene在索引及搜索方面的優秀表現，雖然由Java編寫的Lucene具備天生的跨平臺性，但仍被改編爲許多其餘語言的版本：Perl、Python、C++、.Net等。

  同其餘開源項目同樣，Lucene具備很是好的架構，可以方便地在其基礎上進行研究與開發，添加新功能或者開發新系統。Lucene自己只支持文本文件及少許語種的索引，而且不具有爬蟲功能，而這正是Lucene的魅力所在，經過Lucene提供的豐富接口，咱們能夠根據自身的須要在其上添加具體語言的分詞器，針對具體文檔的文本解析器等，而這些具體的功能實現均可以藉助於一些已有的相關開源軟件項目、甚至是商業軟件來完成，這也保證了Lucene在索引及搜索方面的專一性。目前，經過在Lucene的基礎上加入爬行器、文本解析器等也造成了一些新的開源項目，如LIUS、Nutch等。而且Lucene的索引數據結構已經成了一種事實上的標準，爲許多搜索引擎所採用。

  2．LIUS

  LIUS即Lucene Index Update and Search的縮寫，它是以Lucene爲基礎發展起來的一種文本索引框架，和Lucene同樣，一樣能夠看做搜索引擎開發工具包。它在Lucene的基礎上做了一些相應的研究及添加了一些新的功能。LIUS藉助於許多開源軟件，能夠直接對各類不一樣格式/類型的文檔進行文本解析與索引，這些文檔格式包括MS Word、MS Excel、MS PowerPoing、RTF、PDF、XML、HTML、TXT、Open Office及JavaBeans等，對Java Beans的支持對於進行數據庫索引很是有用，在用戶進行對象關係映射（如：Hibernate、JDO、TopLink、Torque等）的數據庫鏈接編程時會變得更加精確。LIUS還在Lucene的基礎上增長了索引更新功能，使針對索引的維護功能進一步完善。而且支持混和索引，能夠把同一目錄下與某一條件相關的全部內容整合到一塊兒，這種功能對於須要對多種不一樣格式的文檔同時進行索引時很是有用。

  3．Egothor

  Egothor是一款開源的高性能全文搜索引擎，適用於基於全文搜索功能的搜索應用，它具備與Luccene相似的核心算法，這個項目已經存在了不少年，而且擁有一些積極的開發人員及用戶團體。項目發起者Leo Galambos是捷克布拉格查理大學數學與物理學院的一名高級助理教授，他在博士研究生期間發起了此項目。

  更多的時候，咱們把Egothor看做一個用於全文搜索引擎的Java庫，可以爲具體的應用程序添加全文搜索功能。它提供了擴展的Boolean模塊，使得它能被做爲Boolean模塊或者Vector模塊使用，而且Egothor具備一些其餘搜索引擎所不具備的特有功能：它採用新的動態算法以有效提升索引更新的速度，而且支持平行的查詢方式，可有效提升查詢效率。在Egothor的發行版中，加入了爬行器、文本解析器等許多加強易用性的應用程序，融入了Golomb、Elias-Gamma等多種高效的壓縮方法，支持多種經常使用文檔格式的文本解析，如HTML、PDF、PS、微軟Office文檔、XLS等，提供了GUI的索引界面及基於Applet或者Web的查詢方式。另外，Egothor還能被方便地配置成獨立的搜索引擎、元數據搜索器、點對點的HUB等多種且體的應用系統。

  4．Xapian

  Xapian是基於GPL發佈的搜索引擎開發庫，它採用C++語言編寫，經過其提供綁定程序包可使Perl、Python、PHP、Java、Tck、C#、Ruby等語言方便地使用它。

  Xapian仍是一個具備高適應性的工具集，使開發人員可以方便地爲他們的應用程序添加高級索引及搜索功能。它支持信息檢索的機率模型及豐富的布爾查詢操做。Xapian的發佈包一般由兩部分組成：xapian-core及xapian-bindings，前者是核心主程序，後者是與其餘語言進行綁定的程序包。

  Xapian爲程序開發者提供了豐富的API及文檔進行程序的編制，並且還提供了許多編程實例及一個基於Xapian的應用程序Omega，Omega由索引器及基於CGI的前端搜索組成，可以爲HTML、PHP、PDF、PostScript、OpenOffice/StarOffice、RTF等多種格式的文檔編制索引，經過使用Perl DBI模塊甚至能爲MySQL、PostgreSQL、SQLite、Sybase、MS SQL、LDAP、ODBC等關係數據庫編制索引，並能以CSV或XML格式從前端導出搜索結果，程序開發者能夠在此基礎上進行擴展。

  5．Compass

  Compass是在Lucene上實現的開源搜索引擎架構，相對比於Lucene而言，提供更加簡潔的搜索引擎API。增長了索引事務處理的支持，使其可以更方便地與數據庫等事務處理應用進行整合。它更新時無需刪除原文檔，更加簡單更加高效。資源與搜索引擎之間採用映射機制，此種機制使得那些已經使用了Lucene或者不支持對象及XML的應用程序遷移到Compass上進行開發變得很是容易。

  Compass還能與Hibernate、Spring等架構進行集成，所以若是想在Hibernate、Spring項目中加入搜索引擎功能，Compass是個極好的選擇。

  開源Web搜索引擎系統

  1．Nutch

  Nutch是Lucene的做者Doug Cutting發起的另外一個開源項目，它是構建於Lucene基礎上的完整的Web搜索引擎系統，雖然誕生時間不長，但卻以其優良血統及簡潔方便的使用方式而廣收歡迎。咱們可使用Nutch搭建相似Google的完整的搜索引擎系統，進行局域網、互聯網的搜索。

  2．YaCy

  YaCy是一款基於P2P(peer-to-peer)的分佈式開源Web搜索引擎系統，採用Java語言進行編寫，其核心是分佈在數百臺計算機上的被稱爲YaCy-peer的計算機程序，基於P2P網絡構成了YaCy網絡，整個網絡是一個分散的架構，在其中全部的YaCy-peers都處於對等的地位，沒有統一的中心服務器，每一個YaCy-peer都能獨立的進行互聯網的爬行抓取、分析及建立索引庫，經過P2P網絡與其餘YaCy-peers進行共享，而且每一個YaCy-peer又都是一個獨立的代理服務器，可以對本機用戶使用過的網頁進行索引，而且採起多機制來保護用戶的隱私，同時用戶也經過本機運行的Web服務器進行查詢及返回查詢結果。

  YaCy搜索引擎主要包括五個部分，除普通搜索引擎所具備的爬行器、索引器、反排序的索引庫外，它還包括了一個很是豐富的搜索與管理界面以及用於數據共享的P2P網絡。

  開源桌面搜索引擎系統

  1．Regain

  regain是一款與Web搜索引擎相似的桌面搜索引擎系統，其不一樣之處在於regain不是對Internet內容的搜索，而是針對本身的文檔或文件的搜索，使用regain能夠輕鬆地在幾秒內完成大量數據（許多個G）的搜索。Regain採用了Lucene的搜索語法，所以支持多種查詢方式，支持多索引的搜索及基於文件類型的高級搜索，而且能實現URL重寫及文件到HTTP的橋接，而且對中文也提供了較好的支持。

  Regain提供了兩種版本：桌面搜索及服務器搜索。桌面搜索提供了對普通桌面計算機的文檔與局域網環境下的網頁的快速搜索。服務器版本主要安裝在Web服務器上，爲網站及局域網環境下的文件服務器進行搜索。

  Regain使用Java編寫，所以能夠實現跨平臺安裝，能安裝於Windows、Linux、Mac OS及Solaris上。服務器版本須要JSPs環境及標籤庫（tag library），所以須要安裝一個Tomcat容器。而桌面版自帶了一個小型的Web服務器，安裝很是簡單。

  2．Zilverline

  Zilverline是一款以Lucene爲基礎的桌面搜索引擎，採用了Spring框架，它主要用於我的本地磁盤及局域網內容的搜索，支持多種語言，而且具備本身的中文名字：銀錢查打引擎。Zilverline提供了豐富的文檔格式的索引支持，如微軟Office文檔、RTF、Java、CHM等，甚至可以爲歸檔文件編制索引進行搜索，如zip、rar及其餘歸檔文件，在索引過程當中，Zilverline從zip、rar、chm等歸檔文件中抽取文件來編制索引。Zilverline能夠支持增量索引的方式，只對新文件編制索引，同時也支持按期自動索引，其索引庫能被存放於Zilverline可以訪問到的地方，甚至是DVD中。同時，Zilverline還支持文件路徑到URL的映射，這樣可使用戶遠程搜索本地文件。

  Zilverline提供了我的及研究、商業應用兩種許可方式，其發佈形式爲一個簡單的war包，能夠從其官方網站下載（http://www.zilverline.org/）。Zilverline的運行環境須要Java環境及Servlet容器，通常使用Tomcat便可。在確保正確安裝JDK及Tomcat容器後只需將Zilverline的war包（zilverline-1.5.0.war）拷貝到Tomcat的webapps目錄後重啓Tomcat容器便可開始使用Zilverline搜索引擎了。

• 搜索引擎相關站點（轉）

  Fri, 18 May 2007 14:14:47 +0800

  原想找VC++的Lucene開源代碼，沒想到目標沒找到卻搜到這個，無論了，先轉過來

  1,基本策略
  http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/Strategies.html
  不少著名大學圖書館都有作教搜索的主頁，加州伯克利過去半年進步很大，在網上全部免費搜索教程中，已可穩居第一。特色是偏學術化，學生及專業人士更適用。對搜索基本策略的把握很出色，但對搜索引擎的的瞭解與使用不夠。
  
  2,《Searcher》雜誌 http://www.infotoday.com/searcher/
  《Online》雜誌http://www.onlinemag.net/default.htm
  互聯網上，最優秀的搜索者、最新最高明的搜索經驗在searcher雜誌和online雜誌。惟一的問題是它們是收費刊物，每期只提供少許文章的全文供免費閱讀，但這已夠你受用的。
  
  3,Webmasterworld
  http://www.webmasterworld.com/
  http://www.webmasterworld.com/home.htm
  是互聯網上關於搜索引擎的最好論壇。雖然主要討論搜索引擎註冊和排名，但它對搜索引擎的變化反應之快，對搜索引擎的細節挖掘之深，如雲高手對搜索引擎的看法之精，"令人們對搜索引擎的認識達到了一種新的高度"――Pandia語。
  
  4,Searchtools
  http://www.searchtools.com/
  互聯網上最好的搜索產品研究網站，內容涉及搜索引擎技術和產品相關的新聞、評論、會議、調查、比較、選購、原理、源碼、背景、設計、建議。這裏的"搜索產品"定義比較廣義，這裏沒有yahoo或google的地位，搜索者就不用去了，留給製做者、購買者、研究者吧。
  
  5,Search Engine Conference
  http://www.infonortics.com/searchengines/
  搜索引擎工業界的年度盛會。若是你要了解各搜索引擎和各大搜索引擎公司的技術動向，沒有比這更好的地方了。
  
  6,Researchindex
  http://citeseer.nj.nec.com/cs
  收錄了互聯網上最豐富的搜索引擎技術論文。
  
  7,Search Engine Watch
  http://searchenginewatch.com/《SearchDay》http://searchenginewatch.com/searchday/archives.html
  是互聯網上關於搜索引擎的最大網站，偏搜索引擎新聞和註冊排名。網站過去的積累適合瞭解搜索引擎的過去，傑出雜誌《Search Day》適合瞭解搜索引擎的如今。
  
  8,搜索論壇
  http://newbbs2.sina.com.cn/index.shtml?search:search
  9,搜索研究院
  http://202.101.8.5/9238/index.htm
  10,中文搜索引擎指南
  http://www.search-chinese.com/
  前面提到的都是英文網站，若是你須要中文的，那麼，我推薦搜索論壇、搜索研究院、中文搜索引擎指南，搜索論壇有最多的高手，搜索研究院有最純粹最高明的搜索技巧、中文搜索引擎指南有最全的資訊。
  
  中文的可能是乏尚可存。原創的網站我認爲只有三個，專業搜索引擎網站只有一個
  http://www.9283.net
  http://seek.sowang.com/
  http://www.smtinline.com/html-ch/search-ch.htm
  http://www.se-express.com/article/article15.htm都缺少原創內容。
  
  11,搜索引擎技術
  http://www.asp121.com/seo/1/
  http://www.fullsearcher.com/
  http://bokegu.com/forums/1933/ShowPost.aspx
  http://www.se-express.com/se/se07.htm
  搜索引擎技術與應用
  http://www.sowang.com/SEARCH/search%20engine.htm
  在應用中加入全文檢索功能
  ——基於Java的全文索引引擎Lucene簡介
  http://www.chedong.com/tech/lucene.html
  Web搜索引擎設計和實現分析 (轉載)
  http://bbs.tsinghua.edu.cn/frames.php
  
  12,搜索引擎裏頭的"牛人"
  
  1)http://www.hylanda.com/home.htm
  2)http://www.google.com
  3)http://www.baidu.com
  4)http://e.pku.edu.cn
  
  13,開源搜索引擎
  1)天網千帆http://project.mytianwang.cn/
  2)哈爾冰工大:http://sf.hit.edu.cn/index_zh.php
  
  14.中文分詞
  
  中文搜索引擎技術揭密：中文分詞: http://news.csdn.net/news/newstopic/15/15333.shtml
  我本身設計的中文分詞算法:http://www.tianyablog.org/blogger/xmseo/archives/2006/6536.html
  簡易中文分詞實現完整代碼及字典下載(更新):http://php.twomice.net/show_hdr.php?xname=BORRG11&dname=P7SRG11&xpos=19
  PHP簡易中文分詞(SCWS) 第3版 - 在線演示 (by hightman):http://scws.tguanlim.com/
  中文分詞的簡要實現:http://www.urok.cn/blogs/338c2f01-58fe-429d-957d-ec402a769e8b.aspx
  
  15,好多相關資料哦
  http://itfly.com/blog/?page=7
  
  
  16.索引技術
  
  Lucene倒排索引原理
  http://www.zhanglihai.com/blog/c_296.html
  索引原理初探
  http://www.wzbox.com/bbs/html/2006-2-27/20392371621.html
  
  
  17.數據採集
  
  中國協議分析網:http://www.cnpaf.net/
  FTP協議:
  http://www.longen.org/E-K/detaile~k/FTP.htm
  
  socket編程原理:http://www.chinaunix.net/jh/4/198859.html
  
  Linux網絡編程:http://www.douzhe.com/mirrors/fanqiang.com/a4/b7/index.html
  
  Linux多線程編程:http://linux.chinaunix.net/doc/program/2001-08-11/642.shtml
  
  Linux進程通訊 ：http://www.study888.com/computer/pro/vc/system/200506/39159.htmlhttp://www.study888.com/computer/pro/vc/system/200506/39159.html
  Linux上實現雙向進程間通訊管道
  http://www.linuxeden.com/doc/22370.html
  
  Linux多進程編程 ： http://study.ddlcn.cn/article/dnpx/czxt/linux/2005-01-17/linux1-34-627.html
  http://www.study888.com/computer/pro/c/jiqiao/200506/37452_2.html
  
  
  18.WEB訪問
  
  C寫CGI程序:http://www.study888.com/computer/pro/c/jiqiao/200506/37643.html
  
  
  19.數據庫編程
  
  c語言操做數據庫(mysql):詳細見本blog中一篇c語言操做mysql的文章
  c語言文件操做：http://www.it-zh.cn/html/program/c/496/49959.html
  http://www.21control.com/RTOS/Linux/200605/RTOS_20060506102433.html

  Lucene倒排索引原理http://www.blogjava.net/zhyiwww/archive/2006/07/07/57122.html