什麼是全文檢索

全文檢索技術被普遍的應用於搜索引擎，查詢檢索等領域。咱們在網絡上的大部分搜索服務都用到了全文檢索技術。

對於數據量大、數據結構不固定的數據可採用全文檢索方式搜索，好比百度、Google等搜索引擎、論壇站內搜索、電商網站站內搜索等。

什麼是全文檢索呢？先看一下百度百科的專業定義。

爲了能更好的理解，咱們先看一個簡單的例子。

案例

實現一個文件的搜索功能，經過關鍵字搜索文件，凡是文件名或文件內容包括關鍵字的文件都須要找出來。還能夠根據中文詞語進行查詢，而且須要支持多個條件查詢。

本案例中的原始內容就是磁盤上的一些示例文件，以下圖：

若是用數據庫實現的話，數據庫中的搜索很容易實現，一般都是使用sql語句進行查詢，並且能很快的獲得查詢結果。

爲何數據庫搜索很容易？

由於數據庫中的數據存儲是有規律的，有行有列並且數據格式、數據長度都是固定的。

可是，咱們生活中的數據整體是分爲兩種的：結構化數據和非結構化數據。

結構化數據：指具備固定格式或有限長度的數據，如數據庫，元數據等。

非結構化數據：指不定長或無固定格式的數據，如郵件，word文檔等磁盤上的文件

結構化數據的查詢咱們能夠經過sql搞定，那麼非結構化的呢？

非結構化數據的查詢方法

非結構化數據查詢有兩種辦法：

（1）順序掃描法(Serial Scanning)

所謂順序掃描，好比要找內容包含某一個字符串的文件，就是一個文檔一個文檔的看，對於每個文檔，從頭看到尾，若是此文檔包含此字符串，則此文檔爲咱們要找的文件，接着看下一個文件，直到掃描完全部的文件。如利用windows的搜索也能夠搜索文件內容，只是至關的慢。

（2）全文檢索(Full-text Search)

將非結構化數據中的一部分信息提取出來，從新組織，使其變得有必定結構，而後對此有必定結構的數據進行搜索，從而達到搜索相對較快的目的。這部分從非結構化數據中提取出的而後從新組織的信息，咱們稱之索引。

例如：字典。字典的拼音表和部首檢字表就至關於字典的索引，對每個字的解釋是非結構化的，若是字典沒有音節表和部首檢字表，在茫茫辭海中找一個字只能順序掃描。然而字的某些信息能夠提取出來進行結構化處理，好比讀音，就比較結構化，分聲母和韻母，分別只有幾種能夠一一列舉，因而將讀音拿出來按必定的順序排列，每一項讀音都指向此字的詳細解釋的頁數。咱們搜索時按結構化的拼音搜到讀音，而後按其指向的頁數，即可找到咱們的非結構化數據——也即對字的解釋。

這種先創建索引，再對索引進行搜索的過程就叫全文檢索(Full-text Search)。

雖然建立索引的過程也是很是耗時的，可是索引一旦建立就能夠屢次使用，全文檢索主要處理的是查詢，因此耗時間建立索引是值得的。

那麼如何實現全文檢索呢？

Lucene

提到全文檢索，不得不提到的一個技術就是Lucene，Lucene是apache下的一個開放源代碼的全文檢索引擎工具包。提供了完整的查詢引擎和索引引擎，部分文本分析引擎。咱們所熟知的全文檢索引擎Solr和ES都是基於Lucene的。

一、綠色表示索引過程，對要搜索的原始內容進行索引構建一個索引庫，索引過程包括：

肯定原始內容即要搜索的內容->採集文檔->建立文檔->分析文檔->索引文檔

​

二、紅色表示搜索過程，從索引庫中搜索內容，搜索過程包括：

用戶經過搜索界面->建立查詢->執行搜索，從索引庫搜索->渲染搜索結果

建立索引

也就是對文檔索引的過程，將用戶要搜索的文檔內容進行索引，索引存儲在索引庫（index）中。

好比剛纔的這些文檔：

咱們要分析其中全部的單詞，將單詞、文檔名創建映射關係。

（對於單詞的切分包括了對原始文檔提取單詞、去除停用詞等過程，這個過程被稱爲分詞）

咱們分析其中的一篇文檔Lucene.txt：

原文檔內容：

Lucene is a Java full-text search engine.  Lucene is not a complete

application, but rather a code library and API that can easily be used

to add search capabilities to applications.

咱們能夠分析後獲得語彙單元：

lucene、java、full、search、engine。。。。

另外一個文檔flink.txt加入幾個單詞：

java flink kakfa

咱們也能夠獲得語彙單元：

java flink kakfa

這樣咱們就創建了映射關係，lucene、java、full、search在Lucene.txt中，而flink不在Lucene.txt中，可是在flink.txt中。java即在Lucene.txt中，也在flink.txt中。

那當咱們查找lucene這個詞，就在Lucene.txt中，可是查找java時能夠獲悉其在這兩個文件中。

建立索引是對語彙單元索引，經過詞語找文檔，這種索引的結構就叫作叫倒排索引結構。

傳統方法是根據文件找到該文件的內容，在文件內容中匹配搜索關鍵字，這種方法是順序掃描方法，數據量大、搜索慢。

倒排索引結構是根據內容（詞語）找文檔，以下圖：

倒排索引結構也叫反向索引結構，包括索引和文檔兩部分，索引即詞彙表，它的規模較小，而文檔集合較大。

有倒排索引，對應確定，有正向索引。 正向索引其實就是順序掃描全部文件，這樣自己效率是極低的。

查詢索引

查詢索引也是搜索的過程。搜索就是用戶輸入關鍵字，從索引（index）中進行搜索的過程。根據關鍵字搜索索引，根據索引找到對應的文檔，從而找到要搜索的內容（這裏指磁盤上的文件）。

咱們這裏就是經過查詢索引表，找到文檔所在的位置，就完成了查詢，但其餘的場景能夠靈活的把查詢出來的結果展現出去，好比咱們的百度搜索時，爲咱們展現的是相關網頁。

開發一個本身的全文檢索

手動去開發創建索引和查詢索引的功能須要大量的工做，好在lucene已經幫咱們完成了大量的工做，只須要調用java api就能夠完成相關工做。

可是Lucene的API過於底層，並不簡單易用，並且缺少企業級的管理工具對其進行監控管理，因而企業級的全文檢索引擎就應運而生了，目前最流行的兩個就是：Solr和ES。他們都是創建在Lucene之上的。

Solr

Solr是Apache Lucene項目的開源企業搜索平臺。Solr是高度可擴展的，並提供了分佈式搜索和索引複製。

Solr由Java開發，運行在Servlet容器中，是一個獨立的全文搜索服務器。並具備強大的API和外部配置功能，使得無需編碼，即可對其調整以適應多種類型應用。

2010年Apache Lucene與Apache Solr項目合併，因此Lucene/Solr成爲了Apache一個項目。

因而可知，Solr的優點就是：

有一個成熟的開發者社區;本省比較穩定;支持多種格式的索引。

可是因爲底層機制的限制，Solr的缺點也很明顯：

創建索引時，搜索效率降低；實時索引搜索效率不高。

ES

ES也就是Elasticsearch，是一個實時的分佈式搜索和分析引擎，它能夠用於全文搜索，結構化搜索以及分析。

因爲Lucene過於複雜，不方便使用。Elasticsearch使用Lucene做爲內部引擎，可是Elasticsearch作搜索引擎時，只須要使用同一的API就能夠，而不須要了解複雜的Lucene原理。

並且Elasticsearch不只僅能夠作全文搜索功能，在企業中能夠做爲：

• 分佈式實時文件存儲；
• 實時分析的分佈式搜索引擎；

Elasticsearch的Restful API友好並且簡單，特別容易上手。

目前包括維基百科、Stackoverflow、Github等都是用Elasticsearch做爲其搜索引擎。

ES簡單體驗

這裏咱們簡單使用一個ES完成一個全文檢索功能。

一、下載

首先在官網下載 ，官網地址：https://www.elastic.co/products/elasticsearch 

下載地址以下：https://www.elastic.co/cn/downloads/elasticsearch

選擇本身系統的咱們這選擇WIndows版本。

同時咱們能夠下載kibana，kibana是配合ES的一個可視化工具。

二、安裝部署

解壓 放在d盤

隨後咱們在命令行啓動：

C:\Users\JN>d:
D:>cd 
D:\elasticsearch-6.4.0>cd bin
D:\elasticsearch-6.4.0\bin>elasticsearch.bat

kibana也是

C:\Users\JN>d:
D:>cd kibana-6.4.0-windows-x86_64
D:\kibana-6.4.0-windows-x86_64>cd bin
D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat

部署成功： 能夠經過localhost:9200訪問es

localhost:5601訪問kibana

三、簡單使用

咱們簡單體驗一下ES，打開kibana的DevTools工具。

分別插入兩條數據，並進行搜索。

使用編程語言調用ES也與這個相似，簡單易用。

參考文檔：

lucene in action

Elasticsearch權威指南

更多ES,Flink,Kafka等實時流式計算的博文，歡迎關注實時流式計算：