Lucene全文檢索入門體驗

時間 2019-11-17

標籤 lucene 全文檢索入門體驗简体版

原文原文鏈接

Lucene是Apache開源的全文檢索框架, 是單純的搜索工具, 簡單易用. 如今已經出到5.2.1的版本, 只需在項目中導入必需的幾個jar包就能使用. 使用的過程能夠歸納爲,java

1) 創建索引網絡

2) 搜索查找, 獲取搜索結果app

這裏咱們一塊兒先來學習幾個會用到的核心類:框架

Directory工具

該類在Lucene中用於描述索引存放的位置信息. 好比:學習

[java] view plain copy測試

Directory dir = FSDirectory.open(Paths.get("c:\\lucene\\index"));

其中" c:\\lucene\\index" 是存放索引的文件夾位置.
搜索引擎

Analyzerspa

Analyzer是Lucene的分詞器, 能夠說是分詞解析技術也能夠說是搜索引擎的核心技術之一. 一句話被斷句分詞分析, .使搜索結果更智能更精準. 中文詞庫分詞, 可使用IKAnalyzer等中文分詞工具包..net

Analyzer這個類的做用要結合IndexWriterConfig和IndexWriter這兩個類去認識:

IndexWriterConfig, 從類名可知, 是一個保存參數配置的類, 用於生成IndexWriter. 好比:

[java] view plain copy

IndexWriterConfig iwc = new IndexWriterConfig(luceneAnalyzer);
iwc.setOpenMode(OpenMode.CREATE);
IndexWriter indexWriter = new IndexWriter(dir,iwc);

setOpenMode(...) 設置了IndexWriter的打開方式.

固然還有更多的參數設置, 能夠參考這篇文章哦. IndexWriterConfig配置參數說明

上面的三行代碼也是建立一個IndexWriter的過程. (dir這個參數就是第一個說起的類Directory.)

IndexWriter 是創建索引的核心類. 若是你也知道Android的SharePreference, SharePreference裏面有一個Editor類. IndexWriter 就是相似Editor這樣的類, 能夠針對索引進行添加(建立新的索引並寫入索引文檔中), 刪除(從索引文檔刪除索引)和更新(更新索引文檔中的索引) 操做. 順便提一下, Lucene的索引, 會生成對應的索引文檔, 因此最好創建文件夾專門存放這些文檔.

Document

Document類顧名思義是"文件"類, 其實它是用來存放Field集合. 能夠理解爲存放文件, 通常都是可轉換的文本信息, 好比doc, txt等等. 當把用於被查找的文件信息加入Document後, 再經過

[java] view plain copy

indexWriter.addDocument(document);

這樣就添加了一個索引. 來到這裏, 也許你會想到, 之後要查詢直接先來索引這裏就好了.

IndexReader

對應於IndexWriter, 就有IndexReader. 建立方法 :

[java] view plain copy

IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get(index)));

它只讀取索引文檔. 而後交給檢索工具IndexSearcher 去完成查找. 根據傳進Query檢索條件進行檢索查找後, 會獲得一個ScoreDoc類型的結果集, 而後讀取它的Document信息, 就能獲取檢索結果的具體信息, 好比關鍵字包含在哪些內容中, 已經這些內容文檔的存放路徑等等. 這樣就算是完成整個檢索過程了.

OK, 下面咱們來簡單的例子體驗下, 有興趣能夠本身去看文檔詳細瞭解哦.

注: 本例子的代碼來自網絡, 是很簡單易懂的例子, 因此就再也不另外寫了, 這裏只是體驗學習, 咱們直接學習別人的. 額, 原做者不知道是誰了, 在這裏感謝一下.

通過上面的關鍵類的介紹, 相信看下面例子的代碼會容易懂不少了, So 直接上代碼.

1) 創建索引文檔.

隨便在本地創建一個文件夾, 好比C盤根目錄建立index文件夾. 路徑就是 C:\index . 而要檢索的內容文檔放在 C盤根目錄的source文件夾中, 路徑就是C:\source .

[java] view plain copy

public class CreateIndex {
public static void main(String[] args) throws Exception {
/* 指明要索引文件夾的位置,這裏是C盤的source文件夾下 */
File fileDir = new File("C:\\source");
/* 這裏放索引文件的位置 */
//File indexDir = new File("c:\\index");
String indexPath = "c:\\index";
// Directory dir = FSDirectory.open(indexDir); //v3.6.0
Directory dir = FSDirectory.open(Paths.get(indexPath));
//Analyzer luceneAnalyzer = new StandardAnalyzer(Version.LUCENE_3_6_0);
Analyzer luceneAnalyzer = new StandardAnalyzer();
IndexWriterConfig iwc = new IndexWriterConfig(luceneAnalyzer);
iwc.setOpenMode(OpenMode.CREATE);
IndexWriter indexWriter = new IndexWriter(dir,iwc);
File[] textFiles = fileDir.listFiles();
long startTime = new Date().getTime();
//增長document到索引去
for (int i = 0; i < textFiles.length; i++) {
if (textFiles[i].isFile()
) {
System.out.println("File " + textFiles[i].getCanonicalPath()
+ "正在被索引....");
String temp = FileReaderAll(textFiles[i].getCanonicalPath(),
"GBK");
System.out.println(temp);
Document document = new Document();
Field FieldPath = new StringField("path", textFiles[i].getPath(), Field.Store.YES);
Field FieldBody = new TextField("body", temp, Field.Store.YES);
document.add(FieldPath);
document.add(FieldBody);
indexWriter.addDocument(document);
}
}
indexWriter.close();
//測試一下索引的時間
long endTime = new Date().getTime();
System.out
.println("這佔用了"
+ (endTime - startTime)
+ " 毫秒來把文檔增長到索引裏面去!"
+ fileDir.getPath());
}
public static String FileReaderAll(String FileName, String charset)
throws IOException {
BufferedReader reader = new BufferedReader(new InputStreamReader(
new FileInputStream(FileName), charset));
String line = new String();
String temp = new String();
while ((line = reader.readLine()) != null) {
temp += line;
}
reader.close();
return temp;
}
}

2) 執行檢索查找的類:

[java] view plain copy

public class ExecuteQuery {
public static void main(String[] args) throws IOException, ParseException {
String index="c:\\index";//搜索的索引路徑
// IndexReader reader=IndexReader.open(FSDirectory.open(Paths.get(index)); //v3.6.0的寫法
IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get(index)));
IndexSearcher searcher=new IndexSearcher(reader);//檢索工具
ScoreDoc[] hits=null;
String queryString="好"; //搜索的索引名稱
Query query=null;
Analyzer analyzer= new StandardAnalyzer();
try {
//QueryParser qp=new QueryParser(Version.LUCENE_3_6_0,"body",analyzer);//用於解析用戶輸入的工具 v3.6.0
QueryParser qp=new QueryParser("body",analyzer);//用於解析用戶輸入的工具
query=qp.parse(queryString);
} catch (ParseException e) {
// TODO: handle exception
}
if (searcher!=null) {
TopDocs results=searcher.search(query, 10);//只取排名前十的搜索結果
hits=results.scoreDocs;
Document document=null;
for (int i = 0; i < hits.length; i++) {
document=searcher.doc(hits[i].doc);
String body=document.get("body");
String path=document.get("path");
String modifiedtime=document.get("modifiField");
System.out.println("BODY---"+body+" ");
System.out.println("PATH--"+path);
}
if (hits.length>0) {
System.out.println("輸入關鍵字爲："+queryString+"，"+"找到"+hits.length+"條結果!");
}
// searcher.close();
reader.close();
}
}
}