一、概述

　　1.什么是Lucene?

　　　　Lucene是apache下的一個開源的全文檢索引擎工具包。

　　　　它為軟件開發人員提供一個簡單易用的工具包（類庫），以方便的在目標系統中實現全文檢索的功能。

　　2.能干什么？

　　　　主要運用：全文檢索

　　3.全文檢索定義　　　

　　　　全文檢索首先將要查詢的目標文檔中的詞提取出來，組成索引，通過查詢索引達到搜索目標文檔的目的。這種先建立索引，再對索引進行搜索的過程就叫全文檢索（Full-text Search）。

?二、實現流程

　　

?

　　流程主要分為：索引流程　　搜索流程

三、入門程序　　

　　1.準備數據（數據庫）

　　

　　2.引入依賴（使用maven）

<!--版本管理--><properties><lucene.version>5.3.1</lucene.version><junit.version>4.12</junit.version></properties><dependencies><!-- lucene-core --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-core</artifactId><version>${lucene.version}</version></dependency><!-- lucene-query-parser --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-queryparser</artifactId><version>${lucene.version}</version></dependency><!-- lucene-analyzers-common --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-analyzers-common</artifactId><version>${lucene.version}</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>${junit.version}</version><scope>test</scope></dependency></dependencies> View Code

　　//使用數據庫作為數據源請添加數據庫依賴

　　3.其它：如JDK（7及以上），mysql等不再贅述

　　4.索引流程

　　　　1.為什么采集數據

　　全文檢索搜索的內容的格式是多種多樣的，比如：視頻、mp3、圖片、文檔等等。對于這種格式不同的數據，需要先將他們采集到本地，然后統一封裝到lucene的文檔對象中，也就是說需要將存儲的內容進行統一才能對它進行查詢。

　　　　2.采集數據的方式

　　l?對于互聯網中的數據，使用爬蟲工具（http工具）將網頁爬取到本地

　　l?對于數據庫中的數據，使用jdbc程序進行數據采集

　　l?對于文件系統的數據，使用io流采集

　　　　常用數據采集爬蟲工具（了解）：

Solr（http://lucene.apache.org/solr） ，solr是apache的一個子項目，支持從關系數據庫、xml文檔中提取原始數據。

Nutch（http://lucene.apache.org/nutch）, Nutch是apache的一個子項目，包括大規模爬蟲工具，能夠抓取和分辨web網站數據。

jsoup（http://jsoup.org/?），jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API，可通過DOM，CSS以及類似于jQuery的操作方法來取出和操作數據。

heritrix（http://sourceforge.net/projects/archive-crawler/files/），Heritrix 是一個由 java 開發的、開源的網絡爬蟲，用戶可以使用它來從網上抓取想要的資源。其最出色之處在于它良好的可擴展性，方便用戶實現自己的抓取邏輯。

　　　　3.索引文件邏輯結構

　　　　

?

?　　與字典的 結構類似，一邊目錄一邊文檔，目錄是索引域，文檔是lucene封裝的統一文檔格式　

　　　　文檔域

　　　　　　文檔域存儲的信息就是采集到的信息，通過Document對象來存儲，具體說是通過Document對象中field域來存儲數據。

　　　　　　比如：數據庫中一條記錄會存儲一個一個Document對象，數據庫中一列會存儲成Document中一個field域。

　　　　　　文檔域中，Document對象之間是沒有關系的。而且每個Document中的field域也不一定一樣。　

　　　　?索引域

　　　　　　索引域主要是為了搜索使用的。索引域內容是經過lucene分詞之后存儲的。

　　　　倒排索引表

　　　　　　傳統方法是先找到文件，如何在文件中找內容，在文件內容中匹配搜索關鍵字，這種方法是順序掃描方法，數據量大就搜索慢。

　　　　　　倒排索引結構是根據內容（詞語）找文檔，倒排索引結構也叫反向索引結構，包括索引和文檔兩部分，索引即詞匯表，它是在索引中匹配搜索關鍵字，由于索引內容量有限并且采用固定優化算法搜索速度很快，找到了索引中的詞匯，詞匯與文檔關聯，從而最終找到了文檔。

　　　　

　　5.索引

?　　　　1.采集數據

　　　　對應上文數據庫的PO類：

package com.itheima.lucene.po;/*** ?* <p>* Title:?Book* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午10:03:11?? ?@version 1.0*/ public class Book {// 圖書IDprivate Integer id;// 圖書名稱private String name;// 圖書價格private Float price;// 圖書圖片private String pic;// 圖書描述private String description;public Integer getId() {return id;}public void setId(Integer id) {this.id = id;}public String getName() {return name;}public void setName(String name) {this.name = name;}public Float getPrice() {return price;}public void setPrice(Float price) {this.price = price;}public String getPic() {return pic;}public void setPic(String pic) {this.pic = pic;}public String getDescription() {return description;}public void setDescription(String description) {this.description = description;}} View Code

　　　　使用傳統JDBC從數據庫采集數據進行封裝：

package com.itheima.lucene.dao;import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.util.ArrayList; import java.util.List;import com.itheima.lucene.po.Book;/*** ?* <p>* Title:?BookDaoImpl* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午10:04:30?? ?@version 1.0*/ public class BookDaoImpl implements BookDao {@Overridepublic List<Book> queryBooks() {// 數據庫鏈接Connection connection = null;// 預編譯statementPreparedStatement preparedStatement = null;// 結果集ResultSet resultSet = null;// 圖書列表List<Book> list = new ArrayList<Book>();try {// 加載數據庫驅動Class.forName("com.mysql.jdbc.Driver");// 連接數據庫connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/solr", "root", "root");// SQL語句String sql = "SELECT * FROM book";// 創建preparedStatementpreparedStatement = connection.prepareStatement(sql);// 獲取結果集resultSet = preparedStatement.executeQuery();// 結果集解析while (resultSet.next()) {Book book = new Book();book.setId(resultSet.getInt("id"));book.setName(resultSet.getString("name"));book.setPrice(resultSet.getFloat("price"));book.setPic(resultSet.getString("pic"));book.setDescription(resultSet.getString("description"));list.add(book);}} catch (Exception e) {e.printStackTrace();}return list;}} View Code

　　　　2.創建索引

　　　　

　　　　Document就是封裝數據的文檔對象

　　　　IndexWriter是索引過程的核心組件，通過IndexWriter可以創建新索引、更新索引、刪除索引操作。IndexWriter需要通過Directory對索引進行存儲操作。

　　　　Directory描述了索引的存儲位置，底層封裝了I/O操作，負責對索引進行存儲。它是一個抽象類，它的子類常用的包括FSDirectory（在文件系統存儲索引）、RAMDirectory（在內存存儲索引）。

?　　　　創建索引過程：

　　?// 采集數據　　// 將采集到的數據封裝到Document對象中　　// 創建分詞器，標準分詞器　　// 創建IndexWriter

　　// 指定索引庫的地址　　// 通過IndexWriter對象將Document寫入到索引庫中　　// 關閉writer

package com.itheima.lucene.first;import java.io.File; import java.util.ArrayList; import java.util.List;import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.Field.Store; import org.apache.lucene.document.FloatField; import org.apache.lucene.document.StoredField; import org.apache.lucene.document.StringField; import org.apache.lucene.document.TextField; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.index.Term; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.util.Version; import org.junit.Test; import org.wltea.analyzer.lucene.IKAnalyzer;import com.itheima.lucene.dao.BookDao; import com.itheima.lucene.dao.BookDaoImpl; import com.itheima.lucene.po.Book;/*** ?* <p>* Title:?IndexManager* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午10:08:12?? ?@version 1.0*/ public class IndexManager {@Testpublic void createIndex() throws Exception {// 采集數據BookDao dao = new BookDaoImpl();List<Book> list = dao.queryBooks();// 將采集到的數據封裝到Document對象中List<Document> docList = new ArrayList<>();Document document;for (Book book : list) {document = new Document();// store:如果是yes，則說明存儲到文檔域中// 圖書ID// 不分詞、索引、存儲 StringFieldField id = new StringField("id", book.getId().toString(), Store.YES);// 圖書名稱// 分詞、索引、存儲 TextFieldField name = new TextField("name", book.getName(), Store.YES);// 圖書價格// 分詞、索引、存儲 但是是數字類型，所以使用FloatFieldField price = new FloatField("price", book.getPrice(), Store.YES);// 圖書圖片地址// 不分詞、不索引、存儲 StoredFieldField pic = new StoredField("pic", book.getPic());// 圖書描述// 分詞、索引、不存儲 TextFieldField description = new TextField("description",book.getDescription(), Store.NO);// 設置boost值if (book.getId() == 4)description.setBoost(100f);// 將field域設置到Document對象中 document.add(id);document.add(name);document.add(price);document.add(pic);document.add(description);docList.add(document);}// 創建分詞器，標準分詞器// Analyzer analyzer = new StandardAnalyzer();// 使用ikanalyzerAnalyzer analyzer = new IKAnalyzer();// 創建IndexWriterIndexWriterConfig cfg = new IndexWriterConfig(Version.LUCENE_4_10_3,analyzer);// 指定索引庫的地址File indexFile = new File("E:\\11-index\\hm19\\");Directory directory = FSDirectory.open(indexFile);IndexWriter writer = new IndexWriter(directory, cfg);// 通過IndexWriter對象將Document寫入到索引庫中for (Document doc : docList) {writer.addDocument(doc);}// 關閉writer writer.close();}@Testpublic void deleteIndex() throws Exception {// 創建分詞器，標準分詞器Analyzer analyzer = new StandardAnalyzer();// 創建IndexWriterIndexWriterConfig cfg = new IndexWriterConfig(Version.LUCENE_4_10_3,analyzer);Directory directory = FSDirectory.open(new File("E:\\11-index\\hm19\\"));// 創建IndexWriterIndexWriter writer = new IndexWriter(directory, cfg);// Terms// writer.deleteDocuments(new Term("id", "1"));// 刪除全部（慎用） writer.deleteAll();writer.close();}@Testpublic void updateIndex() throws Exception {// 創建分詞器，標準分詞器Analyzer analyzer = new StandardAnalyzer();// 創建IndexWriterIndexWriterConfig cfg = new IndexWriterConfig(Version.LUCENE_4_10_3,analyzer);Directory directory = FSDirectory.open(new File("E:\\11-index\\hm19\\"));// 創建IndexWriterIndexWriter writer = new IndexWriter(directory, cfg);// 第一個參數：指定查詢條件// 第二個參數：修改之后的對象// 修改時如果根據查詢條件，可以查詢出結果，則將以前的刪掉，然后覆蓋新的Document對象，如果沒有查詢出結果，則新增一個Document// 修改流程即：先查詢，再刪除，在添加Document doc = new Document();doc.add(new TextField("name", "lisi", Store.YES));writer.updateDocument(new Term("name", "zhangsan"), doc);writer.close();} } View Code

　　模擬：

package com.itheima.lucene;import com.itheima.lucene.PO.Book; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.TextField; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.index.IndexableField; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory;import java.io.File; import java.io.IOException; import java.nio.file.Paths; import java.util.ArrayList; import java.util.List;/*** Lucene的入門程序* 作者： Administrator* 日期： 2017/9/6**/ public class LuceneFirst {public static void main(String[] args) throws IOException {// 模擬采集數據List<Book> bookList = new ArrayList<>();Book book1 = new Book(1, "java", 100f, "pic1", "java入門書籍");Book book2 = new Book(2, "C", 100.6f, "pic2", "C語言入門書籍");Book book3 = new Book(3, "python", 90.7f, "pic3", "python入門書籍");bookList.add(book1);bookList.add(book2);bookList.add(book3);// 封裝數據到Document對象中List<Document> docList = new ArrayList<>();Document doc;for (Book book : bookList) {doc = new Document();// 創建文檔中的Field域，Store可以確定是否存儲到文檔域中Field idField = new TextField("id", book.getId().toString(), Field.Store.YES);Field nameField = new TextField("name", book.getName(), Field.Store.YES);Field priceField = new TextField("price", book.getPrice().toString(), Field.Store.YES);Field picField = new TextField("pic", book.getPic(), Field.Store.YES);Field descriptionField = new TextField("description", book.getDescription(), Field.Store.YES);// 將域放入文檔中 doc.add(idField);doc.add(nameField);doc.add(priceField);doc.add(picField);doc.add(descriptionField);// 將文檔放入文檔列表 docList.add(doc);}// 創建分詞器Analyzer analyzer = new StandardAnalyzer();// 創建IndexWriterIndexWriterConfig conf = new IndexWriterConfig(analyzer);String path = "D:\\BdiduYunDownload\\lucene\\index";Directory dir = FSDirectory.open(Paths.get(path));IndexWriter indexWriter = new IndexWriter(dir, conf);// 通過索引寫對象將docList寫入索引庫for (Document document : docList) {indexWriter.addDocument(document);}// 流的關閉 indexWriter.close();} } View Code

　　索引文件：

　　

?

?　　6.分詞過程

　　　　Lucene中分詞主要分為兩個步驟：分詞、過濾　　　

　　　　 分詞：將field域中的內容一個個的分詞。

　　　　過濾：將分好的詞進行過濾，比如去掉標點符號、大寫轉小寫、詞的型還原（復數轉單數、過去式轉成現在式）、停用詞過濾（沒有去重過濾）

　　　　停用詞：單獨應用沒有特殊意義的詞。比如的、啊、等，英文中的this is a the等等。

　　　　分詞示例講解：

?要分詞的內容 Lucene is a Java full-text search engine. 分詞 Lucene is a Java Full - text search engine .過濾去掉標點符號 Lucene is a Java Full text search engine去掉停用詞 Lucene Java Full text search engine大寫轉小寫 lucene java full text search engine View Code

　　　　語匯單元生成過程：

　　

　　同一個域中相同的語匯單元（Token）對應同一個Term（詞），它記錄了語匯單元的內容及所在域的域名等，還包括來該token出現的頻率及位置。

　　不同的域中拆分出來的相同的單詞對應不同的term。

　　?相同的域中拆分出來的相同的單詞對應相同的term。

　　例如：圖書信息里面，圖書名稱中的java和圖書描述中的java對應不同的term

?　　使用luke工具可以查看索引信息

?　　7.搜索流程

　　　　1.輸入查詢語句　　

　　　　同數據庫的sql一樣，lucene全文檢索也有固定的語法：

　　　　最基本的有比如：AND, OR, NOT 等

　　　　舉個例子，用戶想找一個description中包括java關鍵字和lucene關鍵字的文檔。

　　　　它對應的查詢語句：description:java?AND lucene

　　　　2.搜索流程：

　　　　

　　　　3.代碼實現：

package com.itheima.lucene.first;import java.io.File; import java.io.IOException; import java.util.HashMap; import java.util.Map;import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.Term; import org.apache.lucene.queryparser.classic.MultiFieldQueryParser; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.BooleanClause.Occur; import org.apache.lucene.search.BooleanQuery; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.NumericRangeQuery; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TermQuery; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.junit.Test;/*** ?* <p>* Title:?IndexSearch* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午11:05:35?? ?@version 1.0*/ public class IndexSearch {private void doSearch(Query query) {// 創建IndexSearcher// 指定索引庫的地址try {File indexFile = new File("E:\\11-index\\hm19\\");Directory directory = FSDirectory.open(indexFile);IndexReader reader = DirectoryReader.open(directory);IndexSearcher searcher = new IndexSearcher(reader);// 通過searcher來搜索索引庫// 第二個參數：指定需要顯示的頂部記錄的N條TopDocs topDocs = searcher.search(query, 10);// 根據查詢條件匹配出的記錄總數int count = topDocs.totalHits;System.out.println("匹配出的記錄總數:" + count);// 根據查詢條件匹配出的記錄ScoreDoc[] scoreDocs = topDocs.scoreDocs;for (ScoreDoc scoreDoc : scoreDocs) {// 獲取文檔的IDint docId = scoreDoc.doc;// 通過ID獲取文檔Document doc = searcher.doc(docId);System.out.println("商品ID：" + doc.get("id"));System.out.println("商品名稱：" + doc.get("name"));System.out.println("商品價格：" + doc.get("price"));System.out.println("商品圖片地址：" + doc.get("pic"));System.out.println("==========================");// System.out.println("商品描述：" + doc.get("description")); }// 關閉資源 reader.close();} catch (IOException e) {e.printStackTrace();}}@Testpublic void indexSearch() throws Exception {// 創建query對象// 使用QueryParser搜索時，需要指定分詞器，搜索時的分詞器要和索引時的分詞器一致// 第一個參數：默認搜索的域的名稱QueryParser parser = new QueryParser("description",new StandardAnalyzer());// 通過queryparser來創建query對象// 參數：輸入的lucene的查詢語句(關鍵字一定要大寫)Query query = parser.parse("description:java AND lucene");doSearch(query);}@Testpublic void termQuery() {// 創建TermQuery對象Query query = new TermQuery(new Term("description", "java"));doSearch(query);}@Testpublic void numericRangeQuery() {// 創建NumericRangeQuery對象// 參數：域的名稱、最小值、最大值、是否包含最小值、是否包含最大值Query query = NumericRangeQuery.newFloatRange("price", 55f, 60f, true,false);doSearch(query);}@Testpublic void booleanQuery() {// 創建BooleanQueryBooleanQuery query = new BooleanQuery();// 創建TermQuery對象Query q1 = new TermQuery(new Term("description", "lucene"));// 創建NumericRangeQuery對象// 參數：域的名稱、最小值、最大值、是否包含最小值、是否包含最大值Query q2 = NumericRangeQuery.newFloatRange("price", 55f, 60f, true,false);// 組合關系代表的意思如下:// 1、MUST和MUST表示“與”的關系，即“交集”。// 2、MUST和MUST_NOT前者包含后者不包含。// 3、MUST_NOT和MUST_NOT沒意義// 4、SHOULD與MUST表示MUST，SHOULD失去意義；// 5、SHOUlD與MUST_NOT相當于MUST與MUST_NOT。// 6、SHOULD與SHOULD表示“或”的概念。 query.add(q1, Occur.MUST_NOT);query.add(q2, Occur.MUST_NOT);doSearch(query);}@Testpublic void multiFieldQueryParser() throws Exception {// 創建7.3.2 MultiFieldQueryParser// 默認搜索的多個域的域名String[] fields = { "name", "description" };Analyzer analyzer = new StandardAnalyzer();Map<String, Float> boosts = new HashMap<String, Float>();boosts.put("name", 200f);MultiFieldQueryParser parser = new MultiFieldQueryParser(fields,analyzer, boosts);// Query query = parser.parse("name:lucene OR description:lucene");Query query = parser.parse("java");System.out.println(query);doSearch(query);} } View Code

　　　　QueryParser實現：

package com.itheima.lucene;import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.queryparser.classic.ParseException; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory;import java.io.IOException; import java.nio.file.Paths;/*** Lucene的搜索功能* 作者： Administrator* 日期： 2017/9/6**/ public class LuceneSearch {public static void main(String[] args) throws ParseException, IOException {// 使用QueryParser 參數分別為默認搜索域與分詞器String f = "description";Analyzer a = new StandardAnalyzer();QueryParser parser = new QueryParser(f, a);// 通過parser創建Query對象String q = "description:java"; // 查詢語句（Luncene語法）Query query = parser.parse(q);// 創建IndexSearcherString path = "D:\\BdiduYunDownload\\lucene\\index";Directory dir = FSDirectory.open(Paths.get(path));IndexReader reader = DirectoryReader.open(dir);IndexSearcher searcher = new IndexSearcher(reader);// 通過searcher搜索，分別為查詢對象和需要顯示的條數TopDocs topDocs = searcher.search(query, 10);// 結果處理int totalHits = topDocs.totalHits; // 總記錄數System.out.println("總記錄數："+totalHits);ScoreDoc[] scoreDocs = topDocs.scoreDocs; // 經過打分的文檔for (ScoreDoc scoreDoc : scoreDocs) {// 獲取doc的IDint docID = scoreDoc.doc;// 根據docID獲取文檔（類似數據庫的一條記錄）Document doc = searcher.doc(docID);System.out.println("ID為："+doc.get("id"));System.out.println("name為："+doc.get("name"));System.out.println("price為："+doc.get("price"));System.out.println("pic為："+doc.get("pic"));System.out.println("description為："+doc.get("description"));}// 關閉reader reader.close();} } View Code

　　　　結果：

　　　　

?　　關于Lucene的更多詳細介紹，請參見 xingoo 的隨筆：http://www.cnblogs.com/xing901022/p/3933675.html

轉載于:https://www.cnblogs.com/jiangbei/p/7482249.html

總結

以上是生活随笔為你收集整理的Lucene第一讲——概述与入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。