2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

? 我們先來看下下面的問題，現(xiàn)在我們的索引里有2億多的數(shù)據(jù)，那么現(xiàn)在的需求是，把索引里的全部數(shù)據(jù)，讀取然后寫入txt文本里，對于這么一個量級的數(shù)據(jù)，顯然是不可能一下子全部讀取完的，那得要多大的內(nèi)存才能夠支持下來，是一個很恐怖的內(nèi)存量，所以就引入散仙今天要給大家介紹的一個功能，Lucene的分頁技術(shù)。?


在介紹分頁之前，我們先來看看上面的那個需求，不用分頁的解決辦法，?
其實在lucene里面，每一個索引都會對應(yīng)一個不重復(fù)的docid，而這一點(diǎn)跟Oralce數(shù)據(jù)庫的偽列rownum一樣，恰恰正是由于這個docid的存在，所以讓lucene在海量數(shù)據(jù)檢索時從而擁有更好的性能，我們都知道Oracle數(shù)據(jù)庫在分頁時，使用的就是偽列進(jìn)行分頁，那么我的lucene也是一樣，既然有一個docid的存在，那么上面的需求就很簡單了。?

方法一:依次根據(jù)每個docid獲取文檔然后寫入txt中，這樣的以來，就避免了內(nèi)存不足的缺點(diǎn)，但是這樣單條讀取的話，速度上可能會慢一點(diǎn),但能滿足需求無可厚非。偽代碼如下

????try{directory=FSDirectory.open(new?File(indexReadPath));//打開索引文件夾IndexReader??reader=DirectoryReader.open(directory);//讀取目錄IndexSearcher?search=new?IndexSearcher(reader);//初始化查詢組件for(int?i=0;i<reader.numDocs();i++){//numDocs可能很大Document?doc=search.doc(i);//依次獲取每個docid對應(yīng)的Document//可以在此部，做個批量操作,加快寫入速度}??reader.close();//關(guān)閉資源directory.close();//關(guān)閉連接}catch(Exception?e){e.printStackTrace();}

Lucene的分頁，總的來說有兩種形式，總結(jié)如下圖表格。（如果存在不合適之處，歡迎指正！）

編號	方式	優(yōu)點(diǎn)	缺點(diǎn)
1	在ScoresDocs里進(jìn)行分頁	無需再次查詢索引，速度很快	在海量數(shù)據(jù)時，會內(nèi)存溢出
2	利用SearchAfter，再次查詢分頁	適合大批量數(shù)據(jù)的分頁	再次查詢，速度相對慢一點(diǎn)，但可以利用緩存彌補(bǔ)

從上圖我們可以分析出，ScoreDocs適合在數(shù)據(jù)量不是很大的場景下進(jìn)行分頁，而SearchAfter則都適合，所以，我們要根據(jù)自己的業(yè)務(wù)需求，合理的選出適合自己的分頁方式。?

在我們了解這2中分頁技術(shù)的優(yōu)缺點(diǎn)之后，我們再來探討下上面那個讀2億數(shù)據(jù)存入txt文本里，在這里，SocreDocs不適合這種場景，當(dāng)然如果你內(nèi)存足夠大的話，可以嘗試下，通用分頁分批讀取的方式，可以提升我們的寫入效率，效果是比單條單條讀取的速度是要快很多的。雖然ScoresDocs的分頁方式在本需求上不適合，但是作為示例，下面散仙給出使用ScoreDocs進(jìn)行分頁的代碼：

????try{directory=FSDirectory.open(new?File(indexReadPath));//打開索引文件夾IndexReader??reader=DirectoryReader.open(directory);//讀取目錄IndexSearcher?search=new?IndexSearcher(reader);//初始化查詢組件TopDocs?all=search.search(new?MatchAllDocsQuery(),?50000);int?offset=0;//起始位置int?pageSize=30;//分頁的條數(shù)int?total=30;//結(jié)束條數(shù)int?z=0;while(z<=50){//總分頁數(shù)System.out.println("==============================");pageScoreDocs(offset,total,search,?all.scoreDocs);//調(diào)用分頁打印offset=(z*pageSize+pageSize);//下一頁的位置增量z++;//分頁數(shù)+1；total=offset+pageSize;//下一次的結(jié)束分頁量}reader.close();//關(guān)閉資源directory.close();//關(guān)閉連接}catch(Exception?e){e.printStackTrace();} public?void?pageScoreDocs(int?offset,int?total,IndexSearcher?searcher,ScoreDoc[]?doc)?throws?Exception{//System.out.println("offset:"+offset+"===>"+total);for(int?i=offset;i<total;i++){//System.out.println("i"+i+"==>"+doc.length);if(i>doc.length-1){//當(dāng)分頁的長度數(shù)大于總數(shù)就停止break;}else{Document?dosc=searcher.doc(doc[i].doc);System.out.println(dosc.get("name"));}}

最后我們來看下使用SearcherAfter進(jìn)行分頁的方式,代碼如下:

????try{directory=FSDirectory.open(new?File(indexReadPath));//打開索引文件夾IndexReader??reader=DirectoryReader.open(directory);//讀取目錄IndexSearcher?search=new?IndexSearcher(reader);//初始化查詢組件int?pageStart=0;ScoreDoc?lastBottom=null;//相當(dāng)于pageSizewhile(pageStart<10){//這個只有是paged.scoreDocs.length的倍數(shù)加一才有可能翻頁操作TopDocs?paged=null;paged=search.searchAfter(lastBottom,?new?MatchAllDocsQuery(),null,30);//查詢首次的30條if(paged.scoreDocs.length==0){break;//如果下一頁的命中數(shù)為0的情況下，循環(huán)自動結(jié)束}page(search,paged);//分頁操作，此步是傳到方法里對數(shù)據(jù)做處理的pageStart+=paged.scoreDocs.length;//下一次分頁總在上一次分頁的基礎(chǔ)上lastBottom=paged.scoreDocs[paged.scoreDocs.length-1];//上一次的總量-1，成為下一次的lastBottom}reader.close();//關(guān)閉資源directory.close();//關(guān)閉連接}catch(Exception?e){e.printStackTrace();}

至此，我們已經(jīng)了解了lucene中的分頁技術(shù)，至于，我們在項目中該如何使用，都要根據(jù)我們的實際情況處理，因為分頁技術(shù)常常會跟其他的，排序，過濾，評分等一些技術(shù)結(jié)合使用。

轉(zhuǎn)載于:https://my.oschina.net/MrMichael/blog/220782

總結(jié)

以上是生活随笔為你收集整理的lucene4.7 分页（五）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。