【Open Search產品評測】－－

? 來往，7天輕松定制屬于自己的搜索引擎

?

[使用背景]

? 相信很多人都遇到過要給網站或者app做一個搜索功能的需求，很久之前自己折騰過lucene，搞了很久，要自己搞中文分詞（比如用中科院的那個）重寫tokenizer，自己建索引，做實時更新流程，數(shù)據量大了還要考慮怎樣給數(shù)據分環(huán)等等各種問題。從2014年初開始接觸opensearch，當時來往要做扎堆搜索（包括搜扎堆，搜帖子，搜某個堆內的帖子，搜堆內成員等）從上手到熟練使用opensearch只用了大概不到1周的時間，總體來說非常滿意。感覺這個東西非常符合互聯(lián)網創(chuàng)業(yè)的節(jié)奏，簡單方便，很快的就能實現(xiàn)自己的搜索接口。

?

[使用過程]

? 以建立一個來往的扎堆搜索為例(如果不知道扎堆是啥，就理解成類似于百度貼吧的東西)，比如搜趙薇，我們能找到趙薇相關的扎堆。我來簡單講述一下怎樣迅速的用opensearch搭建一個搜索接口。

1. 注冊opensearch的賬號，按操作來就好了。

2. 創(chuàng)建一個應用，定義索引結構。例如：

? 這里面可搜索，可以理解成需要建索引的字段，比如扎堆的名字，扎堆的pinyin名字，扎堆的標簽等。可聚合我這目前沒有使用，先不管這個。可過濾，比如某個字段(checkin_type)表示有的扎堆是私密的，有的不是，那么需要把checkin_type勾選成可過濾，這樣在檢索的時候可以寫語句來選取保留哪些符合條件的搜索結果。可展示表示，搜索接口出來我們要給client顯示哪些字段。

?

3. 數(shù)據導入，opensearch提供了3種數(shù)據導入的方式可以根據應用需要自己選擇。比如從mysql導入，都是圖形化的界面，需要做的只是將mysql中的字段和剛才建立的索引結構的字段對應起來。也可以通過hdfs，和sdk還有http的api把數(shù)據push過來，sdk和http的api方式非常靈活，具體做法可以參考幫助文檔講的很清楚。[注：mysql\hdfs只有內網支持]

?

4. 建立索引，在界面里點擊數(shù)據導入這個tab，會有索引重建這塊，點擊現(xiàn)在重建，opensearch會從剛才我們配置的數(shù)據庫里，按照配置的字段對應方式，從數(shù)據庫里讀出數(shù)據并建立索引。等待這個過程結束，就可以訪問搜索接口了。

?

5. 訪問搜索接口，在應用首頁的右上角點搜索測試。

如圖中有http的接口，訪問后返回的是json格式的搜索結果數(shù)據。這樣最簡單的一個搜索雛形就這樣搭建出來了。

?

[使用技巧]

下邊說一些可能會遇到的需求和問題：

1.?比如遇到排序需求，例如需要A字段命中比B字段的命中要更重要，即A字段匹配的好的要排在前面（比如title和content）。這樣可以自定義排序公式，可以參考文檔這里給了很多排序函數(shù)，比如可以用bm25算法算靜態(tài)分，text_relevance算和某個字段的匹配程度，fieldterm_proximity計算匹配的密度，也有按時間字段衰減的函數(shù)。

2.?比如遇到一些召回方面的需求，例如搜zhoujielun希望可以搜出周杰倫，搜明星可以出所有明星相關的文檔（并不一定包含明星兩個字），可能通常比較大的搜索引擎通過query refine和query correct這種類似的模塊來分析query來擴大召回，這里可以稍微投機一下，我們把確定的希望召回的term可以做成一個新的字段放到索引結構里，并給這些字段一個排序的權重來做到召回并可以合適的排序。

3.?比如遇到搜索附近的事物的需求，排序函數(shù)里提供了一個distance函數(shù)，是算球面距離的，這個方法是o(n)的，如果數(shù)據多了，可能效率會有影響。我們可以在索引結構里做一個字段，用geohash算法(此算法參考http://en.wikipedia.org/wiki/Geohash)將query里的二維坐標變成一些前綴相同的字符串（比如我們可以固定留5,6,7,8位的），把這些geohash后的字符串放到這個新的索引字段里。檢索的時候也同樣把輸入的二維坐標算出5,6,7,8位的geohash串，在這些串能索引到的數(shù)據里用distance函數(shù)進行更精準的距離計算并排序，可以很高效的完成附近的事物的搜索。

4.?另外數(shù)據量這塊，目前數(shù)據量最大的索引約有5000w個doc，這個狀況下在qps500的時候依然可以做到10ms以內返回搜索結果（當然搜索結果的每個doc的可展示字段不要太大，這樣響應時間會因為網絡傳輸數(shù)據變的慢一些）。

?

[需求]

1. 還有發(fā)現(xiàn)一些查詢的badcase，在query分析和結果的求交求并這塊還是有些badcase的，例如假如我們搜 "周杰倫中學照片"，按照重要程度感覺上是周杰倫>>中學=照片，即使沒有全命中的文章，那么也應該召回周杰倫照片或者?周杰倫的文檔。相信這塊會越做越好的。

OpenSearch解答：目前正在開發(fā)一個新功能，會對用戶query做多個維度的改寫，比如低權重term降權，支持用戶自定義詞典（同義詞、糾錯、停用詞、專業(yè)詞等），會進一步提升長尾詞的搜索效果，降低無結果率。

?

2. 如果能提供相關搜索功能就更好了:). 比如根據這個搜索應用經常搜的一些query的log，給出搜這個query的用戶還可能搜什么詞兒。

OpenSearch解答：相關搜索、下拉提示等功能都已經在規(guī)劃中，包括后續(xù)的點擊反饋、個性化搜索我們都已經開始調研工作了，敬請期待。

?

[總結]

? ? 總之，opensearch幫助使用者解決了搜索功能上很多很多的問題，使得我們在短時間內就可以很容易的按照自己產品的需求定制出自己的搜索引擎。

?

來往：http://www.laiwang.com/

原文：http://weibo.com/1644971875/Bj0XQhN28?mod=weibotime&type=repost#_rnd1408437347760?

轉載于:https://www.cnblogs.com/aliyunblogs/p/3922563.html

總結

以上是生活随笔為你收集整理的【Open Search产品评测】－ 来往，7天轻松定制属于自己的搜索引擎的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。