一文详解 | 开放搜索兼容Elasticsearch做召回引擎
簡介:開放搜索發布開源兼容版,支持阿里云Elasticsearch做搜索召回引擎,本文詳細介紹阿里云ES用戶如何通過接入開放搜索兼容版豐富行業分詞庫,提升查詢語義理解能力,無需開發、算法投入,即可獲得淘系同款搜索效果。
開放搜索開源兼容版簡介
很多客戶在搭建搜索業務時更熟悉開源技術棧,會選擇Elasticsearch/Solr等開源引擎負責搜索的召回環節,然而在召回引擎以外訓練NLP、排序等算法能力,不僅耗時耗力,而且大部分處于高投入低回報的狀態。
開放搜索開源兼容版的Elasticsearch引擎則是基于阿里巴巴在搜索領域的積累,開放搜索的Elasticsearch引擎實例作為一個阿里云Elasticsearch的插件,運行在用戶的阿里云Elasticsearch集群中,提供阿里自研行業分詞能力、Query分析理解能力,從而減少了用戶對算法模塊的投入,可以將更多精力投入到業務轉化、產品功能等需求上。
業務流程圖:
開放搜索兼容版優勢
- 基于阿里巴巴多年詞庫積累及達摩院NLP技術,豐富Elasticsearch開源引擎分詞庫,提升搜索效果;
在通用分詞基礎上還增加行業分詞能力,可覆蓋電商、IT內容、教育、游戲、互娛等行業。
- 賦予Elasticsearch引擎Query理解能力,精準定位用戶搜索意圖;
通過對Query進行一系列智能語義分析(拼寫糾錯、同義詞改寫、詞權重、停用詞、實體識別)理解用戶搜索意圖,改寫用戶搜索Query,使召回結果更符合需求;
- 提供自定義分詞、查詢分析干預詞典的能力,在開放搜索控制臺配置后會即使生效
用戶可根據自身業務進行調整和優化,高效響應搜索需求,提升搜索效果和用戶體驗;
開源兼容版ES引擎實例創建及配置
一、創建Elasticsearch引擎實例
1.登錄開放搜索控制臺,并進入實例管理-Elasticsearch引擎頁面,點擊創建應用:
2.頁面會跳轉至Elasticsearch搜索增強版售賣頁,選擇創建應用需要的商量類型、地域,填寫好應用名稱,選擇資源組,最后點擊立即購買即可:
3.創建成功后,即可在實例管理-Elasticsearch引擎頁面查看新創建的應用實例:
二、配置Elasticsearch引擎實例
配置應用包含關聯阿里云Elasticsearch實例、安裝插件、配置完成三步:
三、Elasticsearch引擎實例搜索測試
了解更多詳細配置內容,查看產品文檔:開源兼容版實例 - 智能開放搜索 OpenSearch - 阿里云
客戶案例
某新零售客戶,打造1公里社區網店服務,為用戶提供吃、喝、玩、樂一體化生活服務。
客戶搜索業務痛點
- 自建搜索效果差,搜不準、搜不到直接影響用戶體驗;
- 缺乏行業分詞庫,自研難度大,開發周期長,難以響應業務需求;
- 成熟的搜索引擎涉及離線模塊、在線模塊、查詢理解服務、算法平臺等系統組成,所需大量開發、算法調優以及持續的復雜運維工作,自建成本高;
開源兼容版解決方案
集成淘寶搜索同款電商分詞器,訓練語料來自淘寶搜索多年積累的百萬級有標注的電商行業數據,可準確識別商品品牌、品類、產品特性等電商屬性query;
- 電商拼寫糾錯
用戶輸入的query并不總是正確的,錯誤的輸入可能導致查詢結果不符合預期或者是無結果,因此需要對用戶的輸入進行拼寫檢查。OpenSearch的查詢分析中提供的拼寫檢查功能,對查詢詞中的錯誤進行糾正,給出正確的查詢詞。并根據糾錯的可信度高低,決定當前查詢是否用糾錯后的詞進行查詢。
- 電商同義詞
同義詞功能主要是對查詢詞進行同義擴展,擴大召回和查詢詞同義的文檔。
- 電商實體識別
全稱命名實體識別(Named Entity Recognition,簡稱NER),指對查詢詞中的具有特定意義的語義實體進行識別。查詢分析根據識別的結果,依據實體類型的權重對查詢詞進行改寫,使得召回的文檔符合查詢的意圖。
效果反饋
無需額外投入人力資源,在不改變現有ES使用習慣情況下,從了解到測試到接入上線短短15天就獲得高質量搜索效果,企業有更多資源精力投入到產品功能和業務提升中去。
原文鏈接
本文為阿里云原創內容,未經允許不得轉載。?
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的一文详解 | 开放搜索兼容Elasticsearch做召回引擎的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: GRPC: 如何优雅关闭进程(grace
- 下一篇: 技术解析:一文看懂 Anolis OS