一、如何評估搜索質(zhì)量、體驗(yàn)與業(yè)務(wù)價值

1.搜索-無處不在
生活中多種不同場景需要進(jìn)行搜索，在企業(yè)內(nèi)部產(chǎn)品中也需要使用多種搜索功能，方便用戶快捷地獲取企業(yè)相關(guān)商品、服務(wù)、內(nèi)容等信息。搜索在不同的企業(yè)業(yè)務(wù)中的角色可能有所不同。如下圖所示，搜索在電商行業(yè)是十分重要的業(yè)務(wù)流量轉(zhuǎn)化入口，在其他領(lǐng)域也必不可少。
搜索是用戶獲取信息的基礎(chǔ)手段與能力，如果搜索不好用，用戶信任度必會降低。如果搜索在某業(yè)務(wù)場景中使用不多，建議衡量業(yè)務(wù)的全站流量結(jié)構(gòu)。

2. 評估搜索質(zhì)量、體驗(yàn)與業(yè)務(wù)價值
六成左右客戶不清楚如何評估搜索質(zhì)量、體驗(yàn)與業(yè)務(wù)價值，那么引出以下問題。

• 搜索的業(yè)務(wù)價值驅(qū)動力是什么？搜索在企業(yè)內(nèi)部的業(yè)務(wù)價值驅(qū)動一般依靠被動的Bad case、KPI或業(yè)務(wù)需求。依靠Bad case驅(qū)動，搜索結(jié)果具有隨機(jī)性，不固定時間地點(diǎn)場合，搜索體驗(yàn)差。KPI指標(biāo)判斷，容易片面和不知所以然。依靠業(yè)務(wù)需求指業(yè)務(wù)方或運(yùn)營指明將某些搜索結(jié)果置于前排，意味著結(jié)果排序相關(guān)性勢必會完全依賴于業(yè)務(wù)方經(jīng)驗(yàn)而無法客觀的保障用戶的體驗(yàn)與業(yè)務(wù)轉(zhuǎn)化，不具備可控性。以上三種業(yè)務(wù)價值驅(qū)動方式都存在較大問題。
  目前許多企業(yè)的做法是根據(jù)上述所謂的內(nèi)部搜索業(yè)務(wù)價值驅(qū)動力，做召回、排序、業(yè)務(wù)需求以及擴(kuò)展搜索歷史等功能。
• 如何衡量？主觀？客觀？如果明確了搜索的業(yè)務(wù)價值驅(qū)動力，如何衡量驅(qū)動效果，即業(yè)務(wù)價值？具有客觀的體系化衡量手段才有可能實(shí)現(xiàn)客觀的判斷。
  下圖所列舉為一套以淘寶內(nèi)部為典型的搜索上線流程。首先需要有監(jiān)控/評估搜索用戶體驗(yàn)的方法，周期性評測用戶體驗(yàn)。通過監(jiān)控/評估明確迭代/專項(xiàng)。在上線前做一些A/B Test或灰度測試，如果沒有問題可全量上線，并監(jiān)控線上效果。例如翻頁率下降，說明用戶以往搜索10頁才能找到的內(nèi)容現(xiàn)在1、2頁就可以找到，搜索體驗(yàn)提升。

該鏈路是主動監(jiān)控、評估搜索業(yè)務(wù)價值的，好的驅(qū)動力應(yīng)該是高效的體系化的持續(xù)化的實(shí)現(xiàn)交付價值。
那么如何衡量搜索業(yè)務(wù)價值？該鏈路源頭是監(jiān)控/評估能力，需要有體系化、專業(yè)的報表與評估服務(wù)。報表是客觀性數(shù)據(jù)，只能反映果而不能體現(xiàn)因，評估服務(wù)是人工主觀評估服務(wù)。監(jiān)控/評估取代了所謂Bad case、KPI、業(yè)務(wù)需求，更加體系化地衡量搜索體驗(yàn)。

如下圖所示，OpenSearch報表評估提供5大維度的30+指標(biāo)。報表只能體現(xiàn)整體結(jié)果，而局部效果的評估可以根據(jù)大量指標(biāo)從不同視角得出不同結(jié)論。五大維度分為流量指標(biāo)、點(diǎn)擊類指標(biāo)、用戶分析類指標(biāo)、Query分析類指標(biāo)、成交指標(biāo)，核心指標(biāo)由其提煉而來。
以往每天上班第一件事是查看關(guān)鍵指標(biāo)，如發(fā)現(xiàn)可能存在問題，需要檢查連帶影響，確保報表各項(xiàng)核心指標(biāo)正常后才會展開其他工作。因此該體系化、專業(yè)的報表與評估服務(wù)不僅帶給客戶一種技術(shù)能力，更使客戶能夠在平臺上完整落地、驅(qū)動搜索業(yè)務(wù)。

• 如何高效、可持續(xù)、體系化地交付搜索價值？搜索的相關(guān)市場、場景、用戶、文化一直處于變化中，明確搜索業(yè)務(wù)價值驅(qū)動力、衡量方式后，如何高效、可持續(xù)、體系化地交付搜索價值？
  與一般開源不同，OpenSearch提供的不是需要客戶自行拼搭開發(fā)的零散工具，而是一套完整服務(wù)，一切皆為提升業(yè)務(wù)價值、體現(xiàn)大家的專業(yè)能力。OpenSearch服務(wù)主要有以下四個特點(diǎn)。第一，免運(yùn)維，客戶只需要提供數(shù)據(jù)并配置滿足自身業(yè)務(wù)訴求的策略。第二，開箱即用，只需提供數(shù)據(jù)與配置策略，操作便捷。第三，一站式，提供搜索核心功能、擴(kuò)展功能。第四，高搜索質(zhì)量。

下圖所示為搜索上線流程，創(chuàng)建應(yīng)用、上傳數(shù)據(jù)并進(jìn)行簡單調(diào)試后即可發(fā)布上線。若過程順利半天即可完成。

二、OpenSearch背景與核心能力介紹

OpenSearch是阿里巴巴自研的搜索引擎，過去一直支持并服務(wù)阿里內(nèi)部應(yīng)用，經(jīng)過千錘百煉才沉淀到可以賦能市場上其他企業(yè)。

搜索的核心是做召回、排序、業(yè)務(wù)需求以及功能擴(kuò)展，投入重、依賴多、周期長，一般企業(yè)難以投入大規(guī)模人力與資源。因此開發(fā)性能與體驗(yàn)優(yōu)秀的搜索引擎并非易事。

召回核心模塊為分析器與查詢分析。中文博大精深，易生歧義，分詞效果至關(guān)重要。召回內(nèi)置多種分析器，分析語言意圖。查詢分析提供同義詞、糾錯、詞權(quán)重、實(shí)體識別、停用詞分析等必備功能。
排序方面支持二次排序，是大數(shù)據(jù)量召回的有效解決方式。還支持類目預(yù)測、人氣模型，支持表達(dá)式以及Cava排序定制。
根據(jù)業(yè)務(wù)需求需要支持混排、打散、詞典管理等功能實(shí)現(xiàn)。混排指在搜索召回結(jié)果中根據(jù)業(yè)務(wù)需求相應(yīng)展示視頻、文字、圖片等不同媒體類型結(jié)果。例如在淘寶搜索結(jié)果中，打散指品牌、價格等打散展示。
擴(kuò)展即功能性擴(kuò)展，如A/B Test、搜索框下拉提示、熱搜&底紋（默認(rèn)搜索詞）、飄紅、Debug工具等。
召回、排序、業(yè)務(wù)、擴(kuò)展都是為了服務(wù)客戶，使客戶能以最小成本、最短時間交付高質(zhì)量業(yè)務(wù)價值而提供的能力。
1.分析器
分析器是影響搜索效果的基礎(chǔ)模塊，不同業(yè)務(wù)場景需要使用不同分析器，需要用戶結(jié)合自身業(yè)務(wù)場景自行選擇。目前OpenSearch集成了12種分析器供用戶選擇，用戶也可上傳自己的分詞詞條個性化定制分析器。

下圖所示為阿里OpenSearch電商分析器與開源IK分析器對比數(shù)據(jù)，可見OpenSearch分析器的分詞效果相對優(yōu)于IK開源分析器。該對比隨機(jī)抽取100個電商類Query，下圖列舉部分結(jié)果。例如925銀耳飾，開源IK分析器分詞有“銀耳”一項(xiàng)，OpenSearch電商分詞理解顯然更優(yōu)。

2.類目預(yù)測
用戶搜索意圖可分為精搜、泛搜，類目預(yù)測即預(yù)測用戶搜索某一Query時目標(biāo)類目的結(jié)果。類目預(yù)測并非依靠個人體感，而需要符合市場需求，根據(jù)行為數(shù)據(jù)盡可能快速滿足用戶需求。
如下圖所示，使用類目預(yù)測前在淘寶搜索光明，可能出現(xiàn)米、面、奶等多種相關(guān)商品。而根據(jù)用戶點(diǎn)擊行為數(shù)據(jù)，100個用戶搜索光明，絕大多數(shù)點(diǎn)擊的商品是光明牛奶，意味著用戶搜索光明通常是搜索光明牛奶，因此使用類目預(yù)測后前排推薦商品變化為光明牛奶。
類目預(yù)測也可使用純文本方式。

案例——雙面膠：多數(shù)時候搜索雙面膠指辦公用品，然而一段時間內(nèi)電視劇《雙面膠》很熱，出現(xiàn)了許多相關(guān)周邊產(chǎn)品。那么用戶在該階段搜索雙面膠想要的商品或許會發(fā)生變化，可通過用戶行為數(shù)據(jù)進(jìn)行類目預(yù)測。
案例——播、海賊王、柯南：“播”是一個服裝品牌，多數(shù)時候需要召回的內(nèi)容為該品牌服裝。海賊王、柯南等Query，需要根據(jù)市場需求，通過類目預(yù)測提供更合適的結(jié)果。

3.人氣模型
淘寶早期搜索結(jié)果排序方式非常簡單，寶貝發(fā)布后上架試7天，剩余下架時間越短排序越靠前，所有賣家都有相同的機(jī)會獲得流量，對賣家、買家都相對公平。然而該模式無法將價值最大化，并不經(jīng)濟(jì)。
因此淘寶很早發(fā)布了人氣模型，盡可能與市場趨勢匹配，使用戶更加滿意，從而轉(zhuǎn)化為最大價值。用戶體驗(yàn)好，對優(yōu)質(zhì)賣家、商品也更公平，是當(dāng)前默認(rèn)模型。

4.熱搜&底紋

三、典型案例

1.召回
下圖所示站點(diǎn)是以UGC內(nèi)容為主的論壇。由于站內(nèi)搜索用戶地域表達(dá)與文化習(xí)慣差異大，易生歧義，導(dǎo)致搜索體驗(yàn)差。因此該類搜索場景要求搜索引擎具備較強(qiáng)的語義理解能力，根據(jù)搜索和文檔的真實(shí)語義進(jìn)行智能匹配。
詞權(quán)重分析：如下圖所示，搜索問題為“胎停有什么癥狀”，基于優(yōu)秀的召回質(zhì)量，通過詞權(quán)重分析能夠給出較好的結(jié)果排序。
拼寫糾錯、同義詞擴(kuò)大召回：如下圖所示，由于用戶方言習(xí)慣等問題，搜索關(guān)鍵詞時將“剖腹產(chǎn)”誤輸入為“拋婦產(chǎn)”，通過拼寫糾錯等功能，仍然可以正確識別用戶意圖，提供相關(guān)內(nèi)容。
**客戶評價-1：簡單無門檻，連不懂技術(shù)的產(chǎn)品經(jīng)理都可以使用OpenSearch對業(yè)務(wù)進(jìn)行迭代，大大縮短了項(xiàng)目的迭代周期。
客戶評價-2：提高效率，目前技術(shù)團(tuán)隊(duì)沒有專職優(yōu)化搜索的技術(shù)人員，只是根據(jù)項(xiàng)目需求做臨時優(yōu)化即可，省力省心。**

2.技術(shù)類內(nèi)容社區(qū)
某國內(nèi)最大的中文IT內(nèi)容社區(qū)，涉及眾多業(yè)務(wù)場景，由于是技術(shù)類內(nèi)容社區(qū)，需要提供強(qiáng)大、優(yōu)秀的搜索服務(wù)。
該社區(qū)花一年時間基于開源自建搜索服務(wù)，效果不佳。因此該社區(qū)試行OpenSearch。
下圖所示為基于開源自建搜索服務(wù)與基于OpenSearch服務(wù)的搜索效果對比。搜索同一關(guān)鍵詞Win10重裝，可見基于OpenSearch服務(wù)的搜索語義理解更優(yōu)，提供的搜索結(jié)果相關(guān)性更高。
由于該社區(qū)搜索詞專業(yè)垂直度高，通用分詞不足以支持，需要自定義詞典，并結(jié)合了阿里NLP通用Query智能分析+人氣模型。
效果：對比基于開源自建的搜索服務(wù)CTR提升80%+，對比友商CTR提升3%。

?

?

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的阿里云飞天大数据产品价值解读——《一站式高质量搜索开放搜索》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。