摘要： 最近，經(jīng)常有客戶咨詢?nèi)绾蔚统杀敬罱ǜ咝阅艿暮Ａ繑?shù)據(jù)搜索引擎，比如實(shí)現(xiàn)公眾號檢索、影訊檢索等等。由于客戶的數(shù)據(jù)在阿里云上，所以希望找到云上解決方案。筆者開始調(diào)研一些云上產(chǎn)品，很多人向我推薦了OpenSearch，所以花了點(diǎn)時(shí)間好好研究了下，用過之后發(fā)現(xiàn)效果不錯(cuò)，自帶分詞、云數(shù)據(jù)庫同步功能，在研究過程中也發(fā)現(xiàn)了一些問題，分享給大家。

背景

最近，經(jīng)常有客戶咨詢?nèi)绾蔚统杀敬罱ǜ咝阅艿暮Ａ繑?shù)據(jù)搜索引擎，比如實(shí)現(xiàn)公眾號檢索、影訊檢索等等。由于客戶的數(shù)據(jù)在阿里云上，所以希望找到云上解決方案。筆者開始調(diào)研一些云上產(chǎn)品，很多人向我推薦了OpenSearch，所以花了點(diǎn)時(shí)間好好研究了下，用過之后發(fā)現(xiàn)效果不錯(cuò)，自帶分詞、云數(shù)據(jù)庫同步功能，在研究過程中也發(fā)現(xiàn)了一些問題，分享給大家。

接下來，我們開始用阿里云MaxCompute（原名ODPS）和OpenSearch來搭建一個(gè)影訊檢索的搜索引擎Demo，我有大約10GB數(shù)據(jù)，服務(wù)搭建只用了15分鐘，數(shù)據(jù)同步建索引大概用1個(gè)小時(shí)。因?yàn)檫x擇彈性計(jì)費(fèi)，實(shí)驗(yàn)費(fèi)用大概花了幾十元。

先曬一下搜索效果，支持一些常用分詞語法，而且OpenSearch自帶了豐富的SDK和API，可以很方便的集成到線上業(yè)務(wù)。

實(shí)驗(yàn)架構(gòu)圖

搜索引擎架構(gòu)在OpenSearch之上，是一個(gè)典型的分布式在線實(shí)時(shí)交互查詢架構(gòu)，無單點(diǎn)故障，高伸縮、高可用，免運(yùn)維，低成本。對大量信息的索引與搜索都可以在近乎實(shí)時(shí)的情況下完成，能夠快速實(shí)時(shí)搜索數(shù)十億的文件以及PB級的數(shù)據(jù)。

分布式數(shù)據(jù)庫架構(gòu)在MaxCompute之上，是一種快速、完全托管的TB/PB級數(shù)據(jù)倉庫解決方案。MaxCompute向用戶提供了完善的數(shù)據(jù)導(dǎo)入方案以及多種經(jīng)典的分布式計(jì)算模型，能夠更快速的解決用戶海量數(shù)據(jù)計(jì)算問題，有效降低企業(yè)成本，并保障數(shù)據(jù)安全。

實(shí)驗(yàn)準(zhǔn)備工作

1、注冊阿里云用戶，實(shí)名認(rèn)證并綁定支付寶；
2、開通數(shù)加服務(wù)；
3、開通MaxCompute、OpenSearch 后付費(fèi)服務(wù)。

實(shí)驗(yàn)任務(wù)

1、用MaxCompute導(dǎo)入公開數(shù)據(jù)集；
2、用OpenSearch 創(chuàng)建應(yīng)用，配置數(shù)據(jù)/索引結(jié)構(gòu)、分詞；
3、全量導(dǎo)入數(shù)據(jù)，構(gòu)建索引；
4、搜索效果測試。

第一步：購買并開通OpenSearch、MaxCompute、大數(shù)據(jù)開發(fā)套件服務(wù)

1.1 開通Opensearch服務(wù)

訪問https://www.aliyun.com/product/opensearch，點(diǎn)擊立即開通，選擇后付費(fèi)（按量付費(fèi)）。

1.2 開通MaxCompute&大數(shù)據(jù)開發(fā)套件服務(wù)

1.2.1 開通 MaxCompute

阿里云實(shí)名認(rèn)證賬號訪問https://www.aliyun.com/product/odps ，開通 MaxCompute，選擇按量付費(fèi)進(jìn)行購買。

1.2.2 創(chuàng)建 MaxCompute project

進(jìn)入數(shù)加管理控制臺，前面開通 MaxCompute 成功頁面，點(diǎn)擊管理控制臺，或者導(dǎo)航產(chǎn)品->大數(shù)據(jù)（數(shù)加）->MaxCompute 點(diǎn)擊管理控制臺。

創(chuàng)建項(xiàng)目

進(jìn)入控制臺頁面后導(dǎo)航至“大數(shù)據(jù)開發(fā)套件->項(xiàng)目列表“，點(diǎn)擊”創(chuàng)建項(xiàng)目”，如圖所示：

在彈出框中選擇 I/O 后付費(fèi)的付費(fèi)方式，輸入項(xiàng)目名稱：

創(chuàng)建 MaxCompute 表

進(jìn)入大數(shù)據(jù)開發(fā)套件的數(shù)據(jù)開發(fā)頁面，以開發(fā)者身份進(jìn)入阿里云數(shù)加平臺>大數(shù)據(jù)開發(fā)套件>管理控制臺，點(diǎn)擊項(xiàng)目列表下對應(yīng)項(xiàng)目操作欄中的進(jìn)入工作區(qū)。

注意：如果首次使用數(shù)加平臺，需要先注冊數(shù)加開通AK。

第二步：通過大數(shù)據(jù)開發(fā)套件導(dǎo)入數(shù)據(jù)集到MaxCompute

進(jìn)入大數(shù)據(jù)開發(fā)套件工作區(qū)后，我們先導(dǎo)入一份測試數(shù)據(jù)。

數(shù)據(jù)說明：筆者這里引用了一份MaxCompute公開數(shù)據(jù)集(正在公測)，地址：https://yq.aliyun.com/articles/89763，目前MaxCompute開放的數(shù)據(jù)類別包括：股票價(jià)格數(shù)據(jù)，房產(chǎn)信息，影視及其票房數(shù)據(jù)。所有的數(shù)據(jù)均被存儲在 MaxCompute 產(chǎn)品中的 public_data 項(xiàng)目中。

接下來，我們引用一份影視票房數(shù)據(jù)。

使用非常簡單，前提條件是開通MaxCompute&大數(shù)據(jù)開發(fā)套件；

在大數(shù)據(jù)開發(fā)套件中，新建腳本，命名opensearch_demo，在窗口執(zhí)行如下語句。

add user ALIYUN$everyone;

執(zhí)行完成后用戶項(xiàng)目空間下的所有成員均可讀取各公開數(shù)據(jù)集合。

驗(yàn)證一下：

select * from public_data.dwd_product_movie_basic_info where movie_name like '%生化危機(jī)%' limit 10;

拷貝一份數(shù)據(jù)到自己的Project項(xiàng)目下，注意：OpenSearch里有主鍵概念，所以我們需要在MaxCompute中建主鍵，這里通過UUID函數(shù)實(shí)現(xiàn)。

在窗口執(zhí)行如下語句：

create table alian.demo_opensearch_case2 asselect uuid() as id,* from public_data.dwd_product_movie_basic_info ;

執(zhí)行成功后，驗(yàn)證一下數(shù)據(jù)；

select count(1) from alian.demo_opensearch_case2;

可以看到數(shù)據(jù)集已經(jīng)創(chuàng)建好；

第三步：創(chuàng)建開放搜索應(yīng)用

3.1 進(jìn)入OpenSearch控制臺，點(diǎn)擊“創(chuàng)建應(yīng)用”

3.2 選擇產(chǎn)品版本，筆者開通的是標(biāo)準(zhǔn)版。如果需要多表關(guān)聯(lián)搜索，請開通高級版，如果是單表查詢，標(biāo)準(zhǔn)版就可以。

3.3 輸入應(yīng)用名稱MaxCompute_OpenSearch_Demo，地域選華東1（杭州），因?yàn)镸axCompute目前只有華東，否則數(shù)據(jù)鏈路不通，點(diǎn)擊下一步。

3.4 選擇“通過數(shù)據(jù)源方式創(chuàng)建應(yīng)用結(jié)構(gòu)”。可以快速由源表結(jié)構(gòu)創(chuàng)建出初始的應(yīng)用結(jié)構(gòu)，節(jié)省手動(dòng)構(gòu)造的工作量，降低出錯(cuò)概率。

3.5 選擇ODPS，剛才創(chuàng)建的表。

選擇剛才創(chuàng)建的ODPS項(xiàng)目及表demo_opensearch_case2

【注意】對于ODPS表中的STRING類型需要轉(zhuǎn)換為LITERAL后建主鍵。

3.6 配置索引、分詞及搜索展示內(nèi)容

選擇movie_name、 director、scriptwriter、area、actors、type、movile_date、movie_language字段做索引，設(shè)置默認(rèn)中文分詞方式。

添加展示字段，設(shè)置搜索結(jié)果內(nèi)容。

3.7 創(chuàng)建完成

第四步：同步數(shù)據(jù)并創(chuàng)建索引

4.1 激活應(yīng)用

選擇配額及QPS，我們用的數(shù)據(jù)集大概8G，所以開通的是10G配額，QPS采用默認(rèn)項(xiàng)。

注意：MaxCompute（原ODPS）的數(shù)據(jù)是壓縮過的，我們用的數(shù)據(jù)SIZE壓縮后2GB，但實(shí)際是8GB，筆者之前購買了3GB的OpenSearch配額，結(jié)果導(dǎo)入失敗。

4.2開始構(gòu)建索引

這里主要就是等等，筆者等了一個(gè)小時(shí)。

可以查看索引構(gòu)建進(jìn)度

第五步：搜索測試

打開應(yīng)用管理->搜索測試，輸入任意影片，比如最近剛上映的摔跤 爸爸，然后自動(dòng)匹配出相應(yīng)的影訊信息，完成實(shí)驗(yàn)。

MaxCompute提供的數(shù)據(jù)集很贊，數(shù)據(jù)量多、新鮮度很高。

總結(jié)：到這里，我們就完成了整個(gè)實(shí)驗(yàn)，OpenSearch+MaxCompute筆者認(rèn)為還是很方便，非常適合數(shù)據(jù)規(guī)模在100GB以上并且不希望高昂的運(yùn)維成本和IT成本的企業(yè)。

原文鏈接

干貨好文，請關(guān)注掃描以下二維碼：

總結(jié)

以上是生活随笔為你收集整理的手把手，教你用MaxCompute+OpenSearch搭建分布式搜索引擎的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。