SpringCloud（8）— 使用ElasticSearch(RestClient)

一 認(rèn)識RestClient

ES 官方提供了各種語言的客戶端用來操作ES，這些客戶端的本質(zhì)就是組創(chuàng)DSL語句，通過 Http 請求發(fā)送給ES

官方文檔地址：Elasticsearch Clients | Elastic

提示1：ES 中支持兩種地理坐標(biāo)數(shù)據(jù)類型

• geo_point：ES中的 mapping 類型中利用經(jīng)度和緯度確定一個點(diǎn)
• geo_shape：由多個 geo_point 組成的復(fù)雜幾何圖形

提示2：字段拷貝可以使用 copy_to 屬性將當(dāng)前字段的屬性值拷貝到指定的屬性上，方便以后搜索，且被指定的字段在查詢數(shù)據(jù)時對外不可見

例如：以下示例中的 all 字段，在后邊查詢數(shù)據(jù)時不會返回

{"all":{"type":"text","analyzer":"ik_max_word"},"brand":{"type":"keyword","copy_to":"all"} }

二 RestClient操作索引庫

1.初始化RestClient

在項(xiàng)目中引入 RestClient 的 mavne 依賴坐標(biāo)，版本需與 ElasticSearch 的版本一致。這里使用的是 7.12.1

<properties><elasticsearch.version>7.12.1</elasticsearch.version> </properties> <dependencies><dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>${elasticsearch.version}</version></dependency> </dependencies>

由于 SpringBoot 項(xiàng)目中已經(jīng)對 elasticsearch 進(jìn)行管理，所以需要手動定義相同的參數(shù)值去覆蓋默認(rèn)的版本號，從而使用我們想使用的版本

編寫測試代碼，測試 RestHighLevelClient 是否初始化成功

private RestHighLevelClient restHighLevelClient;//初始化 RestHighLevelClient 對象 @BeforeEach void setUp(){this.restHighLevelClient=new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.119.101:9200"))); }//銷毀 RestHighLevelClient 對象 @AfterEach void tearDown() throws IOException {this.restHighLevelClient.close(); }@Test void testInit(){System.out.println(restHighLevelClient); }

或者可以使用 Ioc 思想，創(chuàng)建一個 Bean 到內(nèi)存中，然后使用它即可

@Bean public RestHighLevelClient restHighLevelClient(){return new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.119.101:9200"))); }

2.創(chuàng)建索引庫

編寫一個測試方法，用來測試創(chuàng)建索引庫是否成功

@Test void testCreateIndex() throws IOException {//1.創(chuàng)建一個 CreateIndexRequest 對象，指定 indexName(索引庫名稱)CreateIndexRequest request = new CreateIndexRequest("hotel");// 這是一段很惡心的 DSL 語句的拼接，為了方便可以將這一塊代碼提了出來，這里為了方便演示不做優(yōu)化處理String mapping ="{\n" +" \"mappings\": {\n" +" \"properties\": {\n" +" \"all\":{\n" +" \"type\": \"text\",\n" +" \"analyzer\": \"ik_max_word\"\n" +" },\n" +" \"id\":{\n" +" \"type\": \"keyword\"\n" +" },\n" +" \"name\":{\n" +" \"type\": \"text\",\n" +" \"copy_to\": \"all\", \n" +" \"analyzer\": \"ik_max_word\"\n" +" },\n" +" \"address\":{\n" +" \"type\": \"keyword\",\n" +" \"index\": false\n" +" },\n" +" \"price\":{\n" +" \"type\": \"double\"\n" +" },\n" +" \"score\":{\n" +" \"type\": \"integer\"\n" +" },\n" +" \"brand\":{\n" +" \"type\": \"keyword\",\n" +" \"copy_to\": \"all\"\n" +" },\n" +" \"city\":{\n" +" \"type\": \"keyword\",\n" +" \"copy_to\": \"all\"\n" +" },\n" +" \"starName\":{\n" +" \"type\": \"keyword\",\n" +" \"copy_to\": \"all\"\n" +" },\n" +" \"business\":{\n" +" \"type\": \"keyword\",\n" +" \"copy_to\": \"all\"\n" +" },\n" +" \"location\":{\n" +" \"type\": \"geo_point\"\n" +" },\n" +" \"pic\":{\n" +" \"type\": \"keyword\",\n" +" \"index\": false\n" +" },\n" +" \"isAD\":{\n" +" \"type\": \"boolean\"\n" +" }\n" +" }\n" +" }\n" +"} ";//2.定義 DSLrequest.source(mapping, XContentType.JSON);//3.創(chuàng)建索引庫restHighLevelClient.indices().create(request, RequestOptions.DEFAULT); }

運(yùn)行完成后，可以去瀏覽器通過 GET 方法訪問，如果返回對應(yīng)的JSON格式信息，則說明創(chuàng)建索引庫成功。

# 瀏覽器訪問 http://192.168.119.101:9200/hotel # kibana 中的 dev tools 中測試 GET /hotel

CreateIndexRequest 對象中的 indices() 對象里，包含了操作索引庫的所有方法

3.刪除索引庫

@Test void testDeleteIndex() throws IOException {// 定義 DeleteIndexRequest 對象DeleteIndexRequest request=new DeleteIndexRequest("hotel");// 執(zhí)行刪除操作restHighLevelClient.indices().delete(request,RequestOptions.DEFAULT); }

4.判斷指定索引庫是否存在

@Test void testDeleteExist() throws IOException {// 定義 GetIndexRequest 對象GetIndexRequest request=new GetIndexRequest("hotel");// 發(fā)送請求restHighLevelClient.indices().exists(request,RequestOptions.DEFAULT); }

三 RestClient操作文檔

1.添加文檔

編寫測試方法，從數(shù)據(jù)庫查詢到指定數(shù)據(jù)，并且格式化為 Json，然后將數(shù)據(jù)存儲到 特定的索引庫中

Hotel 實(shí)體對象示例：

@Data public class Hotel implements Serializable {private final static Long serialVersionUID=1L;private Long id;private String name;private String address;private Integer price;private Integer score;private String city;private String starName;private String brand;private String business;private String latitude;private String longitude;private String pic;/*** 是否廣告，1-是，0-否*/@TableField("isAD")private Integer isAD; }

HotelDoc 文檔實(shí)體對象：

注意：文檔的實(shí)體應(yīng)該與創(chuàng)建時的 mapping 字段完全一致

@Data public class HotelDoc implements Serializable {public HotelDoc() {}public HotelDoc(Hotel hotel) {this.id = hotel.getId();this.name = hotel.getName();this.address = hotel.getAddress();this.price = hotel.getPrice();this.score = hotel.getScore();this.brand = hotel.getBrand();this.city = hotel.getCity();this.starName = hotel.getStarName();this.business = hotel.getBusiness();// 使用字符串格式的 geo_point 時，要求“緯度在前，經(jīng)度在后”this.location = hotel.getLatitude() + "," + hotel.getLongitude();this.pic = hotel.getPic();//處理廣告字段（isAD）格式if (hotel.getIsAD() == 1) {this.isAD = true;} else {this.isAD = false;}}private final static Long serialVersionUID = 1L;private Long id;private String name;private String address;private Integer price;private Integer score;private String city;private String starName;private String brand;private String business;private String pic;private String location;/*** 廣告*/public Boolean isAD;}

添加一條文檔到索引庫中：

@Test void testAddDocument() throws IOException {Long id = 36934L;Hotel hotel = hotelService.getById(id);if (Objects.nonNull(hotel)) {// 1.創(chuàng)建 IndexRequest 對象，指定文檔要存入的【索引庫】及【文檔Id】，此處的【文檔Id】使用數(shù)據(jù)庫的【主鍵Id】IndexRequest request = new IndexRequest("hotel").id(id.toString());// 2.準(zhǔn)備 JSON 數(shù)據(jù)HotelDoc hotelDoc = new HotelDoc(hotel);String jsonString = JSON.toJSONString(hotelDoc);request.source(jsonString, XContentType.JSON);// 3.發(fā)送請求restHighLevelClient.index(request, RequestOptions.DEFAULT);return;}System.out.println("id=" + id + "的信息不存在"); }

踩坑底：對于 mapping 類型為 geo_point 的經(jīng)緯度，使用字符串格式時，需要“緯度在前經(jīng)度在后

運(yùn)行成功后，數(shù)據(jù)將被存入到 ES 中

2.查看文檔

編寫查看文檔的示例代碼，重點(diǎn)API 【GetRequest】

@Test void testGetDocument() throws IOException {Long id = 36934L;// 1.創(chuàng)建 GetRequest 對象,指定【索引庫】和【文檔ID】GetRequest request = new GetRequest("hotel", id.toString());// 2.發(fā)送請求，讀取到數(shù)據(jù)GetResponse documentFields = restHighLevelClient.get(request, RequestOptions.DEFAULT);String sourceStr = documentFields.getSourceAsString();//3. 使用fastJson轉(zhuǎn)為實(shí)體對象HotelDoc hotelDoc = JSON.parseObject(sourceStr, HotelDoc.class);System.out.println(hotelDoc); }

3.修改文檔

編寫修改文檔的示例代碼，重點(diǎn)API 【UpdateRequest】

@Test void testUpdateDocument() throws IOException {Long id=36934L;// 1.創(chuàng)建 UpdateRequest 對象,指定【索引庫】和 【文檔Id】UpdateRequest request=new UpdateRequest("hotel",id.toString());// 2.準(zhǔn)備要更新的參數(shù)和值，每兩個參數(shù)為一對 key valuerequest.doc("price",200,"name","8天假日酒店");// 3.發(fā)送請求restHighLevelClient.update(request,RequestOptions.DEFAULT); }

4.刪除文檔

編寫刪除文檔的示例代碼，重點(diǎn)API 【DeleteRequest】

@Test void testDeleteDocument() throws IOException {Long id=36934L;// 1.創(chuàng)建 DeleteRequest 對象,指定【索引庫】和 【文檔Id】DeleteRequest deleteRequest=new DeleteRequest("hotel",id.toString());// 2.發(fā)送請求restHighLevelClient.delete(deleteRequest,RequestOptions.DEFAULT); }

5.批量導(dǎo)入文檔

編寫批量導(dǎo)入測試方法，重點(diǎn)API 【BulkRequest】

@Test void tesBulkDocument() throws IOException {// 1.定義 BulkRequest 對象BulkRequest request=new BulkRequest();List<Hotel> list = hotelService.list();// 2.查詢所有數(shù)據(jù)并且轉(zhuǎn)換為 List<HotelDoc>List<HotelDoc> listDoc=list.stream().map(t->{HotelDoc doc=new HotelDoc(t);return doc;}).collect(Collectors.toList());// 3.遍歷 List<HotelDoc> 對象，創(chuàng)建 IndexRequest 并且通過 add() 添加到 BulkRequest 對象中for (HotelDoc doc: listDoc) {IndexRequest indexRequest=new IndexRequest("hotel").id(doc.getId().toString());indexRequest.source(JSON.toJSONString(doc),XContentType.JSON);request.add(indexRequest);}// 4.發(fā)送 ES 請求restHighLevelClient.bulk(request,RequestOptions.DEFAULT); }

在 kibana 控制臺通過查詢命令可以查詢到已經(jīng)導(dǎo)入數(shù)據(jù)

#1.hotel為索引庫名稱 GET /hotel/_search

四 RestClient查詢

RestClient 所有解析的歸根結(jié)底是逐層解析 Json 結(jié)構(gòu)

1.快速入門（match_all）

通過 match_all 演示 RestClient 的基本API

編寫以下測試代碼，實(shí)現(xiàn) match_all 的使用

@Test void testMatchAll() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request=new SearchRequest("hotel");//2.組織 DSL 參數(shù)request.source().query(QueryBuilders.matchAllQuery()).from(0).size(3); //3.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response=restHighLevelClient.search(request, RequestOptions.DEFAULT);//4. 通過 SearchResponse 對象的 getHits 拿到數(shù)據(jù)結(jié)果集，然后進(jìn)行處理SearchHits hits = response.getHits();//5.獲取數(shù)據(jù)總條數(shù)Long totalHits = hits.getTotalHits().value;System.out.println(totalHits);//6.處理結(jié)果for (SearchHit hit : hits) {HotelDoc doc = JSON.parseObject(hit.getSourceAsString(), HotelDoc.class);System.out.println(doc.toString());} }

RestClient 與 DSL 語法對比：

• 使用 QueryBuilders 實(shí)現(xiàn)各種查詢方式
• 通過 SearchRequest 對象的 source() 對象實(shí)現(xiàn)鏈?zhǔn)骄幊?#xff0c;從而設(shè)置分頁，排序，高亮，復(fù)合查詢等操作
• 通過 RestHighLevelClient 對象的 search() 方法發(fā)送查詢請求，實(shí)現(xiàn)查詢
• 通過 SearchResponse 對象接受查詢結(jié)果并進(jìn)行處理
• 通過 SearchHits 對象拿到結(jié)果集和數(shù)據(jù)總行數(shù)

主要通過解析 DSL 語法返回結(jié)果集中的 hits 對象，獲取到總條數(shù)及數(shù)據(jù)內(nèi)容，從而對數(shù)據(jù)進(jìn)行處理

2.全文檢索

全文檢索 與 match_all 的API基本一致，差別在于 match 有了查詢條件，即 DSL 語句中的 query 部分。

1.match（特定字段）

//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱 SearchRequest request = new SearchRequest("hotel");//2.組織 DSL 參數(shù) request.source().query(QueryBuilders.matchQuery("all", "如家"));//3.發(fā)送請求，得到響應(yīng)結(jié)果 SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);

2.multi_match（多字段）

//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱 SearchRequest request = new SearchRequest("hotel");//2.組織 DSL 參數(shù) request.source().query(QueryBuilders.multiMatchQuery("如家","name","brand"))//3.發(fā)送請求，得到響應(yīng)結(jié)果 SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);

match 和 multi_match 的區(qū)別主要在于 QueryBuilders 類的調(diào)用方法不同

match 中 QueryBuilders 使用了 matchQuery()

multi_match 中 QueryBuilders 使用了 multiMatchQuery()

3.term（精準(zhǔn)查詢）

與 前面的相比，唯一的區(qū)別是使用了 termQuery()

@Test void testMatch() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request = new SearchRequest("hotel");//2.組織 DSL 參數(shù)request.source().query(QueryBuilders.termQuery("brand","如家"));//3.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT); }

3.boolean query（組合）

boolean query 查詢 與 前面的查詢略有不同，需要先創(chuàng)建 BoolQueryBuilder 對象，然后通過 BoolQueryBuilder 對象添加過濾條件

@Test void testBooleanQuery() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request = new SearchRequest("hotel");//2.創(chuàng)建 BoolQueryBuilder 對象，通過鏈?zhǔn)骄幊谭绞教砑硬樵儣l件BoolQueryBuilder queryBuilder = new BoolQueryBuilder();queryBuilder.should(QueryBuilders.matchQuery("city", "上海")).must(QueryBuilders.termQuery("brand", "如家")).filter(QueryBuilders.rangeQuery("price").gte(200).lte(300));//3.組織 DSL 參數(shù)，填充 BoolQueryBuilder對象到 query中request.source().query(queryBuilder);//4.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT); }

或者可以直接一步到位

@Test void testBooleanQuery() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request = new SearchRequest("hotel");//2.組織 DSL 參數(shù)request.source().query(new BoolQueryBuilder().should(QueryBuilders.matchQuery("city", "上海")).must(QueryBuilders.termQuery("brand", "如家")).filter(QueryBuilders.rangeQuery("price").gte(200).lte(300)));//3.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT); }

4.排序和分頁

DSL 語句中，排序和分頁 在 query 同級，RestClient 中與 DSL 一樣，也是在 query() 之后

@Test void testPageAndOrder() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request = new SearchRequest("hotel");//2.組織 DSL 參數(shù)request.source().query(new BoolQueryBuilder().should(QueryBuilders.matchQuery("city", "上海")).must(QueryBuilders.termQuery("brand", "如家")).filter(QueryBuilders.rangeQuery("price").gte(200).lte(300))).from(0).size(3).sort("score", SortOrder.DESC).sort("price",SortOrder.ASC);//3.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT); }

• from：開始位置，默認(rèn)為0
• size：獲取的數(shù)據(jù)數(shù)量，默認(rèn)為10
• sort：使用 sort() 方法來進(jìn)行排序，傳入 字段名 和 排序方式

5.highlight（高亮顯示）

高亮API包括 請求DSL構(gòu)建 和 結(jié)果解析 兩部分

測試代碼實(shí)現(xiàn)如下：

@Test void testHighLight() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request = new SearchRequest("hotel");//2.組織 DSL 參數(shù)request.source().query(QueryBuilders.matchQuery("all", "如家")).highlighter(//高亮字段是否和查詢字段匹配new HighlightBuilder().field("name").requireFieldMatch(false).preTags("<em>").postTags("</em>"));//3.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);//4. 通過 SearchResponse 對象的 getHits 拿到數(shù)據(jù)結(jié)果集，然后進(jìn)行處理SearchHits hits = response.getHits();//5.獲取數(shù)據(jù)總條數(shù)Long totalHits = hits.getTotalHits().value;System.out.println(totalHits);for (SearchHit hit : hits) {HotelDoc doc = JSON.parseObject(hit.getSourceAsString(), HotelDoc.class);// 獲取高亮區(qū)域的值Map<String, HighlightField> fields = hit.getHighlightFields();if (fields != null) {// 獲取指定字段的高亮內(nèi)容對象HighlightField highlightField = fields.get("name");String highLightName = highlightField.getFragments()[0].toString();// 替換原有的值doc.setName(highLightName);}System.out.println(doc);} }

6.距離排序

按照距離排序，需要提供一組經(jīng)緯度作為中心點(diǎn)，然后按照距離遠(yuǎn)近進(jìn)行排序

距離排序中使用到一個新的對象，即 SortBuilders，以下是測試示例代碼：

@Test void testDistanceSort() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request = new SearchRequest("hotel");//2.組織 DSL 參數(shù)request.source().query(QueryBuilders.matchQuery("all", "如家")).sort(SortBuilders.geoDistanceSort("location", new GeoPoint("31.251433,121.47522")).order(SortOrder.ASC).unit(DistanceUnit.KILOMETERS));//3.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT); }

7.相關(guān)性算分

使用 RestClient 實(shí)現(xiàn)相關(guān)性算分時代碼較為復(fù)雜，先看對照示例：

實(shí)現(xiàn)方式是基于 FunctionScoreQueryBuilder 對象

以下是測試代碼，用于過濾 isAD=true 時，增加權(quán)重分值為10，且與原始分值相乘

@Test void testFunctionScore() throws IOException {//1.創(chuàng)建 SearchRequest 對象，指定索引庫名稱SearchRequest request = new SearchRequest("hotel");// 原始查詢，可以是一般查詢，也可以是復(fù)合查詢 BooleanQueryQueryBuilder queryBuilder = QueryBuilders.matchQuery("all", "如家");// 構(gòu)建 FunctionScoreQueryBuilder 對象FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery(//方式查詢queryBuilder,//functionScore 數(shù)組new FunctionScoreQueryBuilder.FilterFunctionBuilder[]{// 其中一個 function scorenew FunctionScoreQueryBuilder.FilterFunctionBuilder(//過濾條件QueryBuilders.termQuery("isAD", true),//算分函數(shù),這里使用加權(quán)重ScoreFunctionBuilders.weightFactorFunction(20))})// 加權(quán)模式.boostMode(CombineFunction.MULTIPLY);;//2.組織 DSL 參數(shù)request.source().query(functionScoreQueryBuilder);//3.發(fā)送請求，得到響應(yīng)結(jié)果SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT); }

注意：后邊的 “isAD” 字段 是為了做相關(guān)性算分增加的新字段，前邊的 索引庫 和 實(shí)體類 中沒有，需要手動增加。

2022-12-21，修改 “創(chuàng)建索引庫”時未設(shè)置分詞器的問題，Hotel 和 HotelDoc 實(shí)體類中添加 “isAD” 字段

本結(jié)知識點(diǎn)梳理完成，完結(jié)撒花。

總結(jié)

以上是生活随笔為你收集整理的SpringCloud（8）— 使用ElasticSearch(RestClient)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。