前言： 越用越爽的docker值得你去體驗，企業(yè)搜索王者elasticsearch值得你去玩耍，流行的kibana值得你去探索，后續(xù)搭配的logstash用來同步數(shù)據(jù)更是助你一臂之力，原創(chuàng)不易，歡迎收藏。
本文將延續(xù)上篇文章：阿里云使用docker部署elasticsearch+kibana+ik全部搞定 講述如何使用kibana來操作elasticsearch。

1.準備階段

使用docker部署成功es+ik+kibana后，進入kibana中的dev tools

dev tools

先通過kibana插入5條測試數(shù)據(jù)

PUT?/movie_index/_doc/1?pretty
{
??"name":?"一秒鐘",
??"intro":?"影片講述了沒趕上電影場次的張九聲與劉閨女因一場電影結(jié)下了不解之緣的故事。",
??"releaseDate":?"2020-11-27",
??"director":?"張藝謀",
??"commentTime":?"2020-11-27",
??"voteCount":?3490,
??"hotComment":?"這根本就不是什么給電影的情書，整個電影沒有人是愛電影的。"
}
PUT?/movie_index/_doc/2?pretty
{
??"name":?"一秒鐘",
??"intro":?"主要敘事線結(jié)束“兩年后”是恢復高考，也就是1977年，倒推影片發(fā)生時間，就是1975年。",
??"releaseDate":?"2020-11-27",
??"director":?"張藝謀",
??"commentTime":?"2020-11-19",
??"voteCount":?2180,
??"hotComment":?"公映版的《一秒鐘》，刪去了非常重要的一個情節(jié)：張九聲的女兒，其實已經(jīng)死了。"
}
PUT?/movie_index/_doc/3?pretty
{
??"name":?"一秒鐘",
??"intro":?"故事靈感來源于張藝謀導演早期經(jīng)歷，是其一貫對文化展開追憶和尋根的風格",
??"releaseDate":?"2020-11-27",
??"director":?"張藝謀",
??"commentTime":?"2020-12-01",
??"voteCount":?1480,
??"hotComment":?"?張藝謀在進入新千年以后，最好的作品。"
}
PUT?/movie_index/_doc/4?pretty
{
??"name":?"一秒鐘",
??"intro":?"《一秒鐘》面子上講的是對膠片電影往事的緬懷，但骨子里卻是更直擊觀眾內(nèi)心的時代悲劇與情感表達。",
??"releaseDate":?"2020-11-29",
??"director":?"張藝謀",
??"commentTime":?"2020-11-20",
??"voteCount":?809,
??"hotComment":?"如果這個結(jié)局是補拍的，那么可以說它徹底暴露了中宣部的智商，似乎他們在乎的只有那一句“時代變了”，而沒有察覺那兩幀找不回來的膠卷才是真正重要的東西。"
}
PUT?/movie_index/_doc/5?pretty
{
??"name":?"一秒鐘",
??"intro":?"導演對“膠片時代”一去不返的致敬，也是對“看電影”這件事細致入微的回憶與熱愛",
??"releaseDate":?"2020-11-27",
??"director":?"張藝謀",
??"commentTime":?"2020-11-19",
??"voteCount":?186,
??"hotComment":?"抱著中國版《天堂電影院》的期待來看的人，一定會大失所望。《一秒鐘》是寫給一個時代的挽歌，但不是寫給電影的情書"
}
插入記錄

2.簡易查詢

_search查詢

search API有兩種表單：一種是“簡易版”的查詢字符串(query string)將所有參數(shù)通過查詢字符串定義，另一種版本使用JSON完整的表示請求體(request body)，這種富搜索語言叫做結(jié)構(gòu)化查詢語句(DSL)

全文檢索含有”情節(jié)”二字的記錄

??GET?/movie_index/_search?q="情節(jié)"
_search

這種查詢是將全文內(nèi)容拼接成字符串，在字符串中尋找“情節(jié)”二字，從而找到包含這兩個字的記錄

指定字段中查詢含有”情節(jié)”二字的記錄

GET?/movie_index/_search?q=intro:"情節(jié)"
GET?/movie_index/_search?q=hotComment:"情節(jié)"
_search?q=intro_search?q=hotComment

3.結(jié)構(gòu)化查詢

term:查詢某個字段里含有某個關鍵詞的文檔

term query會去倒排索引中尋找確切的term，它并不知道分詞器的存在，這種查詢適合keyword、numeric、date等明確值的。

GET?/movie_index/_search?pretty
{
??"query":?{
????"term":?{
??????"hotComment":?"情節(jié)"
????}
??}
}
term-情節(jié)term-情

此時查詢查詢關鍵詞“情節(jié)”沒有獲得記錄，因為關鍵詞“情節(jié)”并不會進行分詞，是一個完整的詞，而hotComment中對應的內(nèi)容的分詞采用的是默認分詞，分成的語句是一個個的漢字，如下：

GET?/_analyze
{
??"text":?"公映版的《一秒鐘》，刪去了非常重要的一個情節(jié)：張九聲的女兒，其實已經(jīng)死了。",
??"analyzer":?"chinese"
}
默認分詞

所以才會出現(xiàn)以上情況，后面我們再來演示ik分詞器的用法

對于返回結(jié)果中的部分字段解釋：

• hits
  響應中最重要的部分是hits，它包含了total字段來表示匹配到的文檔總數(shù)，hits數(shù)組還包含了匹配到的前10條數(shù)據(jù)。hits數(shù)組中的每個結(jié)果都包含_index、_type和文檔的_id字段，被加入到_source字段中這意味著在搜索結(jié)果中我們將可以直接使用全部文檔。這不像其他搜索引擎只返回文檔ID，需要你單獨去獲取文檔。每個節(jié)點都有一個_score字段，這是相關性得分(relevance score)，它衡量了文檔與查詢的匹配程度。默認的，返回的結(jié)果中關聯(lián)性最大的文檔排在首位；這意味著，它是按照_score降序排列的。這種情況下，我們沒有指定任何查詢，所以所有文檔的相關性是一樣的，因此所有結(jié)果的_score都是取得一個中間值1
  max_score指的是所有文檔匹配查詢中_score的最大值。

• took
  took告訴我們整個搜索請求花費的毫秒數(shù)。

• shards
  _shards節(jié)點告訴我們參與查詢的分片數(shù)(total字段)，有多少是成功的(successful字段)，有多少的是失敗的(failed字段)。通常我們不希望分片失敗，不過這個有可能發(fā)生。如果我們遭受一些重大的故障導致主分片和復制分片都故障，那這個分片的數(shù)據(jù)將無法響應給搜索請求。這種情況下，Elasticsearch將報告分片failed，但仍將繼續(xù)返回剩余分片上的結(jié)果。

• timeout
  time_out數(shù)值告訴我們查詢超時與否。一般的，搜索請求不會超時。如果響應速度比完整的結(jié)果更重要，你可以定義timeout參數(shù)為10或者10ms(10毫秒)，或者1s(1秒)

terms：查詢某個字段里含有多個關鍵詞的文檔

GET?/movie_index/_search?pretty
{
??"query":?{
????"terms":?{
??????"hotComment":[?"情","作"]
????}
??}
}
terms

match查詢

GET?/movie_index/_search?pretty
{
??"query":?{
????"match":?{
??????"hotComment":"情節(jié)"
????}
??}
}
match

使用match查詢可以成功獲得記錄，因為match query 知道分詞器的存在，會對field進行分詞操作，然后再查詢。
它和term區(qū)別可以理解為term是精確查詢，match模糊查詢；match會對“情節(jié)”分詞為兩個中文漢字，然后term會認為它是一個詞。

operator使用

在上面3中的查詢結(jié)果中我們看到有3條匹配記錄，假如我們就是要查詢含有“情節(jié)”兩個字的記錄，可以配合operator進行使用

GET?/movie_index/_search?pretty
{
??"query":?{
????"match":?{
??????"hotComment":?{
????????"query":?"情節(jié)",
????????"operator":?"and"
??????}
????}
??}
}
"operator": "and"

搜索結(jié)果高亮

GET?/movie_index/_search?pretty
{
??"query":?{
????"match":?{
??????"hotComment":?{
????????"query":?"情節(jié)",
????????"operator":?"or"
??????}
????}
??},
??"highlight":?{
????"fields":?{
??????"hotComment":?{}
????}
??}
}
highlight

搜索結(jié)果中會將搜索字段對應的關鍵字進行高亮顯示(默認使用標簽)
你也可以使用自定義標簽

GET?/movie_index/_search?pretty
{
??"query":?{
????"match":?{
??????"hotComment":?{
????????"query":?"情節(jié)",
????????"operator":?"or"
??????}
????}
??},
??"highlight":?{
????"pre_tags":?[
??????""
????],"post_tags":?[""
????],
????"fields":?{
??????"hotComment":?{
????????"type":?"plain"
??????}
????}
??}
}
highlight

match_all：查詢所有文檔

GET?/movie_index/_search?pretty
{
??"query":?{
????"match_all":?{}
??}
}
match_all

multi_match：可以指定多個字段

查詢"hotComment"或者"intro"字段含有”情節(jié)“關鍵字的記錄

GET?/movie_index/_search?pretty
{
??"query":?{
????"multi_match":?{
??????"query":?"情節(jié)",
??????"fields":?[
????????"hotComment",
????????"intro"
??????]
????}
??}
}
multi_match

_source：當我們希望返回結(jié)果只是一部分字段時，可以加上_source

GET?/movie_index/_search?pretty
{
??"_source":["hotComment","intro"],
??"query":?{
????"multi_match":?{
??????"query":?"情節(jié)",
??????"fields":?[
????????"hotComment",
????????"intro"
??????]
????}
??}
}
_source

此時返回結(jié)果記錄中就只有指定的"hotComment"和"intro"字段了。

排序
使用sort實現(xiàn)排序(類似sql)：desc 降序，asc升序

GET?/movie_index/_search?pretty
{
??"query":?{
????"multi_match":?{
??????"query":?"情節(jié)",
??????"fields":?[
????????"hotComment",
????????"intro"
??????]
????}
??},
??"sort":?[
????{
??????"voteCount":?"desc"
????}
??]
}
sort

返回結(jié)果根據(jù)"voteCount"熱評字段數(shù)降序排序

4.ik分詞器的使用

索引分詞的問題
下面我們對"情節(jié)"兩字使用ik分詞器進行查詢

GET?/movie_index/_search?pretty
{
??"query":?{
????"match":?{
??????"hotComment":?{
????????"query":?"情節(jié)",
????????"analyzer":"ik_max_word"
??????}
????}
??}
}
ik

我們對"情節(jié)"分詞看看結(jié)果

GET?/_analyze
{
??"text":?[
????"情節(jié)"
??],
??"analyzer":?"ik_max_word"
}
分詞

可以看到使用ik_max_word分詞得到的是一個詞"情節(jié)"

通過以下命令查看查看索引映射方式

GET?/movie_index/_mapping
查看映射

索引中的字段使用未設置分詞器，因此使用的是默認分詞，前面我們已經(jīng)演示過分成的是單個的字符，所以這里匹配不上記錄。

新建索引

新建索引 new_spitindex,索引時，為了提供索引的覆蓋范圍，通常會采用ik_max_word分析器，會以最細粒度分詞索引，搜索時為了提高搜索準確度，會采用ik_smart分析器，會以粗粒度分詞

PUT?/new_movie_index/
{
??"settings":?{
????"number_of_shards":?5,
????"number_of_replicas":?1
??},
??"mappings":?{
????"properties":?{
??????"commentTime":?{
????????"type":?"date",
????????"format":?"yyyy-MM-dd?HH:mm:ss||yyyy-MM-dd||epoch_millis"
??????},
??????"releaseDate":?{
????????"type":?"date",
????????"format":?"yyyy-MM-dd?HH:mm:ss||yyyy-MM-dd||epoch_millis"
??????},
??????"director":?{
????????"type":?"keyword"
??????},
??????"hotComment":?{
????????"type":?"text",
????????"analyzer":?"ik_max_word",
????????"search_analyzer":?"ik_smart",
????????"fields":?{
??????????"keyword":?{
????????????"type":?"keyword",
????????????"ignore_above":?256
??????????}
????????}
??????},
??????"intro":?{
????????"type":?"text",
????????"analyzer":?"ik_max_word",
????????"search_analyzer":?"ik_smart",
????????"fields":?{
??????????"keyword":?{
????????????"type":?"keyword",
????????????"ignore_above":?256
??????????}
????????}
??????},
??????"name":?{
????????"type":?"text",
????????"analyzer":?"ik_max_word",
????????"search_analyzer":?"ik_smart",
????????"fields":?{
??????????"keyword":?{
????????????"type":?"keyword",
????????????"ignore_above":?256
??????????}
????????}
??????},
??????"voteCount":?{
????????"type":?"long"
??????}
????}
??}
}
新建索引

把舊索引的數(shù)據(jù)reindex到新索引上

POST?_reindex
{
??"source":?{
????"index":?"movie_index"
??},
??"dest":?{
????"index":?"new_movie_index"
??}
}
reindex

刪除舊索引

DELETE?movie_index
刪除索引

查看索引是否存在

HEAD?movie_index
查看索引查看索引

使用ik分詞器
下面我們再次嘗試在新索引下進行檢索

GET?/new_movie_index/_search?pretty
{
??"query":?{
????"match":?{
??????"hotComment":?{
????????"query":?"情節(jié)",
????????"analyzer":"ik_smart"
??????}
????}
??}
}

此時是可以匹配記錄的。

match_phrase短語匹配

GET?/new_movie_index/_search?pretty
{
??"query":?{
????"match":?{
??????"hotComment":?{
????????"query":?"愛電影",
????????"analyzer":"ik_smart"
??????}
????}
??}
}
一條記錄

以上查詢匹配出了兩條結(jié)果，因為"愛電影"在使用"ik_smart"分詞后，分成了兩個詞“愛”和“電影”。
如果想要將"愛電影"作為一個短語進行更精確的匹配，可以采用如下方式。

GET?/new_movie_index/_search?pretty
{
??"query":?{
????"match_phrase":?{
??????"hotComment":?{
????????"query":?"愛電影",
????????"analyzer":"ik_smart"
??????}
????}
??}
}
一條記錄

fuzzy實現(xiàn)模糊查詢

GET?/new_movie_index/_search
{
??"query":?{
????"match":?{
??????"intro":?{
????????"query":?"1976",
????????"analyzer":?"ik_smart"
??????}
????}
??}
}
1976

用戶將1975輸錯了成1976，此時是無法匹配結(jié)果，fuzzy查詢可以容錯。通過指定 fuzziness 參數(shù)為 1,Elasticsearch 支持最大的編輯距離為2。

fuzziness用來度量把一個單詞轉(zhuǎn)換為另一個單詞需要的單字符編輯次數(shù) ((("Levenshtein distance"))). 他提出了3種單字符編輯:

• 替換?一個字符到另一個字符: _f_ox -> _b_ox
• 插入?一個新字符: sic -> sick
• 刪除?一個字符:: b_l_ack -> back

GET?/new_movie_index/_search
{
??"query":?{
????"match":?{
??????"intro":?{
????????"query":?"1976",
????????"analyzer":?"ik_smart",
????????"fuzziness":"1"
??????}
????}
??}
}
fuzzy查詢

Filter過濾查詢
filter是不計算相關性的，同時可以緩存。因此filter速度快于query。

下面查詢從所有結(jié)果中過來出"hotComment"字段含有"情書"的記錄

GET?/new_movie_index/_search
{
??"query":?{
????"bool":?{
??????"filter":?{
????????"term":{
??????????"hotComment":"情書"
????????}
??????}
????}
??}
}
filter

bool過濾查詢

bool查詢可以實現(xiàn)組合過濾查詢
格式：{"bool" : {"must":[],"should":[],"must_not":[] } }

• must： 必須滿足的條件 (相當于and)
• should： 可以滿足也可以不滿足的條件 (相當于or)
• must_not： 不需要滿足的條件 (相當于not)

下面查詢"hotComment"字段中含有"情書"或者"intro"字段含有"高考"，并且"hotComment"字段中一定不能有"死了"，"intro"字段一定要有"熱愛"的記錄

GET?/new_movie_index/_search
{
??"query":?{
????"bool":?{
??????"should":?[
????????{
??????????"term":?{
????????????"hotComment":?"情書"
??????????}
????????},
????????{
??????????"term":?{
????????????"intro":?"高考"
??????????}
????????}
??????],
??????"must_not":?[
????????{
??????????"term":?{
????????????"hotComment":?"死了"
??????????}
????????}
??????],
??????"must":?[
????????{
??????????"term":?{
????????????"intro":?"熱愛"
??????????}
????????}
??????]
????}
??}
}
一條匹配

范圍過濾

gt:>
lt:<
gte:>=
lte:<=

下面查詢"hotComment"字段中含有"情書"或者"intro"字段含有"高考"，并且"voteCount"值在[2180,3000]范圍的記錄

GET?/new_movie_index/_search
{
??"query":?{
????"bool":?{
??????"must":?[
????????{
??????????"bool":?{
????????????"should":?[
??????????????{
????????????????"term":?{
??????????????????"hotComment":?"情書"
????????????????}
??????????????},
??????????????{
????????????????"term":?{
??????????????????"intro":?"高考"
????????????????}
??????????????}
????????????]
??????????}
????????},
????????{
??????????"range":?{
????????????"voteCount":?{
??????????????"gte":?2180,
??????????????"lte":?3000
????????????}
??????????}
????????}
??????]
????}
??}
}
匹配一條記錄

下面查詢"intro"字段中含有"故事" 并且從結(jié)果中過濾出"voteCount"值在[2000,+∞]范圍的記錄

GET?/new_movie_index/_search
{
??"query":?{
????"bool":?{
??????"must":?[
????????{
??????????"match":?{
????????????"intro":?"故事"
??????????}
????????}
??????],
??????"filter":?{
????????"range":?{
??????????"voteCount":?{
????????????"gte":?2000
??????????}
????????}
??????}
????}
??}
}

時間范圍過濾

時間范圍除了可以使用11中的語法外，也可以使用以下方式

GET?/new_movie_index/_search
{
??"query":?{
????"bool":?{
??????"must":?[
????????{
??????????"match":?{
????????????"intro":?"故事"
??????????}
????????}
??????],
??????"filter":?{
????????"range":?{
??????????"commentTime":?{
????????????"from":?"2020-11-11",
????????????"to":"2020-11-30"
??????????}
????????}
??????}
????}
??}
}
range

5.可視化

除了以上操作外，kibana可以完成大量數(shù)據(jù)的統(tǒng)計分析。大家可以繼續(xù)探索。

例如我這里對微信公眾號的一些文章進行了簡單的圖形分析

數(shù)據(jù)分析

下篇：logstash定時同步mysql數(shù)據(jù)到es--待更新

原創(chuàng)碼字不易，如果覺得這篇文章對你有作用，不妨點個贊或收藏一下吧(　＾?＾)

總結(jié)

以上是生活随笔為你收集整理的一秒等于多少毫秒_使用kibana对电影一秒钟影评数据测试，详述配图演示如何使用收藏了...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。