es查询所欲_Elasticsearch基本查询总结
Elasticsearch是一個分布式文檔存儲。Elasticsearch不會將信息存儲為列數(shù)據(jù)的行，而是存儲已序列化為JSON文檔的復雜數(shù)據(jù)結(jié)構。當集群中有多個Elasticsearch節(jié)點時，存儲的文檔將分布在集群中，并且可以從任何節(jié)點立即訪問。
存儲文檔時，將在1秒鐘內(nèi)幾乎實時地對其進行索引和完全搜索。Elasticsearch使用稱為倒排索引的數(shù)據(jù)結(jié)構，該結(jié)構支持非常快速的全文本搜索。反向索引列出了出現(xiàn)在任何文檔中的每個唯一單詞，并標識了每個單詞出現(xiàn)的所有文檔。
索引可以認為是文檔的優(yōu)化集合，每個文檔都是字段的集合，這些字段是包含數(shù)據(jù)的鍵值對。默認情況下，Elasticsearch對每個字段中的所有數(shù)據(jù)建立索引，并且每個索引字段都具有專用的優(yōu)化數(shù)據(jù)結(jié)構。例如，文本字段存儲在倒排索引中，數(shù)字字段和地理字段存儲在BKD樹中。使用按字段數(shù)據(jù)結(jié)構組合并返回搜索結(jié)果的能力使Elasticsearch如此之快。
Elasticsearch還具有無模式的能力，這意味著無需顯式指定如何處理文檔中可能出現(xiàn)的每個不同字段即可對文檔建立索引。啟用動態(tài)映射后，Elasticsearch自動檢測并向索引添加新字段。此默認行為使索引和瀏覽數(shù)據(jù)變得容易-只需開始建立索引文檔，Elasticsearch就會檢測布爾值，浮點數(shù)和整數(shù)值，日期和字符串并將其映射到適當?shù)腅lasticsearch數(shù)據(jù)類型。
1.ES與常用數(shù)據(jù)庫比較
2.?查詢操作
Elasticsearch中當我們設置Mapping(分詞器、字段類型)完畢后，就可以按照設定的方式導入數(shù)據(jù)。
有了數(shù)據(jù)后，我們就需要對數(shù)據(jù)進行檢索操作。根據(jù)實際開發(fā)需要，往往我們需要支持包含但不限于以下類型的檢索：
1)精確匹配，類似mysql中的 “=”操作；
2)模糊匹配，類似mysql中的”like %關鍵詞% “查詢操作；
3)前綴匹配；
4)通配符匹配；
5)正則表達式匹配；
6)跨索引匹配；
7)提升精讀匹配。
細數(shù)一下，我們的痛點在于：
1)ES究竟支持哪些檢索操作？
2)如何實現(xiàn)ES精確值檢索、指定索引檢索、全文檢索？
這些就是本文著重參考ES最新官方文檔，針對ES5.X版本探討的內(nèi)容。
0、檢索概覽
檢索子句的行為取決于查詢應用于過濾(filter)上下文還是查詢/分析(query)上下文。
過濾上下文——對應于結(jié)構化檢索
1)核心回答的問題是：“這個文檔是否符合這個查詢條款？”2)答案是簡單的是或否，不計算分數(shù)。3)過濾器上下文主要用于過濾結(jié)構化數(shù)據(jù)。類似于Mysql中判定某個字段是否存在：
例如：
a. 時間戳字段：是否屬于2015年或2016年？
b. 狀態(tài)字段：是否設置為“已發(fā)布”？
經(jīng)常使用的過濾器將被Elasticsearch**自動緩存，以加快性能**。
分析上下文——對應于全文檢索
1)核心回答了“本文檔與此查詢子句是否匹配？”的問題。
2)除了決定文檔是否匹配之外，查詢子句還會計算一個_score，表示文檔與其他文檔的匹配程度。
綜合應用場景如下：
GET /_search
{"query": { "bool": { "must": [
{"match": { "title": "Search"}},
{"match": { "content": "Elasticsearch"}}
],"filter": [
{"term": { "status": "published"}},
{"range": { "publish_date": { "gte": "2015-01-01"}}}
]
}
}
以上檢索，title中包含”Search”并且content中包含 “Elasticsearch”，status中精確匹配”published”，并且publish_date 大于“2015-01-01”的全部信息。
以下，以“腦圖”的形式直觀展示檢索分類。
其中，3-7根據(jù)我隨著我開發(fā)深入再做更新。
以下內(nèi)容的原文需要參考ES官方文檔(隨著版本變化，后續(xù)會有更新)
1、結(jié)構化檢索
針對字段類型： 日期、時間、數(shù)字類型，以及精確的文本匹配。
結(jié)構化檢索特點：
* 1)結(jié)構化查詢，我們得到的結(jié)果 總是 非是即否，要么存于集合之中，要么存在集合之外。
* 2)結(jié)構化查詢不關心文件的相關度或評分；它簡單的對文檔包括或排除處理。
1.1 精確值查找
1.1.1 單個精確值查找(term query)
term 查詢會查找我們指定的精確值。term 查詢是簡單的，它接受一個字段名以及我們希望查找的數(shù)值。
想要類似mysql中如下sql語句的查詢操作：
SELECT document FROM products WHERE price = 20;
DSL寫法：
GET /my_store/products/_search
{"query": {"term": {"price" : 20}
}
當進行精確值查找時， 我們會使用過濾器(filters)。過濾器很重要，因為它們執(zhí)行速度非常快，不會計算相關度(直接跳過了整個評分階段)而且很容易被緩存。如下： 使用 constant_score 查詢以非評分模式來執(zhí)行 term 查詢并以一作為統(tǒng)一評分。
GET /my_store/products/_search
{"query": {"constant_score": {"filter": {"term": {"price" : 20}
}
}
}
注意：5.xES中，對于字符串類型，要進行精確值匹配。需要講類型設置為text和keyword兩種類型。mapping設置如下:
POST testindex/testtype/_mapping
{"testtype":{"properties":{"title":{"type":"text","analyzer":"ik_max_word","search_analyzer":"ik_max_word","fields":{"keyword":{"type":"keyword"}
}
}
}
精確值java api jest使用方法：
searchSourceBuilder.query(QueryBuilders.termQuery(“text.keyword”, “來自新華社的報道”));
1.1.2 布爾過濾器
一個 bool 過濾器由三部分組成：
{"bool": {"must": [],"should": [],"must_not": [],"filter": []
}
}
must ——所有的語句都 必須(must) 匹配，與 AND 等價。
must_not ——所有的語句都 不能(must not) 匹配，與 NOT 等價。
should ——至少有一個語句要匹配，與 OR 等價。
filter——必須匹配，運行在非評分&過濾模式。
就這么簡單！ 當我們需要多個過濾器時，只須將它們置入 bool 過濾器的不同部分即可。
舉例：
GET /my_store/products/_search
{"query": {"filtered": {"filter": {"bool": {"should": [
{"term" : {"price" : 20}},
{"term" : {"productID" : "XHDK-A-1293-#fJ3"}}
],"must_not": {"term" : {"price" : 30}
}
}
}
}
}
1.1.3 多個值精確查找(terms query)
{"terms": {"price" : [20, 30]
}
}
如上，terms是包含的意思，包含20或者包含30。
如下實現(xiàn)嚴格意義的精確值檢索， tag_count代表必須匹配的次數(shù)為1。
GET /my_index/my_type/_search
{"query": {"constant_score": {"filter": {"bool": {"must": [
{"term" : { "tags" : "search"} },
{"term" : { "tag_count" : 1} }
]
}
}
}
}
}
1.2 范圍檢索(range query)
range 查詢可同時提供包含(inclusive)和不包含(exclusive)這兩種范圍表達式，可供組合的選項如下：
gt: >大于(greater than)
lt:
gte:>= 大于或等于(greater than orequal to)
lte:<= 小于或等于(less than or equal to)
類似Mysql中的范圍查詢：
SELECTdocumentFROMproductsWHERE price BETWEEN 20 AND 40
ES中對應的DSL如下：
GET /my_store/products/_search
{
"query" : {
"constant_score" : {
"filter" : {
"range" : {
"price" : {
"gte" :20,
"lt" :40}
}
}
}
}
}
1.3 存在與否檢索(exist query)
mysql中，有如下sql：
SELECT tags FROM posts WHERE tags IS NOT NULL;
ES中，exist查詢某個字段是否存在：
GET /my_index/posts/_search
{
"query" : {
"constant_score" : {
"filter" : {
"exists" : { "field" : "tags" }
}
}
}
}
若想要exist查詢能匹配null類型，需要設置mapping：
"user": {
"type": "keyword",
"null_value": "_null_"
}
missing查詢在5.x版本已經(jīng)不存在，改成如下的判定形式：
GET /_search
{
"query": {
"bool": {
"must_not": {
"exists": {
"field": "user"
}
}
}
}
}
1.4 前綴檢索( Prefix Query )
匹配包含 not analyzed 的前綴字符：
GET /_search
{ "query": {
"prefix" : { "user" : "ki" }
}
}
1.5 通配符檢索( wildcard query)
匹配具有匹配通配符表達式( (not analyzed )的字段的文檔。 支持的通配符：
1)*，它匹配任何字符序列(包括空字符序列)；
2)？，它匹配任何單個字符。
請注意，此查詢可能很慢，因為它需要遍歷多個術語。
為了防止非常慢的通配符查詢，通配符不能以任何一個通配符*或？開頭。
舉例：
GET /_search
{
"query": {
"wildcard" : { "user" : "ki*y" }
}
}
1.6 正則表達式檢索(regexp query)
正則表達式查詢允許您使用正則表達式術語查詢。
舉例如下：
GET /_search
{
"query": {
"regexp":{
"name.first": "s.*y"
}
}
}
注意： *的匹配會非常慢，你需要使用一個長的前綴，
通常類似.*?+通配符查詢的正則檢索性能會非常低。
1.7 模糊檢索(fuzzy query)
模糊查詢查找在模糊度中指定的最大編輯距離內(nèi)的所有可能的匹配項，然后檢查術語字典，以找出在索引中實際存在待檢索的關鍵詞。
舉例如下：
GET /_search
{
"query": {
"fuzzy" : { "user" : "ki" }
}
}
1.8 類型檢索(type query)
舉例：
GET /my_index/_search
{
"query": {
"type" : {
"value" : "xext"
}
}
}
已驗證，檢索索引my_index中，type為xext的全部信息。
1.9 Ids檢索(ids query)
返回指定id的全部信息。
GET /my_index/_search
{
"query": {
"ids" : {
"type" : "xext",
"values" : ["2", "4", "100"]}
}
}
2、全文檢索
高級全文查詢通常用于在全文本字段(如電子郵件正文)上運行全文查詢。他們了解如何對被查詢的字段進行分析，并在執(zhí)行前將每個字段的分析器(或search_analyzer)應用于查詢字符串。
2.1 匹配檢索(match query)
匹配查詢接受文本/數(shù)字/日期類型，分析它們，并構造查詢。
1)匹配查詢的類型為boolean。 這意味著分析所提供的文本，并且分析過程從提供的文本構造一個布爾查詢，
可以將運算符標志設置為或以控制布爾子句(默認為或)；
2)文本分析取決于mapping中設定的analyzer(中文分詞，我們默認選擇ik分詞器)；
3) fuzziness——模糊性允許基于被查詢的字段的類型進行模糊匹配；
4)”operator”: “and”——匹配與操作(默認或操作)；
5) “minimum_should_match”: “75%”——這讓我們可以指定必須匹配的詞項數(shù)用來表示一個文檔是否相關。
舉例：
GET /_search
{
"query": {
"match" : {
"message" : {
"query" : "thisisa test",
"operator" : "and"
}
}
}
}
2.2 匹配解析檢索 match_phrase query
match_phrase查詢分析文本，并從分析文本中創(chuàng)建短語查詢。
類似 match 查詢， match_phrase 查詢首先將查詢字符串解析成一個詞項列表，然后對這些詞項進行搜索，但只保留那些包含 全部 搜索詞項，且 位置 與搜索詞項相同的文檔。
舉例如下：對于 quick fox 的短語搜索可能不會匹配到任何文檔，因為沒有文檔包含的 quick 詞之后緊跟著 fox 。
GET /my_index/my_type/_search
{
"query": {
"match_phrase": {
"title": "quick brown fox"
}
}
}
2.3 匹配解析前綴檢索(match_phrase_prefix)
用戶已經(jīng)漸漸習慣在輸完查詢內(nèi)容之前，就能為他們展現(xiàn)搜索結(jié)果，這就是所謂的 即時搜索(instant search) 或 輸入即搜索(search-as-you-type) 。
不僅用戶能在更短的時間內(nèi)得到搜索結(jié)果，我們也能引導用戶搜索索引中真實存在的結(jié)果。
例如，如果用戶輸入 johnnie walker bl ，我們希望在它們完成輸入搜索條件前就能得到：
Johnnie Walker Black Label 和 Johnnie Walker Blue Label 。
match_phrase_prefix與match_phrase相同，除了它允許文本中最后一個術語的前綴匹配。
舉例：
GET /_search
{
“query”：{
“match_phrase_prefix”：{
“message”：“quick brown f”
}
}
}
2.4 多字段匹配檢索( multi_match query)
multi_match 查詢?yōu)槟茉诙鄠€字段上反復執(zhí)行相同查詢提供了一種便捷方式。
默認情況下，查詢的類型是 best_fields， 這表示它會為每個字段生成一個 match 查詢。
舉例1：”fields”: “*_title”
——任何與模糊模式正則匹配的字段都會被包括在搜索條件中， 例如可以左側(cè)的方式同時匹配 book_title 、 chapter_title 和 section_title (書名、章名、節(jié)名)這三個字段。
舉例2： “fields”: [ “*_title”, “chapter_title^2” ]
——可以使用 ^ 字符語法為單個字段提升權重，在字段名稱的末尾添加 ^boost ， 其中 boost 是一個浮點數(shù)。
舉例3：”fields”: [ “first_name”, “l(fā)ast_name” ],
“operator”: “and”
——兩個字段必須都包含。
GET /_search
{
"query": {
"multi_match" : {
"query": "thisisa test",
"fields":["subject", "message"]}
}
}
2.5 字符串檢索(query_string)
一個使用查詢解析器解析其內(nèi)容的查詢。
query_string查詢提供了以簡明的簡寫語法執(zhí)行多匹配查詢 multi_match queries ，布爾查詢 bool queries ，提升得分 boosting ，模糊匹配 fuzzy matching ，通配符 wildcards ，正則表達式 regexp 和范圍查詢 range queries 的方式。
支持參數(shù)達10幾種。
GET /_search
{
"query": {
"query_string" : {
"default_field" : "content",
"query" : "thisAND that ORthus"
}
}
}
2.6 簡化字符串檢索(simple_query_string)
一個使用SimpleQueryParser解析其上下文的查詢。 與常規(guī)query_string查詢不同，simple_query_string查詢永遠不會拋出異常，并丟棄查詢的無效部分。
舉例：
GET /_search
{
"query": {
"simple_query_string" : {
"fields" :["content"],
"query" : "foo bar-baz"
}
}
}
支持的操作如下：
1)+表示AND操作
2)| 表示OR操作
3)- 否定操作
4)*在術語結(jié)束時表示前綴查詢
5)(和)表示優(yōu)先
總結(jié)
以上是生活随笔為你收集整理的es查询所欲_Elasticsearch基本查询总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 485通讯线是几芯的_485总线,通讯线
- 下一篇： MacBook写代码真香！包邮送一台！