(三)ElasticSearch的基本概念
0、面向文檔
應(yīng)用中的對(duì)象很少只是簡(jiǎn)單的鍵值列表,更多時(shí)候它擁有復(fù)雜的數(shù)據(jù)結(jié)構(gòu),比如包含日期、地理位置、另一個(gè)對(duì)象或者數(shù)組。
總有一天你會(huì)想到把這些對(duì)象存儲(chǔ)到數(shù)據(jù)庫(kù)中。將這些數(shù)據(jù)保存到由行和列組成的關(guān)系數(shù)據(jù)庫(kù)中,就好像是把一個(gè)豐富,信息表現(xiàn)力強(qiáng)的對(duì)象拆散了放入一個(gè)非常大的表格中:你不得不拆散對(duì)象以適應(yīng)表模式(通常一列表示一個(gè)字段),然后又不得不在查詢的時(shí)候重建它們。
Elasticsearch是面向文檔(document oriented)的,這意味著它可以存儲(chǔ)整個(gè)對(duì)象或文檔(document)。然而它不僅僅是存儲(chǔ),還會(huì)索引(index)每個(gè)文檔的內(nèi)容使之可以被搜索。在Elasticsearch中,你可以對(duì)文檔(而非成行成列的數(shù)據(jù))進(jìn)行索引、搜索、排序、過(guò)濾。這種理解數(shù)據(jù)的方式與以往完全不同,這也是Elasticsearch能夠執(zhí)行復(fù)雜的全文搜索的原因之一。
?1、JSON
ELasticsearch使用Javascript對(duì)象符號(hào)(JavaScript Object Notation),也就是JSON,作為文檔序列化格式。JSON現(xiàn)在已經(jīng)被大多語(yǔ)言所支持,而且已經(jīng)成為NoSQL領(lǐng)域的標(biāo)準(zhǔn)格式。它簡(jiǎn)潔、簡(jiǎn)單且容易閱讀。
以下使用JSON文檔來(lái)表示一個(gè)用戶對(duì)象:
{"email": "john@smith.com","first_name": "John","last_name": "Smith","info": {"bio": "Eco-warrior and defender of the weak","age": 25,"interests": [ "dolphins", "whales" ]},"join_date": "2014/05/01" }盡管原始的user對(duì)象很復(fù)雜,但它的結(jié)構(gòu)和對(duì)象的含義已經(jīng)被完整的體現(xiàn)在JSON中了,在Elasticsearch中將對(duì)象轉(zhuǎn)化為JSON并做索引要比在表結(jié)構(gòu)中做相同的事情簡(jiǎn)單的多。
2、索引(indexing)
我們首先要做的是存儲(chǔ)員工數(shù)據(jù),每個(gè)文檔代表一個(gè)員工。在Elasticsearch中存儲(chǔ)數(shù)據(jù)的行為就叫做索引(indexing),不過(guò)在索引之前,我們需要明確數(shù)據(jù)應(yīng)該存儲(chǔ)在哪里。
在Elasticsearch中,文檔歸屬于一種類型(type),而這些類型存在于索引(index)中,我們可以畫(huà)一些簡(jiǎn)單的對(duì)比圖來(lái)類比傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù):
Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch -> Indices -> Types -> Documents -> FieldsElasticsearch集群可以包含多個(gè)索引(indices)(數(shù)據(jù)庫(kù)),每一個(gè)索引可以包含多個(gè)類型(types)(表),每一個(gè)類型包含多個(gè)文檔(documents)(行),然后每個(gè)文檔包含多個(gè)字段(Fields)(列)。
你可能已經(jīng)注意到索引(index)這個(gè)詞在Elasticsearch中有著不同的含義,所以有必要在此做一下區(qū)分:
- 索引(名詞) 如上文所述,一個(gè)索引(index)就像是傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)庫(kù),它是相關(guān)文檔存儲(chǔ)的地方,index的復(fù)數(shù)是indices?或indexes。
- 索引(動(dòng)詞)?「索引一個(gè)文檔」表示把一個(gè)文檔存儲(chǔ)到索引(名詞)里,以便它可以被檢索或者查詢。這很像SQL中的INSERT關(guān)鍵字,差別是,如果文檔已經(jīng)存在,新的文檔將覆蓋舊的文檔。
- 倒排索引 傳統(tǒng)數(shù)據(jù)庫(kù)為特定列增加一個(gè)索引,例如B-Tree索引來(lái)加速檢索。Elasticsearch和Lucene使用一種叫做倒排索引(inverted index)的數(shù)據(jù)結(jié)構(gòu)來(lái)達(dá)到相同目的。
它不需要你做額外的管理操作,比如創(chuàng)建索引或者定義每個(gè)字段的數(shù)據(jù)類型。我們能夠直接索引文檔,Elasticsearch已經(jīng)內(nèi)置所有的缺省設(shè)置,所有管理操作都是透明的
3、搜索(search)
# 準(zhǔn)備megacorp公司三個(gè)員工的數(shù)據(jù) PUT /megacorp/employee/1 {"first_name" : "John","last_name" : "Smith","age" : 25,"about" : "I love to go rock climbing","interests": [ "sports", "music" ] }PUT /megacorp/employee/2 {"first_name" : "Jane","last_name" : "Smith","age" : 32,"about" : "I like to collect rock albums","interests": [ "music" ] }PUT /megacorp/employee/3 {"first_name" : "Douglas","last_name" : "Fir","age" : 35,"about": "I like to build cabinets","interests": [ "forestry" ] }# 查詢id:1的文檔 GET /megacorp/employee/1# 搜索全部文檔,默認(rèn)情況下搜索會(huì)返回前10個(gè)結(jié)果 GET /megacorp/employee/_search# 搜索姓氏中包含“Smith”的員工 #輕量級(jí)的搜索方法,這種方法常被稱作查詢字符串(query string)搜索 GET /megacorp/employee/_search?q=last_name:Smith# 查詢字符串搜索便于通過(guò)命令行完成特定(ad hoc)的搜索,但是它也有局限性。 # Elasticsearch提供豐富且靈活的查詢語(yǔ)言叫做DSL查詢(Query DSL),它允許你構(gòu)建更加復(fù)雜、強(qiáng)大的查詢。 # DSL(Domain Specific Language特定領(lǐng)域語(yǔ)言)以JSON請(qǐng)求體的形式出現(xiàn)。我們可以這樣表示之前關(guān)于“Smith”的查詢: GET /megacorp/employee/_search {"query" : {"match" : {"last_name" : "Smith"}} }# 想要找到姓氏為“Smith”的員工,但是我們只想得到年齡大于30歲的員工。 # 我們的語(yǔ)句將添加過(guò)濾器(filter) GET /megacorp/employee/_search {"query" : {"bool" : {"filter" : {"range" : {"age" : { "gt" : 30 }}},"must" : {"match" : {"last_name" : "smith"}}}} }# 全文搜索 # 搜索所有喜歡“rock climbing”的員工 # 傳統(tǒng)數(shù)據(jù)庫(kù)很難實(shí)現(xiàn)的功能 # 這個(gè)例子很好的解釋了Elasticsearch如何在各種文本字段中進(jìn)行全文搜索,并且返回相關(guān)性最大的結(jié)果集。 # 相關(guān)性(relevance)的概念在Elasticsearch中非常重要,而這個(gè)概念在傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中是不可想象的, # 因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫(kù)對(duì)記錄的查詢只有匹配或者不匹配。 GET /megacorp/employee/_search {"query" : {"match" : {"about" : "rock climbing"}} }? # 短語(yǔ)搜索:確切的匹配若干個(gè)單詞或者短語(yǔ)(phrases) # 查詢同時(shí)包含"rock"和"climbing"(并且是相鄰的)的員工記錄 GET /megacorp/employee/_search {"query" : {"match_phrase" : {"about" : "rock climbing"}} }4、聚合(aggregations)。
Elasticsearch有一個(gè)功能叫做聚合(aggregations),它允許你在數(shù)據(jù)上生成復(fù)雜的分析統(tǒng)計(jì)。它很像SQL中的GROUP BY但是功能更強(qiáng)大。
# 找到所有職員中最大的共同點(diǎn)(興趣愛(ài)好)是什么: GET /megacorp/employee/_search {"aggs": {"all_interests": {"terms": { "field": "interests" }}} } 對(duì)interests分桶Fielddata可以消耗大量的堆空間,特別是在加載高基數(shù)text字段時(shí)。一旦fielddata被加載到堆中,它將在該段的生命周期中保持在那里。此外,加載fielddata是一個(gè)昂貴的過(guò)程,可以導(dǎo)致用戶體驗(yàn)延遲命中。這就是為什么fielddata默認(rèn)是禁用的。如果您嘗試對(duì)text?字段上的腳本進(jìn)行排序,聚合或訪問(wèn)值,則會(huì)看到以下異常:
解決辦法
# 您可以text使用PUT映射API在現(xiàn)有字段 上啟用fielddata PUT megacorp/_mapping/employee { "properties": { "interests": {"type":"text","fielddata":true } } } # 我們想知道所有姓"Smith"的人最大的共同點(diǎn) GET /megacorp/employee/_search {"size": 0,"query": {"match": {"last_name": "smith"}},"aggs": {"all_interests": {"terms": {"field": "interests"}}} }# 聚合也允許分級(jí)匯總。例如,讓我們統(tǒng)計(jì)每種興趣下職員的平均年齡 # all_interests,avg_age是自定義的 GET /megacorp/employee/_search {"aggs" : {"all_interests" : {"terms" : { "field" : "interests" },"aggs" : {"avg_age" : {"avg" : { "field" : "age" }}}}} }分級(jí)查詢結(jié)果:
分級(jí)查詢結(jié)果5、參考資料
?
總結(jié)
以上是生活随笔為你收集整理的(三)ElasticSearch的基本概念的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 如何下载jdk源码进行阅读
- 下一篇: docker 覆盖 entrypoint