(三)ElasticSearch的基本概念
0、面向文檔
應用中的對象很少只是簡單的鍵值列表,更多時候它擁有復雜的數據結構,比如包含日期、地理位置、另一個對象或者數組。
總有一天你會想到把這些對象存儲到數據庫中。將這些數據保存到由行和列組成的關系數據庫中,就好像是把一個豐富,信息表現力強的對象拆散了放入一個非常大的表格中:你不得不拆散對象以適應表模式(通常一列表示一個字段),然后又不得不在查詢的時候重建它們。
Elasticsearch是面向文檔(document oriented)的,這意味著它可以存儲整個對象或文檔(document)。然而它不僅僅是存儲,還會索引(index)每個文檔的內容使之可以被搜索。在Elasticsearch中,你可以對文檔(而非成行成列的數據)進行索引、搜索、排序、過濾。這種理解數據的方式與以往完全不同,這也是Elasticsearch能夠執行復雜的全文搜索的原因之一。
?1、JSON
ELasticsearch使用Javascript對象符號(JavaScript Object Notation),也就是JSON,作為文檔序列化格式。JSON現在已經被大多語言所支持,而且已經成為NoSQL領域的標準格式。它簡潔、簡單且容易閱讀。
以下使用JSON文檔來表示一個用戶對象:
{"email": "john@smith.com","first_name": "John","last_name": "Smith","info": {"bio": "Eco-warrior and defender of the weak","age": 25,"interests": [ "dolphins", "whales" ]},"join_date": "2014/05/01" }盡管原始的user對象很復雜,但它的結構和對象的含義已經被完整的體現在JSON中了,在Elasticsearch中將對象轉化為JSON并做索引要比在表結構中做相同的事情簡單的多。
2、索引(indexing)
我們首先要做的是存儲員工數據,每個文檔代表一個員工。在Elasticsearch中存儲數據的行為就叫做索引(indexing),不過在索引之前,我們需要明確數據應該存儲在哪里。
在Elasticsearch中,文檔歸屬于一種類型(type),而這些類型存在于索引(index)中,我們可以畫一些簡單的對比圖來類比傳統關系型數據庫:
Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch -> Indices -> Types -> Documents -> FieldsElasticsearch集群可以包含多個索引(indices)(數據庫),每一個索引可以包含多個類型(types)(表),每一個類型包含多個文檔(documents)(行),然后每個文檔包含多個字段(Fields)(列)。
你可能已經注意到索引(index)這個詞在Elasticsearch中有著不同的含義,所以有必要在此做一下區分:
- 索引(名詞) 如上文所述,一個索引(index)就像是傳統關系數據庫中的數據庫,它是相關文檔存儲的地方,index的復數是indices?或indexes。
- 索引(動詞)?「索引一個文檔」表示把一個文檔存儲到索引(名詞)里,以便它可以被檢索或者查詢。這很像SQL中的INSERT關鍵字,差別是,如果文檔已經存在,新的文檔將覆蓋舊的文檔。
- 倒排索引 傳統數據庫為特定列增加一個索引,例如B-Tree索引來加速檢索。Elasticsearch和Lucene使用一種叫做倒排索引(inverted index)的數據結構來達到相同目的。
它不需要你做額外的管理操作,比如創建索引或者定義每個字段的數據類型。我們能夠直接索引文檔,Elasticsearch已經內置所有的缺省設置,所有管理操作都是透明的
3、搜索(search)
# 準備megacorp公司三個員工的數據 PUT /megacorp/employee/1 {"first_name" : "John","last_name" : "Smith","age" : 25,"about" : "I love to go rock climbing","interests": [ "sports", "music" ] }PUT /megacorp/employee/2 {"first_name" : "Jane","last_name" : "Smith","age" : 32,"about" : "I like to collect rock albums","interests": [ "music" ] }PUT /megacorp/employee/3 {"first_name" : "Douglas","last_name" : "Fir","age" : 35,"about": "I like to build cabinets","interests": [ "forestry" ] }# 查詢id:1的文檔 GET /megacorp/employee/1# 搜索全部文檔,默認情況下搜索會返回前10個結果 GET /megacorp/employee/_search# 搜索姓氏中包含“Smith”的員工 #輕量級的搜索方法,這種方法常被稱作查詢字符串(query string)搜索 GET /megacorp/employee/_search?q=last_name:Smith# 查詢字符串搜索便于通過命令行完成特定(ad hoc)的搜索,但是它也有局限性。 # Elasticsearch提供豐富且靈活的查詢語言叫做DSL查詢(Query DSL),它允許你構建更加復雜、強大的查詢。 # DSL(Domain Specific Language特定領域語言)以JSON請求體的形式出現。我們可以這樣表示之前關于“Smith”的查詢: GET /megacorp/employee/_search {"query" : {"match" : {"last_name" : "Smith"}} }# 想要找到姓氏為“Smith”的員工,但是我們只想得到年齡大于30歲的員工。 # 我們的語句將添加過濾器(filter) GET /megacorp/employee/_search {"query" : {"bool" : {"filter" : {"range" : {"age" : { "gt" : 30 }}},"must" : {"match" : {"last_name" : "smith"}}}} }# 全文搜索 # 搜索所有喜歡“rock climbing”的員工 # 傳統數據庫很難實現的功能 # 這個例子很好的解釋了Elasticsearch如何在各種文本字段中進行全文搜索,并且返回相關性最大的結果集。 # 相關性(relevance)的概念在Elasticsearch中非常重要,而這個概念在傳統關系型數據庫中是不可想象的, # 因為傳統數據庫對記錄的查詢只有匹配或者不匹配。 GET /megacorp/employee/_search {"query" : {"match" : {"about" : "rock climbing"}} }? # 短語搜索:確切的匹配若干個單詞或者短語(phrases) # 查詢同時包含"rock"和"climbing"(并且是相鄰的)的員工記錄 GET /megacorp/employee/_search {"query" : {"match_phrase" : {"about" : "rock climbing"}} }4、聚合(aggregations)。
Elasticsearch有一個功能叫做聚合(aggregations),它允許你在數據上生成復雜的分析統計。它很像SQL中的GROUP BY但是功能更強大。
# 找到所有職員中最大的共同點(興趣愛好)是什么: GET /megacorp/employee/_search {"aggs": {"all_interests": {"terms": { "field": "interests" }}} } 對interests分桶Fielddata可以消耗大量的堆空間,特別是在加載高基數text字段時。一旦fielddata被加載到堆中,它將在該段的生命周期中保持在那里。此外,加載fielddata是一個昂貴的過程,可以導致用戶體驗延遲命中。這就是為什么fielddata默認是禁用的。如果您嘗試對text?字段上的腳本進行排序,聚合或訪問值,則會看到以下異常:
解決辦法
# 您可以text使用PUT映射API在現有字段 上啟用fielddata PUT megacorp/_mapping/employee { "properties": { "interests": {"type":"text","fielddata":true } } } # 我們想知道所有姓"Smith"的人最大的共同點 GET /megacorp/employee/_search {"size": 0,"query": {"match": {"last_name": "smith"}},"aggs": {"all_interests": {"terms": {"field": "interests"}}} }# 聚合也允許分級匯總。例如,讓我們統計每種興趣下職員的平均年齡 # all_interests,avg_age是自定義的 GET /megacorp/employee/_search {"aggs" : {"all_interests" : {"terms" : { "field" : "interests" },"aggs" : {"avg_age" : {"avg" : { "field" : "age" }}}}} }分級查詢結果:
分級查詢結果5、參考資料
?
總結
以上是生活随笔為你收集整理的(三)ElasticSearch的基本概念的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何下载jdk源码进行阅读
- 下一篇: docker 覆盖 entrypoint