文章目錄

• 什么是ES？
• ES的核心概念
• ES倒排索引

什么是ES？

ES是Elasticsearch的簡(jiǎn)稱，Elasticsearch是一個(gè)分布式可擴(kuò)展的實(shí)時(shí)搜索和分析引擎，一個(gè)建立在全文搜索引擎 Apache Lucene? 基礎(chǔ)上的搜索引擎。Lucene只是一個(gè)框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene，學(xué)習(xí)成本高，且Lucene確實(shí)非常復(fù)雜。

特點(diǎn)：

分布式實(shí)時(shí)文件存儲(chǔ)，并將每一個(gè)字段都編入索引，使其可以被搜索

實(shí)時(shí)分析的分布式搜索引擎

可以擴(kuò)展到上百臺(tái)服務(wù)器，處理PB級(jí)別的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)

ES的核心概念

索引（Index）
ES將數(shù)據(jù)存儲(chǔ)于一個(gè)或多個(gè)索引中。類比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫領(lǐng)域來說，索引相當(dāng)于SQL中的一個(gè)數(shù)據(jù)庫，或者一個(gè)數(shù)據(jù)存儲(chǔ)方案(schema)。索引由其名稱(必須為全小寫字符)進(jìn)行標(biāo)識(shí)。一個(gè)ES集群中可以按需創(chuàng)建任意數(shù)目的索引。

類型（Type）
類型是索引內(nèi)部的邏輯分區(qū)(category/partition)，一個(gè)索引內(nèi)部可定義一個(gè)或多個(gè)類型(type)。類比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫領(lǐng)域來說，類型相當(dāng)于“表”。

文檔（Document）
文檔是索引和搜索的原子單位，它是包含了一個(gè)或多個(gè)域（Field）的容器，每個(gè)域擁有一個(gè)名字及一個(gè)或多個(gè)值，有多個(gè)值的域通常稱為“多值域”，文檔基于JSON格式進(jìn)行表示。每個(gè)文檔可以存儲(chǔ)不同的域集，但同一類型下的文檔至應(yīng)該有某種程度上的相似之處。

集群（Cluster）
一個(gè)或者多個(gè)擁有相同cluster.name配置的節(jié)點(diǎn)組成， 它們共同承擔(dān)數(shù)據(jù)和負(fù)載的壓力。

節(jié)點(diǎn)（Node）
一個(gè)運(yùn)行中的 Elasticsearch 實(shí)例稱為一個(gè)節(jié)點(diǎn)。
ES集群中的節(jié)點(diǎn)有三種不同的類型：
主節(jié)點(diǎn)：負(fù)責(zé)管理集群范圍內(nèi)的所有變更，例如增加、刪除索引，或者增加、刪除節(jié)點(diǎn)等。 主節(jié)點(diǎn)并不需要涉及到文檔級(jí)別的變更和搜索等操作。可以通過屬性node.master進(jìn)行設(shè)置。
數(shù)據(jù)節(jié)點(diǎn)：存儲(chǔ)數(shù)據(jù)和其對(duì)應(yīng)的倒排索引。默認(rèn)每一個(gè)節(jié)點(diǎn)都是數(shù)據(jù)節(jié)點(diǎn)（包括主節(jié)點(diǎn)），可以通過node.data屬性進(jìn)行設(shè)置。
協(xié)調(diào)節(jié)點(diǎn)：如果node.master和node.data屬性均為false，則此節(jié)點(diǎn)稱為協(xié)調(diào)節(jié)點(diǎn)，用來響應(yīng)客戶請(qǐng)求，均衡每個(gè)節(jié)點(diǎn)的負(fù)載。

ES倒排索引

什么是倒排索引: 倒排索引也叫反向索引，通俗來講正向索引是通過key找value，反向索引則是通過value找key。

假設(shè)有3條文檔數(shù)據(jù):

那么Elasticsearch建立的索引如下:

Elasticsearch分別為每個(gè)field都建立了一個(gè)倒排索引，24，Kate, John Female這些叫term，而[1,2]就是Posting List倒排列表。Posting list就是一個(gè)int的數(shù)組，倒排列表記錄了出現(xiàn)過某個(gè)單詞的所有文檔的文檔列表及單詞在該文檔中出現(xiàn)的位置信息，每條記錄稱為一個(gè)倒排項(xiàng)(Posting)。根據(jù)倒排列表，即可獲知哪些文檔包含某個(gè)單詞。

思考：如果這里有上千萬的記錄呢？如何通過term來查找呢？這就需要了解一下Term Dictionary和Term Index的概念

Term Dictionary：
Elasticsearch為了能快速找到某個(gè)term，將所有的term排個(gè)序，二分法查找term，logN的查找效率，就像通過字典查找一樣，這就是Term Dictionary。現(xiàn)在再看起來，似乎和傳統(tǒng)數(shù)據(jù)庫通過B-Tree的方式類似，為什么說比B-Tree的查詢快呢？

Term Index：
B-Tree通過減少磁盤尋道次數(shù)來提高查詢性能，Elasticsearch也是采用同樣的思路，直接通過內(nèi)存查找term，不讀磁盤，但是如果term太多，term dictionary也會(huì)很大，放內(nèi)存不現(xiàn)實(shí)，于是有了Term Index，就像字典里的索引頁一樣，A開頭的有哪些term，分別在哪頁，可以理解term index是一顆樹

這棵樹不會(huì)包含所有的term，它包含的是term的一些前綴。通過term index可以快速地定位到term dictionary的某個(gè)offset，然后從這個(gè)位置再往后順序查找

所以term index不需要存下所有的term，而僅僅是他們的一些前綴與Term Dictionary的block之間的映射關(guān)系，再結(jié)合FST(Finite State Transducers)的壓縮技術(shù)，可以使term index緩存到內(nèi)存中。從term index查到對(duì)應(yīng)的term dictionary的block位置之后，再去磁盤上找term，大大減少了磁盤隨機(jī)讀的次數(shù)。

總結(jié)

以上是生活随笔為你收集整理的ES简介及倒排索引的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。