文章目錄

• 什么是ES？
• ES的核心概念
• ES倒排索引

什么是ES？

ES是Elasticsearch的簡稱，Elasticsearch是一個分布式可擴展的實時搜索和分析引擎，一個建立在全文搜索引擎 Apache Lucene? 基礎(chǔ)上的搜索引擎。Lucene只是一個框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene，學(xué)習(xí)成本高，且Lucene確實非常復(fù)雜。

特點：

分布式實時文件存儲，并將每一個字段都編入索引，使其可以被搜索

實時分析的分布式搜索引擎

可以擴展到上百臺服務(wù)器，處理PB級別的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)

ES的核心概念

索引（Index）
ES將數(shù)據(jù)存儲于一個或多個索引中。類比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫領(lǐng)域來說，索引相當于SQL中的一個數(shù)據(jù)庫，或者一個數(shù)據(jù)存儲方案(schema)。索引由其名稱(必須為全小寫字符)進行標識。一個ES集群中可以按需創(chuàng)建任意數(shù)目的索引。

類型（Type）
類型是索引內(nèi)部的邏輯分區(qū)(category/partition)，一個索引內(nèi)部可定義一個或多個類型(type)。類比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫領(lǐng)域來說，類型相當于“表”。

文檔（Document）
文檔是索引和搜索的原子單位，它是包含了一個或多個域（Field）的容器，每個域擁有一個名字及一個或多個值，有多個值的域通常稱為“多值域”，文檔基于JSON格式進行表示。每個文檔可以存儲不同的域集，但同一類型下的文檔至應(yīng)該有某種程度上的相似之處。

集群（Cluster）
一個或者多個擁有相同cluster.name配置的節(jié)點組成， 它們共同承擔(dān)數(shù)據(jù)和負載的壓力。

節(jié)點（Node）
一個運行中的 Elasticsearch 實例稱為一個節(jié)點。
ES集群中的節(jié)點有三種不同的類型：
主節(jié)點：負責(zé)管理集群范圍內(nèi)的所有變更，例如增加、刪除索引，或者增加、刪除節(jié)點等。 主節(jié)點并不需要涉及到文檔級別的變更和搜索等操作。可以通過屬性node.master進行設(shè)置。
數(shù)據(jù)節(jié)點：存儲數(shù)據(jù)和其對應(yīng)的倒排索引。默認每一個節(jié)點都是數(shù)據(jù)節(jié)點（包括主節(jié)點），可以通過node.data屬性進行設(shè)置。
協(xié)調(diào)節(jié)點：如果node.master和node.data屬性均為false，則此節(jié)點稱為協(xié)調(diào)節(jié)點，用來響應(yīng)客戶請求，均衡每個節(jié)點的負載。

ES倒排索引

什么是倒排索引: 倒排索引也叫反向索引，通俗來講正向索引是通過key找value，反向索引則是通過value找key。

假設(shè)有3條文檔數(shù)據(jù):

那么Elasticsearch建立的索引如下:

Elasticsearch分別為每個field都建立了一個倒排索引，24，Kate, John Female這些叫term，而[1,2]就是Posting List倒排列表。Posting list就是一個int的數(shù)組，倒排列表記錄了出現(xiàn)過某個單詞的所有文檔的文檔列表及單詞在該文檔中出現(xiàn)的位置信息，每條記錄稱為一個倒排項(Posting)。根據(jù)倒排列表，即可獲知哪些文檔包含某個單詞。

思考：如果這里有上千萬的記錄呢？如何通過term來查找呢？這就需要了解一下Term Dictionary和Term Index的概念

Term Dictionary：
Elasticsearch為了能快速找到某個term，將所有的term排個序，二分法查找term，logN的查找效率，就像通過字典查找一樣，這就是Term Dictionary。現(xiàn)在再看起來，似乎和傳統(tǒng)數(shù)據(jù)庫通過B-Tree的方式類似，為什么說比B-Tree的查詢快呢？

Term Index：
B-Tree通過減少磁盤尋道次數(shù)來提高查詢性能，Elasticsearch也是采用同樣的思路，直接通過內(nèi)存查找term，不讀磁盤，但是如果term太多，term dictionary也會很大，放內(nèi)存不現(xiàn)實，于是有了Term Index，就像字典里的索引頁一樣，A開頭的有哪些term，分別在哪頁，可以理解term index是一顆樹

這棵樹不會包含所有的term，它包含的是term的一些前綴。通過term index可以快速地定位到term dictionary的某個offset，然后從這個位置再往后順序查找

所以term index不需要存下所有的term，而僅僅是他們的一些前綴與Term Dictionary的block之間的映射關(guān)系，再結(jié)合FST(Finite State Transducers)的壓縮技術(shù)，可以使term index緩存到內(nèi)存中。從term index查到對應(yīng)的term dictionary的block位置之后，再去磁盤上找term，大大減少了磁盤隨機讀的次數(shù)。

總結(jié)

以上是生活随笔為你收集整理的ES简介及倒排索引的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。