ElasticSearch 是一個分布式、高擴(kuò)展、高實時的搜索與數(shù)據(jù)分析引擎。它能很方便的使大量數(shù)據(jù)具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸縮性，能使數(shù)據(jù)在生產(chǎn)環(huán)境變得更有價值。ElasticSearch 的實現(xiàn)原理主要分為以下幾個步驟，首先用戶將數(shù)據(jù)提交到Elastic Search 數(shù)據(jù)庫中，再通過分詞控制器去將對應(yīng)的語句分詞，將其權(quán)重和分詞結(jié)果一并存入數(shù)據(jù)，當(dāng)用戶搜索數(shù)據(jù)時候，再根據(jù)權(quán)重將結(jié)果排名，打分，再將返回結(jié)果呈現(xiàn)給用戶。
Elasticsearch是與名為Logstash的數(shù)據(jù)收集和日志解析引擎以及名為Kibana的分析和可視化平臺一起開發(fā)的。這三個產(chǎn)品被設(shè)計成一個集成解決方案，稱為“Elastic Stack”（以前稱為“ELK stack”）。
Elasticsearch可以用于搜索各種文檔。它提供可擴(kuò)展的搜索，具有接近實時的搜索，并支持多租戶?！盓lasticsearch是分布式的，這意味著索引可以被分成分片，每個分片可以有0個或多個副本。每個節(jié)點(diǎn)托管一個或多個分片，并充當(dāng)協(xié)調(diào)器將操作委托給正確的分片。再平衡和路由是自動完成的?！跋嚓P(guān)數(shù)據(jù)通常存儲在同一個索引中，該索引由一個或多個主分片和零個或多個復(fù)制分片組成。一旦創(chuàng)建了索引，就不能更改主分片的數(shù)量。
Elasticsearch使用Lucene，并試圖通過JSON和Java API提供其所有特性。它支持facetting和percolating，如果新文檔與注冊查詢匹配，這對于通知非常有用。另一個特性稱為“網(wǎng)關(guān)”，處理索引的長期持久性；例如，在服務(wù)器崩潰的情況下，可以從網(wǎng)關(guān)恢復(fù)索引。Elasticsearch支持實時GET請求，適合作為NoSQL數(shù)據(jù)存儲，但缺少分布式事務(wù)。 [1]
歷史與發(fā)展
Shay Banon在2004年創(chuàng)造了Elasticsearch的前身，稱為Compass。在考慮Compass的第三個版本時，他意識到有必要重寫Compass的大部分內(nèi)容，以“創(chuàng)建一個可擴(kuò)展的搜索解決方案”。因此，他創(chuàng)建了“一個從頭構(gòu)建的分布式解決方案”，并使用了一個公共接口，即HTTP上的JSON，它也適用于Java以外的編程語言。Shay Banon在2010年2月發(fā)布了Elasticsearch的第一個版本。
Elasticsearch BV成立于2012年，主要圍繞Elasticsearch及相關(guān)軟件提供商業(yè)服務(wù)和產(chǎn)品。2014年6月，在成立公司18個月后，該公司宣布通過C輪融資籌集7000萬美元。這輪融資由新企業(yè)協(xié)會(NEA)牽頭。其他投資者包括Benchmark Capital和Index Ventures。這一輪融資總計1.04億美元
2015年3月，Elasticsearch公司更名為Elastic。
在2018年6月，Elastic提交了首次公開募股申請，估值在15億到30億美元之間。公司于2018年10月5日在紐約證券交易所掛牌上市。一些組織將Elasticsearch作為托管服務(wù)提供。這些托管服務(wù)提供托管、部署、備份和其他支持。大多數(shù)托管服務(wù)還包括對Kibana的支持。
Elasticsearch 自從誕生以來，其的應(yīng)用越來越廣泛，特別是大數(shù)據(jù)領(lǐng)域，功能也越來越強(qiáng)大，但是如何有效的監(jiān)控管理 Elasticsearch 一直是公司所面對的難題，由于 Elasticsearch 集群的穩(wěn)定性，決定了其業(yè)務(wù)發(fā)展的高度，對于一個應(yīng)用來說其穩(wěn)定是第一目標(biāo)，所以完善的監(jiān)控體系是必不可少的。此外，Elasticsearch 寫入和查詢對資源的消耗都很大，如何合理有效地控制資源，既能滿足寫入和查詢的需求，又能滿足資源充分利用，這是公司必須面對的問題。
在國內(nèi)，還沒較為完善的面向 Elasticsearch 的監(jiān)控管理平臺，很多企業(yè)往往只關(guān)注搭建一套簡單分布式的集群環(huán)境，而對這個集群的缺乏監(jiān)控和管理，元數(shù)據(jù)混亂，寫入和查詢耦合，缺乏監(jiān)控一旦集群出現(xiàn)問題，就會導(dǎo)致數(shù)據(jù)丟失，甚至很容易導(dǎo)致線上應(yīng)用故障。相比于小公司，中大型公司的資金較為充足，所以中大型公司，會選擇為每個應(yīng)用去維護(hù)一套集群，但是這每當(dāng)資源不夠需要擴(kuò)容或者縮容時，極其不方便，需要增加刪除節(jié)點(diǎn)，其運(yùn)維成本過高。而且對每個應(yīng)用來說，可能不能夠充分利用資源，但是如果和其他應(yīng)用混合部署，但是又涉及到復(fù)雜的資源分配問題，而且隨著應(yīng)用的發(fā)展，資源經(jīng)常需要變動。在國外，ELasticsearch 的應(yīng)用也很廣泛，也有對 Elasticsearch 進(jìn)行很好的監(jiān)控和管理，Amazon AWS
中也有基于 Elasticsearch 構(gòu)建的平臺服務(wù)，幫助電商應(yīng)用程序，網(wǎng)站等提供安全，高可靠，低成本，低延時，高吞吐的量的個性化搜索。雖然，對集群進(jìn)行了監(jiān)控和管理，但是管理的維度還是集群級別的，而對于應(yīng)用往往是模板級別的，如果應(yīng)用無法和集群一一對應(yīng)，那就無法進(jìn)行更高效的管理。這無法滿足公司級別想要高效利用資源，集群內(nèi)部能支持多個應(yīng)用的場景 [2] 。
有關(guān)概念
cluster：代表一個集群，集群中有多個節(jié)點(diǎn)，其中有一個為主節(jié)點(diǎn)，這個主節(jié)點(diǎn)是可以通過選舉產(chǎn)生的，主從節(jié)點(diǎn)是對于集群內(nèi)部來說的。es的一個概念就是去中心化，字面上理解就是無中心節(jié)點(diǎn)，這是對于集群外部來說的，因為從外部來看es集群，在邏輯上是個整體，你與任何一個節(jié)點(diǎn)的通信和與整個es集群通信是等價的。
shards：代表索引分片，es可以把一個完整的索引分成多個分片，這樣的好處是可以把一個大的索引拆分成多個，分布到不同的節(jié)點(diǎn)上。構(gòu)成分布式搜索。分片的數(shù)量只能在索引創(chuàng)建前指定，并且索引創(chuàng)建后不能更改。
replicas：代表索引副本，es可以設(shè)置多個索引的副本，副本的作用一是提高系統(tǒng)的容錯性，當(dāng)某個節(jié)點(diǎn)某個分片損壞或丟失時可以從副本中恢復(fù)。二是提高es的查詢效率，es會自動對搜索請求進(jìn)行負(fù)載均衡。
recovery：代表數(shù)據(jù)恢復(fù)或叫數(shù)據(jù)重新分布，es在有節(jié)點(diǎn)加入或退出時會根據(jù)機(jī)器的負(fù)載對索引分片進(jìn)行重新分配，掛掉的節(jié)點(diǎn)重新啟動時也會進(jìn)行數(shù)據(jù)恢復(fù)。
river：代表es的一個數(shù)據(jù)源，也是其它存儲方式（如：數(shù)據(jù)庫）同步數(shù)據(jù)到es的一個方法。它是以插件方式存在的一個es服務(wù)，通過讀取river中的數(shù)據(jù)并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。
gateway：代表es索引快照的存儲方式，es默認(rèn)是先把索引存放到內(nèi)存中，當(dāng)內(nèi)存滿了時再持久化到本地硬盤。gateway對索引快照進(jìn)行存儲，當(dāng)這個es集群關(guān)閉再重新啟動時就會從gateway中讀取索引備份數(shù)據(jù)。es支持多種類型的gateway，有本地文件系統(tǒng)（默認(rèn)），分布式文件系統(tǒng)，Hadoop的HDFS和amazon的s3云存儲服務(wù)。
discovery.zen：代表es的自動發(fā)現(xiàn)節(jié)點(diǎn)機(jī)制，es是一個基于p2p的系統(tǒng)，它先通過廣播尋找存在的節(jié)點(diǎn)，再通過多播協(xié)議來進(jìn)行節(jié)點(diǎn)之間的通信，同時也支持點(diǎn)對點(diǎn)的交互。
Transport：代表es內(nèi)部節(jié)點(diǎn)或集群與客戶端的交互方式，默認(rèn)內(nèi)部是使用tcp協(xié)議進(jìn)行交互，同時它支持http協(xié)議（json格式）、thrift、servlet、memcached、zeroMQ等的傳輸協(xié)議（通過插件方式集成）。

總結(jié)

以上是生活随笔為你收集整理的elasticsearch简介（大数据技术）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。