作者：無敵碼農(nóng)?

來源：無敵碼農(nóng)

今天的文章給大家介紹下Elasticsearch這一目前在“搜索”和“分析”領(lǐng)域使用十分廣泛的技術(shù)組件。并演示如何快速構(gòu)建一個(gè)Elasticsearch集群。

Elasticsearch概述

Elasticsearch是一款非常強(qiáng)大的開源“搜索”及“分析”引擎。除了搜索，結(jié)合Kibana、Logstash、Beats，以及Elastic Stack的技術(shù)生態(tài)，Elasticsearch還被廣泛運(yùn)用在大數(shù)據(jù)實(shí)時(shí)分析領(lǐng)域——包括日志分析（ELK）、指標(biāo)監(jiān)控、信息安全等領(lǐng)域。

Elasticsearch起源于開源搜索引擎類庫Lucene，Elasticsearch的創(chuàng)始人Shay Banon于2004年基于Lucene開發(fā)了“Compass”，并在2010年重寫“Compass”項(xiàng)目之后，將其正式命名為“Elasticsearch”。

目前在搜索引擎分類排名中Elasticsearch名列第一，除此之外，同類的產(chǎn)品還有Solor（Apache開源項(xiàng)目）和Splunk（商業(yè)項(xiàng)目），它們?nèi)咛峁┑墓δ芊浅Ｏ嗨啤５窃诔绦騿T開源社區(qū)中Elasticsearch的活躍度最高。

Elasticsearch的功能特性

Elasticsearchs是一種典型的分布式系統(tǒng)，支持水平擴(kuò)展。當(dāng)數(shù)據(jù)規(guī)模變大的時(shí)候，Elasticsearch的集群節(jié)點(diǎn)可以從單個(gè)擴(kuò)展到數(shù)百個(gè)。

Elasticsearch集群還支持設(shè)置不同的節(jié)點(diǎn)類型。例如針對(duì)日志類的應(yīng)用可以支持Hot&Warm架構(gòu)——冷熱架構(gòu)部署。Elasticsearch的分布式架構(gòu)如下圖所示：

除此之外，Elasticsearch還支持多種方式集成接入。例如，可以被多種語言方便的集成（Java、.Net、Python、PHP..）；靈活的RESTful API；最新版本甚至還支持JDBC&ODBC方式的接入。

Elastic Stack家族成員

Elasticsearch之所以如此流行，處理活躍的社區(qū)外，很重要的一點(diǎn)就在于其背后還有一個(gè)強(qiáng)大的商業(yè)公司——Elastic在支撐。Elastic Stack的生態(tài)圈，如下圖所示：

接下來分別介紹下Elastic Stack各技術(shù)組件的用途，具體如下：

Logstash

開源的服務(wù)器端數(shù)據(jù)處理管道，支持從不同來源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，并將數(shù)據(jù)發(fā)送到不同的存儲(chǔ)庫中。2013年被Elasticsearch收購。

Logstash支持實(shí)時(shí)解析和轉(zhuǎn)換數(shù)據(jù)，例如，從IP地址破譯出地理坐標(biāo)，以及將PII數(shù)據(jù)匿名化，完全排除敏感字段等。此外，Logstash還支持插件的擴(kuò)展方式，目前大約有200多個(gè)插件，可以解決日志、數(shù)據(jù)庫等多種場(chǎng)景的實(shí)際需求。

另外，Logstash的可靠性及安全性也很高。Logstash會(huì)通過持久化隊(duì)列來保證至少將運(yùn)行中的事件送達(dá)一次，以及支持?jǐn)?shù)據(jù)傳輸加密。

Kibana

基于Logstash的數(shù)據(jù)可視化分析工具。

Beats

輕量的數(shù)據(jù)采集器，Go語言開發(fā)，運(yùn)行速度非常快。場(chǎng)景的Beats插件有：Filebeat（日志文件插件）、Packetbeat、Heartbeat等。

X-Pack(商業(yè)化套件-已開源)

X-Pack開源之后，部分X-Pack功能支持免費(fèi)使用，例如6.8和7.1版本開始，Security功能可以免費(fèi)使用。

Elastic Stack應(yīng)用場(chǎng)景

Elastic Stack技術(shù)棧常見的應(yīng)用場(chǎng)景如下：

(1)下載Kibana安裝包，命令如下：

$?wget?https://artifacts.elastic.co/downloads/kibana/kibana-7.14.0-darwin-x86_64.tar.gz

下載最新的7.14.0版本的MacOS二進(jìn)制安裝包。之后解壓下載的安裝包，命令如下：

$?tar?zxvf?kibana-7.14.0-darwin-x86_64.tar.gz

(2)編輯conf/kibana.yaml文件，指定elasticsearch集群實(shí)例的地址編輯配置文件，指定Elasticsearch的集群地址，修改的內(nèi)容如下：

#?The?URLs?of?the?Elasticsearch?instances?to?use?for?all?your?queries. elasticsearch.hosts:?["http://localhost:9204","http://localhost:9201","http://localhost:9203"]

(3)啟動(dòng)Kibana,命令如下：

$?./bin/kibana

此時(shí)，打開瀏覽器進(jìn)入Kibana的首頁，如下圖所示：

如上圖所示，可以向Elasticsearch集群中添加Kibana提供的樣例數(shù)據(jù)。

(4)使用Kibana的“Dev Tools”工具Kibana的“Dev Tools”工具，能夠幫助我們很方便執(zhí)行一些elasticsearch的API。如下圖所示：

具體的查詢命令如下：

#執(zhí)行查詢集群節(jié)點(diǎn)狀態(tài)的API。 get?/_cat/nodes/?v

后記

Elasticsearch目前使用的非常廣泛，本文只是簡(jiǎn)單介紹了Elasticsearch的基本情況，并簡(jiǎn)單搭建了一個(gè)Elasticsearch的多實(shí)例集群。在后面的文章中，作者將不定期分享一些Elasticsearch的知識(shí)及實(shí)踐。可以保持關(guān)注哦！

往期推薦

被算法“監(jiān)控”的打工人，實(shí)屬不易

寫給小白的云計(jì)算入門科普

時(shí)序數(shù)據(jù)庫永遠(yuǎn)的難關(guān)

為了一個(gè)HTTP，瀏覽器操碎了心…

點(diǎn)分享

點(diǎn)收藏

點(diǎn)點(diǎn)贊

點(diǎn)在看

總結(jié)

以上是生活随笔為你收集整理的如何快速部署一个Elasticsearch集群？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。