日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

Elasticsearch集群节点配置详解

發(fā)布時(shí)間:2023/12/13 编程问答 28 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Elasticsearch集群节点配置详解 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

?注意:如果是在局域網(wǎng)中運(yùn)行elasticsearch集群也是很簡(jiǎn)單的,只要cluster.name設(shè)置一致,并且機(jī)器在同一網(wǎng)段下,啟動(dòng)的es會(huì)自動(dòng)發(fā)現(xiàn)對(duì)方,組成集群。

三、配置淺涉

elasticsearch的config文件夾里面有兩個(gè)配置文件:elasticsearch.yml和logging.yml,第一個(gè)是es的基本配置文件,第二個(gè)是日志配置文件,es也是使用log4j來記錄日志的,所以logging.yml里的設(shè)置按普通log4j配置文件來設(shè)置就行了。下面主要講解下elasticsearch.yml這個(gè)文件中可配置的東西。

?

cluster.name:elasticsearch
配置es的集群名稱,默認(rèn)是elasticsearch,es會(huì)自動(dòng)發(fā)現(xiàn)在同一網(wǎng)段下的es,如果在同一網(wǎng)段下有多個(gè)集群,就可以用這個(gè)屬性來區(qū)分不同的集群。

node.name:"FranzKafka"
節(jié)點(diǎn)名,默認(rèn)隨機(jī)指定一個(gè)name列表中名字,該列表在es的jar包中config文件夾里name.txt文件中,其中有很多作者添加的有趣名字。

node.master:true
指定該節(jié)點(diǎn)是否有資格被選舉成為node,默認(rèn)是true,es是默認(rèn)集群中的第一臺(tái)機(jī)器為master,如果這臺(tái)機(jī)掛了就會(huì)重新選舉master。

node.data:true
指定該節(jié)點(diǎn)是否存儲(chǔ)索引數(shù)據(jù),默認(rèn)為true。

index.number_of_shards:5
設(shè)置默認(rèn)索引分片個(gè)數(shù),默認(rèn)為5片。

index.number_of_replicas:1
設(shè)置默認(rèn)索引副本個(gè)數(shù),默認(rèn)為1個(gè)副本。

path.conf:/path/to/conf
設(shè)置配置文件的存儲(chǔ)路徑,默認(rèn)是es根目錄下的config文件夾。

path.data:/path/to/data
設(shè)置索引數(shù)據(jù)的存儲(chǔ)路徑,默認(rèn)是es根目錄下的data文件夾,可以設(shè)置多個(gè)存儲(chǔ)路徑,用逗號(hào)隔開,例:
path.data:/path/to/data1,/path/to/data2

path.work:/path/to/work
設(shè)置臨時(shí)文件的存儲(chǔ)路徑,默認(rèn)是es根目錄下的work文件夾。

path.logs:/path/to/logs
設(shè)置日志文件的存儲(chǔ)路徑,默認(rèn)是es根目錄下的logs文件夾

path.plugins:/path/to/plugins
設(shè)置插件的存放路徑,默認(rèn)是es根目錄下的plugins文件夾

bootstrap.mlockall:true
設(shè)置為true來鎖住內(nèi)存。因?yàn)楫?dāng)jvm開始swapping時(shí)es的效率會(huì)降低,所以要保證它不swap,可以把ES_MIN_MEM和ES_MAX_MEM兩個(gè)環(huán)境變量設(shè)置成同一個(gè)值,并且保證機(jī)器有足夠的內(nèi)存分配給es。同時(shí)也要允許elasticsearch的進(jìn)程可以鎖住內(nèi)存,Linux下可以通過`ulimit-l unlimited`命令。

network.bind_host:192.168.0.1
設(shè)置綁定的ip地址,可以是ipv4或ipv6的,默認(rèn)為0.0.0.0。


network.publish_host:192.168.0.1
設(shè)置其它節(jié)點(diǎn)和該節(jié)點(diǎn)交互的ip地址,如果不設(shè)置它會(huì)自動(dòng)判斷,值必須是個(gè)真實(shí)的ip地址。

network.host:192.168.0.1
這個(gè)參數(shù)是用來同時(shí)設(shè)置bind_host和publish_host上面兩個(gè)參數(shù)。

transport.tcp.port:9300
設(shè)置節(jié)點(diǎn)間交互的tcp端口,默認(rèn)是9300。

transport.tcp.compress:true
設(shè)置是否壓縮tcp傳輸時(shí)的數(shù)據(jù),默認(rèn)為false,不壓縮。

http.port:9200
設(shè)置對(duì)外服務(wù)的http端口,默認(rèn)為9200。

http.max_content_length:100mb
設(shè)置內(nèi)容的最大容量,默認(rèn)100mb

http.enabled:false
是否使用http協(xié)議對(duì)外提供服務(wù),默認(rèn)為true,開啟。

gateway.type:local
gateway的類型,默認(rèn)為local即為本地文件系統(tǒng),可以設(shè)置為本地文件系統(tǒng),分布式文件系統(tǒng),Hadoop的HDFS,和amazon的s3服務(wù)器,其它文件系統(tǒng)的設(shè)置方法下次再詳細(xì)說。

gateway.recover_after_nodes:1
設(shè)置集群中N個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)進(jìn)行數(shù)據(jù)恢復(fù),默認(rèn)為1。

gateway.recover_after_time:5m
設(shè)置初始化數(shù)據(jù)恢復(fù)進(jìn)程的超時(shí)時(shí)間,默認(rèn)是5分鐘。

gateway.expected_nodes:2
設(shè)置這個(gè)集群中節(jié)點(diǎn)的數(shù)量,默認(rèn)為2,一旦這N個(gè)節(jié)點(diǎn)啟動(dòng),就會(huì)立即進(jìn)行數(shù)據(jù)恢復(fù)。

cluster.routing.allocation.node_initial_primaries_recoveries:4
初始化數(shù)據(jù)恢復(fù)時(shí),并發(fā)恢復(fù)線程的個(gè)數(shù),默認(rèn)為4。

cluster.routing.allocation.node_concurrent_recoveries:2
添加刪除節(jié)點(diǎn)或負(fù)載均衡時(shí)并發(fā)恢復(fù)線程的個(gè)數(shù),默認(rèn)為4。

indices.recovery.max_size_per_sec:0
設(shè)置數(shù)據(jù)恢復(fù)時(shí)限制的帶寬,如入100mb,默認(rèn)為0,即無限制。

indices.recovery.concurrent_streams:5
設(shè)置這個(gè)參數(shù)來限制從其它分片恢復(fù)數(shù)據(jù)時(shí)最大同時(shí)打開并發(fā)流的個(gè)數(shù),默認(rèn)為5。

discovery.zen.minimum_master_nodes:1
設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)

discovery.zen.ping.timeout:3s
設(shè)置集群中自動(dòng)發(fā)現(xiàn)其它節(jié)點(diǎn)時(shí)ping連接超時(shí)時(shí)間,默認(rèn)為3秒,對(duì)于比較差的網(wǎng)絡(luò)環(huán)境可以高點(diǎn)的值來防止自動(dòng)發(fā)現(xiàn)時(shí)出錯(cuò)。

discovery.zen.ping.multicast.enabled:false
設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn),默認(rèn)是true。

discovery.zen.ping.unicast.hosts:["host1", "host2:port","host3[portX-portY]"]
設(shè)置集群中master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)新加入集群的節(jié)點(diǎn)

?

四、集群配置多個(gè)節(jié)點(diǎn)

1.概述

本例子的集群將部署4個(gè)節(jié)點(diǎn):

10.0.0.11 es1

10.0.0.209 es2

10.0.0.206 es3

10.0.0.208 es4

?

2.集群配置

上文提到過,只要集群名相同,且機(jī)器處于同一局域網(wǎng)同一網(wǎng)段,es會(huì)自動(dòng)去發(fā)現(xiàn)其他的節(jié)點(diǎn)。

?

2.1es2的配置

vimES_HOME/config/elasticsearch.yml

?

在文件尾部添加一下內(nèi)容:

cluster.name:elasticsearch #集群的名稱,同一個(gè)集群該值必須設(shè)置成相同的

node.name:"es2" #該節(jié)點(diǎn)的名字

node.master:true #該節(jié)點(diǎn)有機(jī)會(huì)成為master節(jié)點(diǎn)

node.data:true #該節(jié)點(diǎn)可以存儲(chǔ)數(shù)據(jù)

node.rack:rack2 #該節(jié)點(diǎn)所屬的機(jī)架

index.number_of_shards:5 #shard的數(shù)目

index.number_of_replicas:3 #數(shù)據(jù)副本的數(shù)目

network.bind_host:0.0.0.0 #設(shè)置綁定的IP地址,可以是IPV4或者IPV6

network.publish_host:10.0.0.209 #設(shè)置其他節(jié)點(diǎn)與該節(jié)點(diǎn)交互的IP地址

network.host:10.0.0.209 #該參數(shù)用于同時(shí)設(shè)置bind_host和publish_host

transport.tcp.port:9300 #設(shè)置節(jié)點(diǎn)之間交互的端口號(hào)

transport.tcp.compress:true #設(shè)置是否壓縮tcp上交互傳輸?shù)臄?shù)據(jù)

http.port:9200 #設(shè)置對(duì)外服務(wù)的http端口號(hào)

http.max_content_length:100mb #設(shè)置http內(nèi)容的最大大小

http.enabled:true #是否開啟http服務(wù)對(duì)外提供服務(wù)

discovery.zen.minimum_master_nodes:2 #設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)

discovery.zen.ping.timeout:120s #設(shè)置集群中自動(dòng)發(fā)現(xiàn)其他節(jié)點(diǎn)時(shí)ping連接的超時(shí)時(shí)間

discovery.zen.ping.multicast.enabled:true #設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設(shè)置集群中的Master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)其他新加入集群的節(jié)點(diǎn)

?

2.2es3的配置

相似地,在206的機(jī)子上

vimES_HOME/config/elasticsearch.yml

?

在文件尾部添加一下內(nèi)容:

cluster.name:elasticsearch #集群的名稱,同一個(gè)集群該值必須設(shè)置成相同的

node.name:"es3" #該節(jié)點(diǎn)的名字

node.master:true #該節(jié)點(diǎn)有機(jī)會(huì)成為master節(jié)點(diǎn)

node.data:true #該節(jié)點(diǎn)可以存儲(chǔ)數(shù)據(jù)

node.rack:rack3 #該節(jié)點(diǎn)所屬的機(jī)架

index.number_of_shards:5 #shard的數(shù)目

index.number_of_replicas:3 #數(shù)據(jù)副本的數(shù)目

network.bind_host:0.0.0.0 #設(shè)置綁定的IP地址,可以是IPV4或者IPV6

network.publish_host:10.0.0.206 #設(shè)置其他節(jié)點(diǎn)與該節(jié)點(diǎn)交互的IP地址

network.host:10.0.0.206 #該參數(shù)用于同時(shí)設(shè)置bind_host和publish_host

transport.tcp.port:9300 #設(shè)置節(jié)點(diǎn)之間交互的端口號(hào)

transport.tcp.compress:true #設(shè)置是否壓縮tcp上交互傳輸?shù)臄?shù)據(jù)

http.port:9200 #設(shè)置對(duì)外服務(wù)的http端口號(hào)

http.max_content_length:100mb #設(shè)置http內(nèi)容的最大大小

http.enabled:true #是否開啟http服務(wù)對(duì)外提供服務(wù)

discovery.zen.minimum_master_nodes:2 #設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)

discovery.zen.ping.timeout:120s #設(shè)置集群中自動(dòng)發(fā)現(xiàn)其他節(jié)點(diǎn)時(shí)ping連接的超時(shí)時(shí)間

discovery.zen.ping.multicast.enabled:true #設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設(shè)置集群中的Master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)其他新加入集群的節(jié)點(diǎn)

?

2.3 208的機(jī)子上的es配置就參考上面兩個(gè)節(jié)點(diǎn)的

?

2.4驗(yàn)證結(jié)果

啟動(dòng)節(jié)點(diǎn):

ES_HOME/bin/service/elasticsearchstart

?

成功啟動(dòng)各個(gè)節(jié)點(diǎn)后,瀏覽器打開http://10.0.0.209:9200/_plugin/head/,界面會(huì)列出各個(gè)節(jié)點(diǎn)的信息。

?

3.節(jié)點(diǎn)添加和刪除

3.1添加節(jié)點(diǎn)非常簡(jiǎn)單,幾乎與上面設(shè)置節(jié)點(diǎn)的步驟一致。

在10.0.0.11機(jī)子上,vimES_HOME/config/elasticsearch.yml

?

cluster.name:elasticsearch #集群的名稱,同一個(gè)集群該值必須設(shè)置成相同的

node.name:"es5" #該節(jié)點(diǎn)的名字

node.master:false?#該節(jié)點(diǎn)有機(jī)會(huì)成為master節(jié)點(diǎn)

node.data:true #該節(jié)點(diǎn)可以存儲(chǔ)數(shù)據(jù)

node.rack:rack5 #該節(jié)點(diǎn)所屬的機(jī)架

index.number_of_shards:5 #shard的數(shù)目

index.number_of_replicas:3 #數(shù)據(jù)副本的數(shù)目

network.bind_host:0.0.0.0 #設(shè)置綁定的IP地址,可以是IPV4或者IPV6

network.publish_host:10.0.0.11 #設(shè)置其他節(jié)點(diǎn)與該節(jié)點(diǎn)交互的IP地址

network.host:10.0.0.11 #該參數(shù)用于同時(shí)設(shè)置bind_host和publish_host

transport.tcp.port:9300 #設(shè)置節(jié)點(diǎn)之間交互的端口號(hào)

transport.tcp.compress:true #設(shè)置是否壓縮tcp上交互傳輸?shù)臄?shù)據(jù)

http.port:9200 #設(shè)置對(duì)外服務(wù)的http端口號(hào)

http.max_content_length:100mb #設(shè)置http內(nèi)容的最大大小

http.enabled:true #是否開啟http服務(wù)對(duì)外提供服務(wù)

discovery.zen.minimum_master_nodes:2 #設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)

discovery.zen.ping.timeout:120s #設(shè)置集群中自動(dòng)發(fā)現(xiàn)其他節(jié)點(diǎn)時(shí)ping連接的超時(shí)時(shí)間

discovery.zen.ping.multicast.enabled:true #設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設(shè)置集群中的Master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)其他新加入集群的節(jié)點(diǎn)

?

寫好配置,啟動(dòng)此es節(jié)點(diǎn)。

查看集群的狀態(tài):

  • http://10.0.0.11:9200/_nodes

elasticsearch采用廣播的方式自動(dòng)發(fā)現(xiàn)節(jié)點(diǎn),需要等待一段時(shí)間才能發(fā)現(xiàn)新的節(jié)點(diǎn):

耐心等待...最后可以在此界面看到各個(gè)節(jié)點(diǎn)的信息。

?

3.2節(jié)點(diǎn)刪除

在想要?jiǎng)h除節(jié)點(diǎn)的機(jī)子上,運(yùn)行ES_HOME/bin/service/elasticsearchstop,等待一會(huì)后,查看集群狀態(tài),會(huì)發(fā)現(xiàn)該節(jié)點(diǎn)沒有了

?

總結(jié)

以上是生活随笔為你收集整理的Elasticsearch集群节点配置详解的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。