Elasticsearch集群节点配置详解
?注意:如果是在局域網(wǎng)中運(yùn)行elasticsearch集群也是很簡(jiǎn)單的,只要cluster.name設(shè)置一致,并且機(jī)器在同一網(wǎng)段下,啟動(dòng)的es會(huì)自動(dòng)發(fā)現(xiàn)對(duì)方,組成集群。
三、配置淺涉
elasticsearch的config文件夾里面有兩個(gè)配置文件:elasticsearch.yml和logging.yml,第一個(gè)是es的基本配置文件,第二個(gè)是日志配置文件,es也是使用log4j來記錄日志的,所以logging.yml里的設(shè)置按普通log4j配置文件來設(shè)置就行了。下面主要講解下elasticsearch.yml這個(gè)文件中可配置的東西。
?
cluster.name:elasticsearch
配置es的集群名稱,默認(rèn)是elasticsearch,es會(huì)自動(dòng)發(fā)現(xiàn)在同一網(wǎng)段下的es,如果在同一網(wǎng)段下有多個(gè)集群,就可以用這個(gè)屬性來區(qū)分不同的集群。
node.name:"FranzKafka"
節(jié)點(diǎn)名,默認(rèn)隨機(jī)指定一個(gè)name列表中名字,該列表在es的jar包中config文件夾里name.txt文件中,其中有很多作者添加的有趣名字。
node.master:true
指定該節(jié)點(diǎn)是否有資格被選舉成為node,默認(rèn)是true,es是默認(rèn)集群中的第一臺(tái)機(jī)器為master,如果這臺(tái)機(jī)掛了就會(huì)重新選舉master。
node.data:true
指定該節(jié)點(diǎn)是否存儲(chǔ)索引數(shù)據(jù),默認(rèn)為true。
index.number_of_shards:5
設(shè)置默認(rèn)索引分片個(gè)數(shù),默認(rèn)為5片。
index.number_of_replicas:1
設(shè)置默認(rèn)索引副本個(gè)數(shù),默認(rèn)為1個(gè)副本。
path.conf:/path/to/conf
設(shè)置配置文件的存儲(chǔ)路徑,默認(rèn)是es根目錄下的config文件夾。
path.data:/path/to/data
設(shè)置索引數(shù)據(jù)的存儲(chǔ)路徑,默認(rèn)是es根目錄下的data文件夾,可以設(shè)置多個(gè)存儲(chǔ)路徑,用逗號(hào)隔開,例:
path.data:/path/to/data1,/path/to/data2
path.work:/path/to/work
設(shè)置臨時(shí)文件的存儲(chǔ)路徑,默認(rèn)是es根目錄下的work文件夾。
path.logs:/path/to/logs
設(shè)置日志文件的存儲(chǔ)路徑,默認(rèn)是es根目錄下的logs文件夾
path.plugins:/path/to/plugins
設(shè)置插件的存放路徑,默認(rèn)是es根目錄下的plugins文件夾
bootstrap.mlockall:true
設(shè)置為true來鎖住內(nèi)存。因?yàn)楫?dāng)jvm開始swapping時(shí)es的效率會(huì)降低,所以要保證它不swap,可以把ES_MIN_MEM和ES_MAX_MEM兩個(gè)環(huán)境變量設(shè)置成同一個(gè)值,并且保證機(jī)器有足夠的內(nèi)存分配給es。同時(shí)也要允許elasticsearch的進(jìn)程可以鎖住內(nèi)存,Linux下可以通過`ulimit-l unlimited`命令。
network.bind_host:192.168.0.1
設(shè)置綁定的ip地址,可以是ipv4或ipv6的,默認(rèn)為0.0.0.0。
network.publish_host:192.168.0.1
設(shè)置其它節(jié)點(diǎn)和該節(jié)點(diǎn)交互的ip地址,如果不設(shè)置它會(huì)自動(dòng)判斷,值必須是個(gè)真實(shí)的ip地址。
network.host:192.168.0.1
這個(gè)參數(shù)是用來同時(shí)設(shè)置bind_host和publish_host上面兩個(gè)參數(shù)。
transport.tcp.port:9300
設(shè)置節(jié)點(diǎn)間交互的tcp端口,默認(rèn)是9300。
transport.tcp.compress:true
設(shè)置是否壓縮tcp傳輸時(shí)的數(shù)據(jù),默認(rèn)為false,不壓縮。
http.port:9200
設(shè)置對(duì)外服務(wù)的http端口,默認(rèn)為9200。
http.max_content_length:100mb
設(shè)置內(nèi)容的最大容量,默認(rèn)100mb
http.enabled:false
是否使用http協(xié)議對(duì)外提供服務(wù),默認(rèn)為true,開啟。
gateway.type:local
gateway的類型,默認(rèn)為local即為本地文件系統(tǒng),可以設(shè)置為本地文件系統(tǒng),分布式文件系統(tǒng),Hadoop的HDFS,和amazon的s3服務(wù)器,其它文件系統(tǒng)的設(shè)置方法下次再詳細(xì)說。
gateway.recover_after_nodes:1
設(shè)置集群中N個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)進(jìn)行數(shù)據(jù)恢復(fù),默認(rèn)為1。
gateway.recover_after_time:5m
設(shè)置初始化數(shù)據(jù)恢復(fù)進(jìn)程的超時(shí)時(shí)間,默認(rèn)是5分鐘。
gateway.expected_nodes:2
設(shè)置這個(gè)集群中節(jié)點(diǎn)的數(shù)量,默認(rèn)為2,一旦這N個(gè)節(jié)點(diǎn)啟動(dòng),就會(huì)立即進(jìn)行數(shù)據(jù)恢復(fù)。
cluster.routing.allocation.node_initial_primaries_recoveries:4
初始化數(shù)據(jù)恢復(fù)時(shí),并發(fā)恢復(fù)線程的個(gè)數(shù),默認(rèn)為4。
cluster.routing.allocation.node_concurrent_recoveries:2
添加刪除節(jié)點(diǎn)或負(fù)載均衡時(shí)并發(fā)恢復(fù)線程的個(gè)數(shù),默認(rèn)為4。
indices.recovery.max_size_per_sec:0
設(shè)置數(shù)據(jù)恢復(fù)時(shí)限制的帶寬,如入100mb,默認(rèn)為0,即無限制。
indices.recovery.concurrent_streams:5
設(shè)置這個(gè)參數(shù)來限制從其它分片恢復(fù)數(shù)據(jù)時(shí)最大同時(shí)打開并發(fā)流的個(gè)數(shù),默認(rèn)為5。
discovery.zen.minimum_master_nodes:1
設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)
discovery.zen.ping.timeout:3s
設(shè)置集群中自動(dòng)發(fā)現(xiàn)其它節(jié)點(diǎn)時(shí)ping連接超時(shí)時(shí)間,默認(rèn)為3秒,對(duì)于比較差的網(wǎng)絡(luò)環(huán)境可以高點(diǎn)的值來防止自動(dòng)發(fā)現(xiàn)時(shí)出錯(cuò)。
discovery.zen.ping.multicast.enabled:false
設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn),默認(rèn)是true。
discovery.zen.ping.unicast.hosts:["host1", "host2:port","host3[portX-portY]"]
設(shè)置集群中master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)新加入集群的節(jié)點(diǎn)
?
四、集群配置多個(gè)節(jié)點(diǎn)
1.概述
本例子的集群將部署4個(gè)節(jié)點(diǎn):
10.0.0.11 es1
10.0.0.209 es2
10.0.0.206 es3
10.0.0.208 es4
?
2.集群配置
上文提到過,只要集群名相同,且機(jī)器處于同一局域網(wǎng)同一網(wǎng)段,es會(huì)自動(dòng)去發(fā)現(xiàn)其他的節(jié)點(diǎn)。
?
2.1es2的配置
vimES_HOME/config/elasticsearch.yml
?
在文件尾部添加一下內(nèi)容:
cluster.name:elasticsearch #集群的名稱,同一個(gè)集群該值必須設(shè)置成相同的
node.name:"es2" #該節(jié)點(diǎn)的名字
node.master:true #該節(jié)點(diǎn)有機(jī)會(huì)成為master節(jié)點(diǎn)
node.data:true #該節(jié)點(diǎn)可以存儲(chǔ)數(shù)據(jù)
node.rack:rack2 #該節(jié)點(diǎn)所屬的機(jī)架
index.number_of_shards:5 #shard的數(shù)目
index.number_of_replicas:3 #數(shù)據(jù)副本的數(shù)目
network.bind_host:0.0.0.0 #設(shè)置綁定的IP地址,可以是IPV4或者IPV6
network.publish_host:10.0.0.209 #設(shè)置其他節(jié)點(diǎn)與該節(jié)點(diǎn)交互的IP地址
network.host:10.0.0.209 #該參數(shù)用于同時(shí)設(shè)置bind_host和publish_host
transport.tcp.port:9300 #設(shè)置節(jié)點(diǎn)之間交互的端口號(hào)
transport.tcp.compress:true #設(shè)置是否壓縮tcp上交互傳輸?shù)臄?shù)據(jù)
http.port:9200 #設(shè)置對(duì)外服務(wù)的http端口號(hào)
http.max_content_length:100mb #設(shè)置http內(nèi)容的最大大小
http.enabled:true #是否開啟http服務(wù)對(duì)外提供服務(wù)
discovery.zen.minimum_master_nodes:2 #設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)
discovery.zen.ping.timeout:120s #設(shè)置集群中自動(dòng)發(fā)現(xiàn)其他節(jié)點(diǎn)時(shí)ping連接的超時(shí)時(shí)間
discovery.zen.ping.multicast.enabled:true #設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)
discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設(shè)置集群中的Master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)其他新加入集群的節(jié)點(diǎn)
?
2.2es3的配置
相似地,在206的機(jī)子上
vimES_HOME/config/elasticsearch.yml
?
在文件尾部添加一下內(nèi)容:
cluster.name:elasticsearch #集群的名稱,同一個(gè)集群該值必須設(shè)置成相同的
node.name:"es3" #該節(jié)點(diǎn)的名字
node.master:true #該節(jié)點(diǎn)有機(jī)會(huì)成為master節(jié)點(diǎn)
node.data:true #該節(jié)點(diǎn)可以存儲(chǔ)數(shù)據(jù)
node.rack:rack3 #該節(jié)點(diǎn)所屬的機(jī)架
index.number_of_shards:5 #shard的數(shù)目
index.number_of_replicas:3 #數(shù)據(jù)副本的數(shù)目
network.bind_host:0.0.0.0 #設(shè)置綁定的IP地址,可以是IPV4或者IPV6
network.publish_host:10.0.0.206 #設(shè)置其他節(jié)點(diǎn)與該節(jié)點(diǎn)交互的IP地址
network.host:10.0.0.206 #該參數(shù)用于同時(shí)設(shè)置bind_host和publish_host
transport.tcp.port:9300 #設(shè)置節(jié)點(diǎn)之間交互的端口號(hào)
transport.tcp.compress:true #設(shè)置是否壓縮tcp上交互傳輸?shù)臄?shù)據(jù)
http.port:9200 #設(shè)置對(duì)外服務(wù)的http端口號(hào)
http.max_content_length:100mb #設(shè)置http內(nèi)容的最大大小
http.enabled:true #是否開啟http服務(wù)對(duì)外提供服務(wù)
discovery.zen.minimum_master_nodes:2 #設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)
discovery.zen.ping.timeout:120s #設(shè)置集群中自動(dòng)發(fā)現(xiàn)其他節(jié)點(diǎn)時(shí)ping連接的超時(shí)時(shí)間
discovery.zen.ping.multicast.enabled:true #設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)
discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設(shè)置集群中的Master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)其他新加入集群的節(jié)點(diǎn)
?
2.3 208的機(jī)子上的es配置就參考上面兩個(gè)節(jié)點(diǎn)的
?
2.4驗(yàn)證結(jié)果
啟動(dòng)節(jié)點(diǎn):
ES_HOME/bin/service/elasticsearchstart
?
成功啟動(dòng)各個(gè)節(jié)點(diǎn)后,瀏覽器打開http://10.0.0.209:9200/_plugin/head/,界面會(huì)列出各個(gè)節(jié)點(diǎn)的信息。
?
3.節(jié)點(diǎn)添加和刪除
3.1添加節(jié)點(diǎn)非常簡(jiǎn)單,幾乎與上面設(shè)置節(jié)點(diǎn)的步驟一致。
在10.0.0.11機(jī)子上,vimES_HOME/config/elasticsearch.yml
?
cluster.name:elasticsearch #集群的名稱,同一個(gè)集群該值必須設(shè)置成相同的
node.name:"es5" #該節(jié)點(diǎn)的名字
node.master:false?#該節(jié)點(diǎn)有機(jī)會(huì)成為master節(jié)點(diǎn)
node.data:true #該節(jié)點(diǎn)可以存儲(chǔ)數(shù)據(jù)
node.rack:rack5 #該節(jié)點(diǎn)所屬的機(jī)架
index.number_of_shards:5 #shard的數(shù)目
index.number_of_replicas:3 #數(shù)據(jù)副本的數(shù)目
network.bind_host:0.0.0.0 #設(shè)置綁定的IP地址,可以是IPV4或者IPV6
network.publish_host:10.0.0.11 #設(shè)置其他節(jié)點(diǎn)與該節(jié)點(diǎn)交互的IP地址
network.host:10.0.0.11 #該參數(shù)用于同時(shí)設(shè)置bind_host和publish_host
transport.tcp.port:9300 #設(shè)置節(jié)點(diǎn)之間交互的端口號(hào)
transport.tcp.compress:true #設(shè)置是否壓縮tcp上交互傳輸?shù)臄?shù)據(jù)
http.port:9200 #設(shè)置對(duì)外服務(wù)的http端口號(hào)
http.max_content_length:100mb #設(shè)置http內(nèi)容的最大大小
http.enabled:true #是否開啟http服務(wù)對(duì)外提供服務(wù)
discovery.zen.minimum_master_nodes:2 #設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1,對(duì)于大的集群來說,可以設(shè)置大一點(diǎn)的值(2-4)
discovery.zen.ping.timeout:120s #設(shè)置集群中自動(dòng)發(fā)現(xiàn)其他節(jié)點(diǎn)時(shí)ping連接的超時(shí)時(shí)間
discovery.zen.ping.multicast.enabled:true #設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)
discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設(shè)置集群中的Master節(jié)點(diǎn)的初始列表,可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)其他新加入集群的節(jié)點(diǎn)
?
寫好配置,啟動(dòng)此es節(jié)點(diǎn)。
查看集群的狀態(tài):
-
http://10.0.0.11:9200/_nodes
elasticsearch采用廣播的方式自動(dòng)發(fā)現(xiàn)節(jié)點(diǎn),需要等待一段時(shí)間才能發(fā)現(xiàn)新的節(jié)點(diǎn):
耐心等待...最后可以在此界面看到各個(gè)節(jié)點(diǎn)的信息。
?
3.2節(jié)點(diǎn)刪除
在想要?jiǎng)h除節(jié)點(diǎn)的機(jī)子上,運(yùn)行ES_HOME/bin/service/elasticsearchstop,等待一會(huì)后,查看集群狀態(tài),會(huì)發(fā)現(xiàn)該節(jié)點(diǎn)沒有了
?
總結(jié)
以上是生活随笔為你收集整理的Elasticsearch集群节点配置详解的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何在Appscale下发布自己的应用(
- 下一篇: 在页游中LUA的应用(1)