基本配置
elasticsearch的config文件夾里面有兩個(gè)配置文件：elasticsearch.yml 、logging.yml、jvm.options

第一個(gè)是es的基本配置文件，第二個(gè)是日志配置文件，es也是使用log4j來(lái)記錄日志的，所以logging.yml里的設(shè)置按普通log4j配置文件來(lái)設(shè)置就行了。

jvm.options 配置

設(shè)置 es 啟動(dòng)內(nèi)存、這個(gè)根據(jù)系統(tǒng)配置需要來(lái)配置。

# cat jvm.options |grep -v ^$ |grep -v ^#
-Xms30g -Xmx30g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -Djdk.io.permissionsUseCanonicalPath=true -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Dlog4j.skipJansi=true -XX:+HeapDumpOnOutOfMemoryError

elasticsearch.yml 配置：

# elasticsearch.yml

cluster.name: elasticsearch//配置es的集群名稱，默認(rèn)是elasticsearch，es會(huì)自動(dòng)發(fā)現(xiàn)在同一網(wǎng)段下的es，如果在同一網(wǎng)段下有多個(gè)集群，就可以用這個(gè)屬性來(lái)區(qū)分不同的集群。 node.name: "node name "//節(jié)點(diǎn)名，默認(rèn)隨機(jī)指定一個(gè)name列表中名字，該列表在es的jar包中config文件夾里name.txt文件中，其中有很多作者添加的有趣名字。 node.master: true//指定該節(jié)點(diǎn)是否有資格被選舉成為node，默認(rèn)是true，es是默認(rèn)集群中的第一臺(tái)機(jī)器為master，如果這臺(tái)機(jī)掛了就會(huì)重新選舉master。 node.data: true//指定該節(jié)點(diǎn)是否存儲(chǔ)索引數(shù)據(jù)，默認(rèn)為true。 index.number_of_shards: 5//設(shè)置默認(rèn)索引分片個(gè)數(shù)，默認(rèn)為5片。 index.number_of_replicas: 1//設(shè)置默認(rèn)索引副本個(gè)數(shù)，默認(rèn)為1個(gè)副本。 path.conf: /path/to/conf//設(shè)置配置文件的存儲(chǔ)路徑，默認(rèn)是es根目錄下的config文件夾。 path.data: /path/to/data//設(shè)置索引數(shù)據(jù)的存儲(chǔ)路徑，默認(rèn)是es根目錄下的data文件夾，可以設(shè)置多個(gè)存儲(chǔ)路徑，用逗號(hào)隔開，例： path.data: /path/to/data1,/path/to/data2 path.work: /path/to/work//設(shè)置臨時(shí)文件的存儲(chǔ)路徑，默認(rèn)是es根目錄下的work文件夾。 path.logs: /path/to/logs//設(shè)置日志文件的存儲(chǔ)路徑，默認(rèn)是es根目錄下的logs文件夾 path.plugins: /path/to/plugins//設(shè)置插件的存放路徑，默認(rèn)是es根目錄下的plugins文件夾 bootstrap.mlockall: true//設(shè)置為true來(lái)鎖住內(nèi)存。因?yàn)楫?dāng)jvm開始swapping時(shí)es的效率會(huì)降低，所以要保證它不swap，可以把ES_MIN_MEM和 ES_MAX_MEM兩個(gè)環(huán)境變量設(shè)置成同一個(gè)值，并且保證機(jī)器有足夠的內(nèi)存分配給es。同時(shí)也要允許elasticsearch的進(jìn)程可以鎖住內(nèi)存，linux下可以通過(guò)`ulimit -l unlimited`命令。 network.bind_host: 192.168.0.1//設(shè)置綁定的ip地址，可以是ipv4或ipv6的，默認(rèn)為0.0.0.0。 network.publish_host: 192.168.0.1//設(shè)置其它節(jié)點(diǎn)和該節(jié)點(diǎn)交互的ip地址，如果不設(shè)置它會(huì)自動(dòng)判斷，值必須是個(gè)真實(shí)的ip地址。 network.host: 192.168.0.1//這個(gè)參數(shù)是用來(lái)同時(shí)設(shè)置bind_host和publish_host上面兩個(gè)參數(shù)。 transport.tcp.port: 9300//設(shè)置節(jié)點(diǎn)間交互的tcp端口，默認(rèn)是9300。 transport.tcp.compress: true//設(shè)置是否壓縮tcp傳輸時(shí)的數(shù)據(jù)，默認(rèn)為false，不壓縮。 http.port: 9200//設(shè)置對(duì)外服務(wù)的http端口，默認(rèn)為9200。 http.max_content_length: 100mb//設(shè)置內(nèi)容的最大容量，默認(rèn)100mb http.enabled: false//是否使用http協(xié)議對(duì)外提供服務(wù)，默認(rèn)為true，開啟。 gateway.type: local//gateway的類型，默認(rèn)為local即為本地文件系統(tǒng)，可以設(shè)置為本地文件系統(tǒng)，分布式文件系統(tǒng)，Hadoop的HDFS，和amazon的s3服務(wù)器。 gateway.recover_after_nodes: 1//設(shè)置集群中N個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)進(jìn)行數(shù)據(jù)恢復(fù)，默認(rèn)為1。 gateway.recover_after_time: 5m//設(shè)置初始化數(shù)據(jù)恢復(fù)進(jìn)程的超時(shí)時(shí)間，默認(rèn)是5分鐘。 gateway.expected_nodes: 2//設(shè)置這個(gè)集群中節(jié)點(diǎn)的數(shù)量，默認(rèn)為2，一旦這N個(gè)節(jié)點(diǎn)啟動(dòng)，就會(huì)立即進(jìn)行數(shù)據(jù)恢復(fù)。 cluster.routing.allocation.node_initial_primaries_recoveries: 4//初始化數(shù)據(jù)恢復(fù)時(shí)，并發(fā)恢復(fù)線程的個(gè)數(shù)，默認(rèn)為4。 cluster.routing.allocation.node_concurrent_recoveries: 2//添加刪除節(jié)點(diǎn)或負(fù)載均衡時(shí)并發(fā)恢復(fù)線程的個(gè)數(shù)，默認(rèn)為4。 indices.recovery.max_size_per_sec: 0//設(shè)置數(shù)據(jù)恢復(fù)時(shí)限制的帶寬，如入100mb，默認(rèn)為0，即無(wú)限制。 indices.recovery.concurrent_streams: 5//設(shè)置這個(gè)參數(shù)來(lái)限制從其它分片恢復(fù)數(shù)據(jù)時(shí)最大同時(shí)打開并發(fā)流的個(gè)數(shù)，默認(rèn)為5。 discovery.zen.minimum_master_nodes: 1//設(shè)置這個(gè)參數(shù)來(lái)保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1，對(duì)于大的集群來(lái)說(shuō)，可以設(shè)置大一點(diǎn)的值（2-4） discovery.zen.ping.timeout: 3s//設(shè)置集群中自動(dòng)發(fā)現(xiàn)其它節(jié)點(diǎn)時(shí)ping連接超時(shí)時(shí)間，默認(rèn)為3秒，對(duì)于比較差的網(wǎng)絡(luò)環(huán)境可以高點(diǎn)的值來(lái)防止自動(dòng)發(fā)現(xiàn)時(shí)出錯(cuò)。 discovery.zen.ping.multicast.enabled: false//設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)，默認(rèn)是true。 discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]//設(shè)置集群中master節(jié)點(diǎn)的初始列表，可以通過(guò)這些節(jié)點(diǎn)來(lái)自動(dòng)發(fā)現(xiàn)新加入集群的節(jié)點(diǎn)。 一些查詢時(shí)的慢日志參數(shù)設(shè)置： index.search.slowlog.level: TRACE index.search.slowlog.threshold.query.warn: 10s index.search.slowlog.threshold.query.info: 5s index.search.slowlog.threshold.query.debug: 2s index.search.slowlog.threshold.query.trace: 500ms index.search.slowlog.threshold.fetch.warn: 1s index.search.slowlog.threshold.fetch.info: 800ms index.search.slowlog.threshold.fetch.debug:500ms index.search.slowlog.threshold.fetch.trace: 200ms

1.2. 高級(jí)配置（線程池）

一個(gè)Elasticsearch節(jié)點(diǎn)會(huì)有多個(gè)線程池，但重要的是下面四個(gè)： 索引（index）：主要是索引數(shù)據(jù)和刪除數(shù)據(jù)操作（默認(rèn)是cached類型） 搜索（search）：主要是獲取，統(tǒng)計(jì)和搜索操作（默認(rèn)是cached類型） 批量操作（bulk）：主要是對(duì)索引的批量操作（默認(rèn)是cached類型） 更新（refresh）：主要是更新操作（默認(rèn)是cached類型） 可以通過(guò)給設(shè)置一個(gè)參數(shù)來(lái)改變線程池的類型（type），例如，把索引的線程池改成blocking類型： min: 1 size: 30 wait_time: 30s

　　

下面是三種可以設(shè)置的線程池的類型： cache cache 線程池是一個(gè)無(wú)限大小的線程池，如果有很多請(qǐng)求的話都會(huì)創(chuàng)建很多線程，下面是個(gè)例子： threadpool: index: type: cached

?

fixed fixed線程池保持固定個(gè)數(shù)的線程來(lái)處理請(qǐng)求隊(duì)列。 size參數(shù)設(shè)置線程的個(gè)數(shù)，默認(rèn)設(shè)置是cpu核心數(shù)的5倍 queue_size可以控制待處理請(qǐng)求隊(duì)列的大小。默認(rèn)是設(shè)置為-1，意味著無(wú)限制。當(dāng)一個(gè)請(qǐng)求到來(lái)但隊(duì)列滿了的時(shí)候，reject_policy參數(shù)可以控制它的行為。默認(rèn)是abort，會(huì)使那個(gè)請(qǐng)求失敗。設(shè)置成caller會(huì)使該請(qǐng)求在io線程中執(zhí)行。 threadpool: index: type: fixed size: 30 queue: 1000 reject_policy: caller

?

blocking blocking線程池允許設(shè)置一個(gè)最小值（min，默認(rèn)為1）和線程池大小（size，默認(rèn)為cpu核心數(shù)的5倍）。它也有一個(gè)等待隊(duì)列，隊(duì)列的大小（queue_size ）默認(rèn)是1000，當(dāng)這隊(duì)列滿了的時(shí)候。它會(huì)根據(jù)定好的等待時(shí)間（wait_time，默認(rèn)是60秒）來(lái)調(diào)用io線程，如果超時(shí)沒(méi)有執(zhí)行就會(huì)報(bào)錯(cuò)。 threadpool: index: type: blocking min: 1 size: 30 wait_time: 30s

在實(shí)際工作中，由于程序啟動(dòng)時(shí)即產(chǎn)生大量請(qǐng)求，導(dǎo)致隊(duì)列大小溢出的情況，從而查詢請(qǐng)求報(bào)錯(cuò)，可以在以下2個(gè)解決方法權(quán)衡處理：

1、增加隊(duì)列長(zhǎng)度，但隨之帶來(lái)的是CPU消耗高。 2、優(yōu)化程序，適當(dāng)控制程序的并發(fā)請(qǐng)求量。

1.3. 操作系統(tǒng)配置

1、文件句柄限制：ES在索引過(guò)程中，尤其是有很多分片和副本時(shí)，會(huì)創(chuàng)建若干文件。因此操作系統(tǒng)對(duì)打開文件數(shù)量的限制不能少于32000。對(duì)于linux服務(wù)器，通過(guò)可以在/etc/security/limits.conf中進(jìn)行修改，并且可以用ulimit命令來(lái)查看當(dāng)前值。 2、節(jié)點(diǎn)內(nèi)存配置：ES每個(gè)節(jié)點(diǎn)默認(rèn)的2014M內(nèi)存空間可能是不夠的。如果日志文件中有out of memory error錯(cuò)誤，則應(yīng)將環(huán)境變量ES_HEAP_SIZE設(shè)為大于1024的值。注意該值應(yīng)超過(guò)總可用物理內(nèi)存的50%，剩余內(nèi)存可用作磁盤高速緩存，可大大提高搜索性能。

?1.4 ?數(shù)據(jù)轉(zhuǎn)換功能節(jié)點(diǎn) （es5.0 以上版本）

在 ES5 中，新增數(shù)據(jù)轉(zhuǎn)換功能節(jié)點(diǎn)（Ingest?Nodes），使得ES5本身就可以實(shí)現(xiàn)Logstash常用的數(shù)據(jù)過(guò)濾能力，比如data、split、convert、grok等。通過(guò)定義管道，實(shí)現(xiàn)在索引之前對(duì)文檔進(jìn)行預(yù)處理。默認(rèn)情況下，節(jié)點(diǎn)自動(dòng)開啟了數(shù)據(jù)轉(zhuǎn)換功能。數(shù)據(jù)轉(zhuǎn)換對(duì)節(jié)點(diǎn)性能有一定的消耗，如需關(guān)閉節(jié)點(diǎn)的轉(zhuǎn)換功能，可以在配置文件（elasticsearch.yml）中添加node.ingest: false配置。

不配置默認(rèn)是開啟的： 可以關(guān)閉
# elasticsearch.yml
node.ingest: false

注：
elasticsearch 中文指南；
https://es.xiaoleilu.com/
github
https://github.com/elastic/elasticsearch/pulls

轉(zhuǎn)載于:https://www.cnblogs.com/sharesdk/p/7865586.html

總結(jié)

以上是生活随笔為你收集整理的elasticsearch 基本配置的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。