Elasticsearch是一款流行的分布式開源搜索和數(shù)據(jù)分析引擎，具備高性能、易擴展、容錯性強等特點。它強化了Apache Lucene的搜索能力，把掌控海量數(shù)據(jù)索引和查詢的方式提升到一個新的層次。本文結(jié)合開源社區(qū)和阿里云平臺的實踐經(jīng)驗，探討如何調(diào)優(yōu)Elasticsearch的性能提高索引和查詢吞吐量。

• 一. Elasticsearch部署建議
  1.選擇合理的硬件配置，盡可能使用SSD

? ? ? Elasticsearch最大的瓶頸往往是磁盤讀寫性能，尤其是隨機讀取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盤）通常比機械硬盤（SATA盤/SAS盤）查詢速度快5~10倍，寫入性能提升不明顯。

? ? ? ? 對于文檔檢索類查詢性能要求較高的場景，建議考慮SSD作為存儲，同時按照1:10的比例配置內(nèi)存和硬盤。對于日志分析類查詢并發(fā)要求較低的場景，可以考慮采用機械硬盤作為存儲，同時按照1:50的比例配置內(nèi)存和硬盤。單節(jié)點存儲數(shù)據(jù)建議在2TB以內(nèi)，最大不要超過5TB，避免查詢速度慢、系統(tǒng)不穩(wěn)定。

? ? ? ? 在單機存儲1TB數(shù)據(jù)場景下，SATA盤和SSD盤的全文檢索性能對比（測試環(huán)境：Elasticsearch5.5.3，10億條人口戶籍登記信息，單機16核CPU、64GB內(nèi)存，12塊6TB SATA盤，2塊1.5 TB SSD盤）：

磁盤類型	并發(fā)數(shù)	QPS	平均檢索響應(yīng)時間	50%請求響應(yīng)時間	90%請求響應(yīng)時間	IOPS
SATA盤	10并發(fā)	17	563ms	478ms	994ms	1200
SATA盤	50并發(fā)	64	773ms	711ms	1155ms	1800
SATA盤	100并發(fā)	110	902ms	841ms	1225ms	2040
SATA盤	200并發(fā)	84	2369ms	2335ms	2909ms	2400
SSD盤	10并發(fā)	94	105ms	90ms	200ms	25400
SSD盤	50并發(fā)	144	346ms	341ms	411ms	66000
SSD盤	100并發(fā)	152	654ms	689ms	791ms	60000
SSD盤	200并發(fā)	210	950ms	1179ms	1369ms	60000

?

? ? ? ? 2.給JVM配置機器一半的內(nèi)存，但是不建議超過32G

? ? ? ? 修改conf/jvm.options配置，-Xms和-Xmx設(shè)置為相同的值，推薦設(shè)置為機器內(nèi)存的一半左右，剩余一半留給操作系統(tǒng)緩存使用。jvm內(nèi)存建議不要低于2G，否則有可能因為內(nèi)存不足導(dǎo)致ES無法正常啟動或內(nèi)存溢出，jvm建議不要超過32G，否則jvm會禁用內(nèi)存對象指針壓縮技術(shù)，造成內(nèi)存浪費。機器內(nèi)存大于64G內(nèi)存時，推薦配置-Xms30g -Xmx30g 。

?

3.規(guī)模較大的集群配置專有主節(jié)點，避免腦裂問題

? ? ? ? Elasticsearch主節(jié)點（master節(jié)點）負責(zé)集群元信息管理、index的增刪操作、節(jié)點的加入剔除，定期將最新的集群狀態(tài)廣播至各個節(jié)點。在集群規(guī)模較大時，建議配置專有主節(jié)點只負責(zé)集群管理，不存儲數(shù)據(jù)，不承擔(dān)數(shù)據(jù)讀寫壓力。

# 專有主節(jié)點配置(conf/elasticsearch.yml)： node.master:true node.data: false node.ingest:false# 數(shù)據(jù)節(jié)點配置(conf/elasticsearch.yml)： node.master:false node.data:true node.ingest:true

? ? ? ? Elasticsearch默認每個節(jié)點既是候選主節(jié)點，又是數(shù)據(jù)節(jié)點。最小主節(jié)點數(shù)量參數(shù)minimum_master_nodes推薦配置為候選主節(jié)點數(shù)量一半以上，該配置告訴Elasticsearch當(dāng)沒有足夠的master候選節(jié)點的時候，不進行master節(jié)點選舉，等master節(jié)點足夠了才進行選舉。

? ? ? ? 例如對于3節(jié)點集群，最小主節(jié)點數(shù)量從默認值1改為2。

# 最小主節(jié)點數(shù)量配置(conf/elasticsearch.yml)： discovery.zen.minimum_master_nodes: 2

? ? ? ? 4.Linux操作系統(tǒng)調(diào)優(yōu)

? ? ? ? 關(guān)閉交換分區(qū)，防止內(nèi)存置換降低性能。 將/etc/fstab 文件中包含swap的行注釋掉

sed -i '/swap/s/^/#/' /etc/fstab swapoff -a

? ? ? ? 單用戶可以打開的最大文件數(shù)量，可以設(shè)置為官方推薦的65536或更大些

echo "* - nofile 655360" >> /etc/security/limits.conf

? ? ? ? 單用戶線程數(shù)調(diào)大

echo "* - nproc 131072" >> /etc/security/limits.conf

? ? ? ? 單進程可以使用的最大map內(nèi)存區(qū)域數(shù)量

echo "vm.max_map_count = 655360" >> /etc/sysctl.conf

? ? ? ? 參數(shù)修改立即生效

sysctl -p

?

• 二.?索引性能調(diào)優(yōu)建議

? ? ? ? 1.設(shè)置合理的索引分片數(shù)和副本數(shù)

? ? ? ? 索引分片數(shù)建議設(shè)置為集群節(jié)點的整數(shù)倍，初始數(shù)據(jù)導(dǎo)入時副本數(shù)設(shè)置為0，生產(chǎn)環(huán)境副本數(shù)建議設(shè)置為1（設(shè)置1個副本，集群任意1個節(jié)點宕機數(shù)據(jù)不會丟失；設(shè)置更多副本會占用更多存儲空間，操作系統(tǒng)緩存命中率會下降，檢索性能不一定提升）。單節(jié)點索引分片數(shù)建議不要超過3個，每個索引分片推薦10-40GB大小。索引分片數(shù)設(shè)置后不可以修改，副本數(shù)設(shè)置后可以修改。Elasticsearch6.X及之前的版本默認索引分片數(shù)為5、副本數(shù)為1，從Elasticsearch7.0開始調(diào)整為默認索引分片數(shù)為1、副本數(shù)為1。

? ? ? ? 不同分片數(shù)對寫入性能的影響（測試環(huán)境：7節(jié)點Elasticsearch6.3集群，寫入30G新聞數(shù)據(jù)，單節(jié)點56核CPU、380G內(nèi)存、3TB SSD卡，0副本，20線程寫入，每批次提交10M左右數(shù)據(jù)。）：?

集群索引分片數(shù)	單節(jié)點索引分片數(shù)	寫入耗時
2	0/1	600s
7	1	327s
14	2	258s
21	3	211s
28	4	211s
56	8	214s

? ? ? ? 索引設(shè)置：

curl -XPUT http://localhost:9200/fulltext001?pretty -H 'Content-Type: application/json' -d ' {"settings" : {"refresh_interval": "30s","merge.policy.max_merged_segment": "1000mb","translog.durability": "async","translog.flush_threshold_size": "2gb","translog.sync_interval": "100s","index" : {"number_of_shards" : "21","number_of_replicas" : "0"}} } '

? ? ? ? mapping設(shè)置：

curl -XPOST http://localhost:9200/fulltext001/doc/_mapping?pretty -H 'Content-Type: application/json' -d ' {"doc" : {"_all" : {"enabled" : false},"properties" : {"content" : {"type" : "text","analyzer":"ik_max_word"},"id" : {"type" : "keyword"}}} } '

? ? ? ? 寫入數(shù)據(jù)示例：

curl -XPUT 'http://localhost:9200/fulltext001/doc/1?pretty' -H 'Content-Type: application/json' -d ' {"id": "https://www.huxiu.com/article/215169.html","content": "“娃娃機，迷你KTV，VR體驗館，堪稱商場三大標(biāo)配‘神器’。”一家地處商業(yè)中心的大型綜合體負責(zé)人告訴懂懂筆記，在過去的這幾個月里，幾乎所有的綜合體都“標(biāo)配”了這三種“設(shè)備”…" }'

? ? ? ? 修改副本數(shù)示例：

curl -XPUT "http://localhost:9200/fulltext001/_settings" -H 'Content-Type: application/json' -d' {"number_of_replicas": 1 }'

? ? ? ? 2.使用批量請求

? ? ? ? 使用批量請求將產(chǎn)生比單文檔索引請求好得多的性能。寫入數(shù)據(jù)時調(diào)用批量提交接口，推薦每批量提交5~15MB數(shù)據(jù)。例如單條記錄1KB大小，每批次提交10000條左右記錄寫入性能較優(yōu)；單條記錄5KB大小，每批次提交2000條左右記錄寫入性能較優(yōu)。

? ? ? ? 批量請求接口API：

curl -XPOST "http://localhost:9200/_bulk" -H 'Content-Type: application/json' -d' { "index" : { "_index" : "test", "_type" : "_doc", "_id" : "1" } } { "field1" : "value1" } { "delete" : { "_index" : "test", "_type" : "_doc", "_id" : "2" } } { "create" : { "_index" : "test", "_type" : "_doc", "_id" : "3" } } { "field1" : "value3" } { "update" : {"_id" : "1", "_type" : "_doc", "_index" : "test"} } { "doc" : {"field2" : "value2"} } '

??? ? ? ?3.通過多進程/線程發(fā)送數(shù)據(jù)

? ? ? ? 單線程批量寫入數(shù)據(jù)往往不能充分利用服務(wù)器CPU資源，可以嘗試調(diào)整寫入線程數(shù)或者在多個客戶端上同時向Elasticsearch服務(wù)器提交寫入請求。與批量調(diào)整大小請求類似，只有測試才能確定最佳的worker數(shù)量。 可以通過逐漸增加工作任務(wù)數(shù)量來測試，直到集群上的I / O或CPU飽和。

? ? ? ? 4.調(diào)大refresh interval

? ? ? ? 在 Elasticsearch 中，寫入和打開一個新段的輕量的過程叫做?refresh?。?默認情況下每個分片會每秒自動刷新一次。這就是為什么我們說 Elasticsearch 是?近?實時搜索: 文檔的變化并不是立即對搜索可見，但會在一秒之內(nèi)變?yōu)榭梢姟?br /> ? ? ? ? 并不是所有的情況都需要每秒刷新。可能你正在使用 Elasticsearch 索引大量的日志文件，你可能想優(yōu)化索引速度而不是近實時搜索，可以通過設(shè)置 refresh_interval，降低每個索引的刷新頻率。

? ? ? ? 設(shè)置refresh interval API:

curl -XPUT "http://localhost:9200/index" -H 'Content-Type: application/json' -d' {"settings" : {"refresh_interval": "30s"} }'

? ? ? ? refresh_interval?可以在既存索引上進行動態(tài)更新。 在生產(chǎn)環(huán)境中，當(dāng)你正在建立一個大的新索引時，可以先關(guān)閉自動刷新，待開始使用該索引時，再把它們調(diào)回來：

curl -XPUT "http://localhost:9200/index/_settings" -H 'Content-Type: application/json' -d' { "refresh_interval": -1 }' curl -XPUT "http://localhost:9200/index/_settings" -H 'Content-Type: application/json' -d' { "refresh_interval": "1s" }'

? ? ? ? 5.設(shè)計mapping配置合適的字段類型

? ? ? ? Elasticsearch在寫入文檔時，如果請求中指定的索引名不存在，會自動創(chuàng)建新索引，并根據(jù)文檔內(nèi)容猜測可能的字段類型。但這往往不是最高效的，我們可以根據(jù)應(yīng)用場景來設(shè)計合理的字段類型。

? ? ? ? 例如寫入一條記錄：

curl -XPUT "http://localhost:9200/twitter/doc/1?pretty" -H 'Content-Type: application/json' -d' {"user": "kimchy","post_date": "2009-11-15T13:12:00","message": "Trying out Elasticsearch, so far so good?" }'

? ? ? ? 查詢Elasticsearch自動創(chuàng)建的索引mapping，會發(fā)現(xiàn)將post_date字段自動識別為date類型，但是message和user字段被設(shè)置為text、keyword冗余字段，造成寫入速度降低、占用更多磁盤空間。

curl -XGET "http://localhost:9200/twitter" {"twitter": {"mappings": {"doc": {"properties": {"message": {"type": "text","fields": {"keyword": {"type": "keyword","ignore_above": 256}}},"post_date": {"type": "date"},"user": {"type": "text","fields": {"keyword": {"type": "keyword","ignore_above": 256}}}}}},"settings": {"index": {"number_of_shards": "5","number_of_replicas": "1",}}} }

? ? ? ? 根據(jù)業(yè)務(wù)場景設(shè)計索引配置合理的分片數(shù)、副本數(shù)，設(shè)置字段類型、分詞器。如果不需要合并全部字段，禁用_all字段，通過copy_to來合并字段。

curl -XPUT "http://localhost:9200/twitter?pretty" -H 'Content-Type: application/json' -d' {"settings" : {"index" : {"number_of_shards" : "20","number_of_replicas" : "0"}} }' curl -XPOST "http://localhost:9200/twitter/doc/_mapping?pretty" -H 'Content-Type: application/json' -d' {"doc" : {"_all" : {"enabled" : false},"properties" : {"user" : {"type" : "keyword"},"post_date" : {"type" : "date"},"message" : {"type" : "text","analyzer" : "cjk"}}} }'

?

• 三.?查詢性能調(diào)優(yōu)建議

? ? ? ? 1.使用過濾器緩存和分片查詢緩存

? ? ? ? 默認情況下，Elasticsearch的查詢會計算返回的每條數(shù)據(jù)與查詢語句的相關(guān)度，但對于非全文索引的使用場景，用戶并不關(guān)心查詢結(jié)果與查詢條件的相關(guān)度，只是想精確的查找目標(biāo)數(shù)據(jù)。此時，可以通過filter來讓Elasticsearch不計算評分，并且盡可能的緩存filter的結(jié)果集，供后續(xù)包含相同filter的查詢使用，提高查詢效率。

? ? ? ? 普通查詢：

curl -XGET "http://localhost:9200/twitter/_search" -H 'Content-Type: application/json' -d' {"query": {"match": {"user": "kimchy"}} }'

? ?過濾器(filter)查詢：

curl -XGET "http://localhost:9200/twitter/_search" -H 'Content-Type: application/json' -d' {"query": {"bool": {"filter": {"match": {"user": "kimchy"}}}} }'

? ? ? ? 分片查詢緩存的目的是緩存聚合、提示詞結(jié)果和命中數(shù)（它不會緩存返回的文檔，因此，它只在search_type=count時起作用）。

? ? ? ? 通過下面的參數(shù)我們可以設(shè)置分片緩存的大小，默認情況下是JVM堆的1%大小，當(dāng)然我們也可以手動設(shè)置在config/elasticsearch.yml文件里:

indices.requests.cache.size: 1%

?

? ? ? ? 查看緩存占用內(nèi)存情況(name表示節(jié)點名, query_cache表示過濾器緩存，request_cache表示分片緩存，fielddata表示字段數(shù)據(jù)緩存，segments表示索引段)：

curl -XGET "http://localhost:9200/_cat/nodes?h=name,query_cache.memory_size,request_cache.memory_size,fielddata.memory_size,segments.memory&v"

? ? ? ? 2.使用路由routing

? ? ? ? Elasticsearch寫入文檔時，文檔會通過一個公式路由到一個索引中的一個分片上。默認的公式如下：

shard_num = hash(_routing) % num_primary_shards

? ? ? ? _routing字段的取值，默認是_id字段，可以根據(jù)業(yè)務(wù)場景設(shè)置經(jīng)常查詢的字段作為路由字段。例如可以考慮將用戶id、地區(qū)作為路由字段，查詢時可以過濾不必要的分片，加快查詢速度。

? ? ? ? 寫入時指定路由：

curl -XPUT "http://localhost:9200/my_index/my_type/1?routing=user1" -H 'Content-Type: application/json' -d' {"title": "This is a document","author": "user1" }'

? ? ? ? 查詢時不指定路由，需要查詢所有分片：

curl -XGET "http://localhost:9200/my_index/_search" -H 'Content-Type: application/json' -d' {"query": {"match": {"title": "document"}} }'

? ? ? ? 返回結(jié)果：

{"took": 2,"timed_out": false,"_shards": {"total": 5,"successful": 5,"skipped": 0,"failed": 0}...... }

? ? ? ? 查詢時指定路由，只需要查詢1個分片：

curl -XGET "http://localhost:9200/my_index/_search?routing=user1" -H 'Content-Type: application/json' -d' {"query": {"match": {"title": "document"}} }'

? ? ? ? 返回結(jié)果：

{"took": 1,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0}...... }

? ? ? ? 3.強制合并只讀索引，關(guān)閉歷史數(shù)據(jù)索引

? ? ? ? 只讀的索引可以從合并成一個單獨的大segment中收益，減少索引碎片，減少JVM堆常駐內(nèi)存。歷史數(shù)據(jù)索引如果業(yè)務(wù)上不再支持查詢請求，可以考慮關(guān)閉索引，減少JVM內(nèi)存占用。

? ? ? ? 索引forcemerge API:

curl -XPOST "http://localhost:9200/abc20180923/_forcemerge"

? ? ? ? 索引關(guān)閉API:

curl -XPOST "http://localhost:9200/abc2017*/_close"

4.配置查詢聚合節(jié)點

? ? ? ? 查詢聚合節(jié)點可以發(fā)送粒子查詢請求到其他節(jié)點，收集和合并結(jié)果，以及響應(yīng)發(fā)出查詢的客戶端。通過給查詢聚合節(jié)點配置更高規(guī)格的CPU和內(nèi)存，可以加快查詢運算速度、提升緩存命中率。某客戶使用25臺8核CPU32G內(nèi)存節(jié)點ELasticsearch集群，查詢QPS在4000左右。增加6臺16核CPU32G內(nèi)存節(jié)點作為查詢聚合節(jié)點，觀察服務(wù)器CPU、JVM堆內(nèi)存使用情況，并調(diào)整緩存、分片、副本參數(shù)，查詢QPS達到12000。

# 查詢聚合節(jié)點配置(conf/elasticsearch.yml)： node.master: false node.data: false node.ingest:false

?

? ? ? ? 5.設(shè)置查詢讀取記錄條數(shù)和字段

? ? ? ? 默認的查詢請求通常返回排序后的前10條記錄，最多一次讀取10000條記錄，通過from和size參數(shù)控制讀取記錄范圍，避免一次讀取過多的記錄。通過_source參數(shù)可以控制返回字段信息，盡量避免讀取大字段。

? ? ? ? 查詢請求示例：

curl -XGET http://localhost:9200/fulltext001/_search?pretty -H 'Content-Type: application/json' -d ' {"from": 0,"size": 10,"_source": "id","query": {"bool": {"must": [{"match": {"content":"虎嗅"}}]}},"sort": [{"id": {"order": "asc"}}] } '

?

? ? ? 6.避免前綴模糊匹配

? ? ? ? Elasticsearch默認支持通過*?正則表達式來做模糊匹配，如果在一個數(shù)據(jù)量超過10億條的索引上執(zhí)行模糊匹配，尤其是前綴模糊匹配，通常耗時會比較長，甚至可能導(dǎo)致內(nèi)存溢出。盡量避免在高并發(fā)查詢請求的生產(chǎn)環(huán)境執(zhí)行這類操作。

? ? ? ? 某客戶需要對車牌號進行模糊查詢，通過查詢請求"車牌號:*A8848*"查詢時，往往導(dǎo)致整個集群負載較高。通過對數(shù)據(jù)預(yù)處理，增加冗余字段"車牌號.keyword"，并事先將所有車牌號按照1元、2元、3元...7元分詞后存儲至該字段，字段存儲內(nèi)容示例:滬,A,8,4,滬A,A8,88,84,48,滬A8...滬A88488。通過查詢"車牌號.keyword:A8848"即可解決原來的性能問題。

? ? ? 7.避免索引稀疏

? ? ? ? Elasticsearch6.X之前的版本默認允許在一個index下面創(chuàng)建多個type，Elasticsearch6.X及之后的版本只允許創(chuàng)建一個type。在一個type下面創(chuàng)建多個字段不一樣的type，或者將幾百個字段不一樣的索引合并到一個索引中，會導(dǎo)致索引稀疏問題。

? ? ? ? 建議每個索引下只創(chuàng)建一個type，字段不一樣的數(shù)據(jù)分別獨立創(chuàng)建index，不要合并成一個大索引。每個查詢請求根據(jù)需要去讀取相應(yīng)的索引，避免查詢大索引掃描全部記錄，加快查詢速度。

?

? ? ? 8.擴容集群節(jié)點個數(shù)、升級節(jié)點規(guī)格

? ? ? ? 通常服務(wù)器節(jié)點數(shù)越多，服務(wù)器硬件配置規(guī)格越高，Elasticsearch集群的處理能力越強。

? ? ? ? 在不同節(jié)點規(guī)模下的查詢性能測試（測試環(huán)境：Elasticsearch5.5.3集群，單節(jié)點16核CPU、64G內(nèi)存、2T SSD盤，10億條人口戶籍登記信息，數(shù)據(jù)大小1TB。）：

集群節(jié)點數(shù)	副本數(shù)	10并發(fā)檢索平均響應(yīng)時間	50并發(fā)檢索平均響應(yīng)時間	100并發(fā)檢索平均響應(yīng)時間	200并發(fā)檢索平均響應(yīng)時間	200并發(fā)QPS	200并發(fā)CPU使用率	200并發(fā)CPU IO等待
1	0	77ms	459ms	438ms	1001ms	200	16%	52%
3	0	38ms	103ms	162ms	298ms	669	45%	34%
3	2	271ms	356ms	577ms	818ms	244	19%	54%
10	0	21ms	36ms	48ms	81ms	2467	40%	10%

? ? ? ? 不同集群節(jié)點規(guī)模寫入性能測試（測試環(huán)境：Elasticsearch6.3.2集群，單節(jié)點16核CPU、64G內(nèi)存、2T SSD盤，10億條人口戶籍登記信息，單條記錄1KB，數(shù)據(jù)集大小1TB，20個并發(fā)寫入線程。）：

集群節(jié)點數(shù)	副本數(shù)	寫入TPS	耗時	集群CPU使用率
10	0	88945	11242s	50%
50	0	180638	5535s	20%

?

? ? ? ? 在條件允許的情況下，還是希望您可以通過實際的數(shù)據(jù)和使用場景測試出適合自己的最佳實踐。得益于阿里云Elasticsearch提供的彈性擴容功能，您可以在實際使用時根據(jù)情況隨時增加磁盤大小、擴容節(jié)點個數(shù)、升級節(jié)點規(guī)格。

總結(jié)

以上是生活随笔為你收集整理的阿里云Elasticsearch性能优化实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。