docker安裝配置elasticsearch,kibana和IK分詞器

• • elasticsearch文章系列
  • 前置安裝docker
  • 創(chuàng)建docker網(wǎng)絡(luò)
  • 安裝Elasticsearch
  • • • 運(yùn)行elasticsearch
  • 安裝Kibana
  • • • 運(yùn)行kibana
      • DevTools
      • 安裝IK分詞器插件
      • 配置IK分詞器字典
  • 推薦配置IK遠(yuǎn)程熱更新字典
  • • • 創(chuàng)建配置字典位置
      • nginx配置轉(zhuǎn)發(fā)到字典位置
  • 安裝拼音分詞器插件（也是要版本號(hào)保持一致）
  • • ES如何卸載插件
    • es安裝拼音分詞器
    • • 1.在線安裝
      • 2.通過(guò)zip包安裝
• 搭建集群教程（可選）
• • 1、為什么要搭建集群？
  • • 部署es集群
    • • docker-compose的安裝
      • 創(chuàng)建es集群
      • 監(jiān)控ES集群
  • 結(jié)束

elasticsearch文章系列

elasticsearch安裝教程大全
elasticsearch學(xué)習(xí)筆記（一）
elasticsearch學(xué)習(xí)筆記（二）
elasticsearch學(xué)習(xí)筆記（三）

前置安裝docker

可參考:Debian安裝docker
Centos安裝docker

創(chuàng)建docker網(wǎng)絡(luò)

(docker-compose可以直接互連)
因?yàn)槲覀冞€需要部署kibana容器，因此需要讓es和kibana容器互聯(lián)。這里先創(chuàng)建一個(gè)網(wǎng)絡(luò)：

docker network create es-net

安裝Elasticsearch

Elasticsearch和kibana版本要一致

#版本要一致 docker pull elasticsearch:7.12.1 docker pull kibana:7.12.1 # 宿主機(jī)掛載目錄 mkdir -p /docker/elasticsearch/data mkdir -p /docker/elasticsearch/plugins

運(yùn)行elasticsearch

這里默認(rèn)內(nèi)存是1g,最好不要少于512m #運(yùn)行es7 docker run -d \--name es7 \-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \-e "discovery.type=single-node" \-v es-data:/docker/elasticsearch/data \-v es-plugins:/docker/elasticsearch/plugins \--privileged \--network es-net \-p 9200:9200 \-p 9300:9300 \ elasticsearch:7.12.1

檢查是否成功 http://ip:9200/

命令解釋：

• -e "cluster.name=es-docker-cluster"：設(shè)置集群名稱
• -e "http.host=0.0.0.0"：監(jiān)聽的地址，可以外網(wǎng)訪問(wèn)
• -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：內(nèi)存大小
• -e "discovery.type=single-node"：非集群模式
• -v es-data:/docker/elasticsearch/data：掛載邏輯卷，綁定es的數(shù)據(jù)目錄
• -v es-logs:/docker/elasticsearch/logs：掛載邏輯卷，綁定es的日志目錄
• -v es-plugins:/docker/elasticsearch/plugins：掛載邏輯卷，綁定es的插件目錄
• --privileged：授予邏輯卷訪問(wèn)權(quán)
• --network es-net ：加入一個(gè)名為es-net的網(wǎng)絡(luò)中
• -p 9200:9200：端口映射配置

安裝Kibana

kibana可以給我們提供一個(gè)elasticsearch的可視化界面，便于我們學(xué)習(xí)。

運(yùn)行kibana

#運(yùn)行kibana docker run -d \ --name kibana \ -e ELASTICSEARCH_HOSTS=http://es7:9200 \ --network=es-net \ -p 5601:5601 \ kibana:7.12.1#檢驗(yàn) http://ip:5601/左側(cè)Devtools中可以快速編寫DSL

• --network es-net ：加入一個(gè)名為es-net的網(wǎng)絡(luò)中，與elasticsearch在同一個(gè)網(wǎng)絡(luò)中
• -e ELASTICSEARCH_HOSTS=http://es:9200"：設(shè)置elasticsearch的地址，因?yàn)閗ibana已經(jīng)與elasticsearch在一個(gè)網(wǎng)絡(luò)，因此可以用容器名直接訪問(wèn)elasticsearch
• -p 5601:5601：端口映射配置

kibana啟動(dòng)一般比較慢，需要多等待一會(huì)，可以通過(guò)命令：

docker logs -f kibana

查看運(yùn)行日志，當(dāng)查看到下面的日志，說(shuō)明成功：

此時(shí)，在瀏覽器輸入地址訪問(wèn)：http://ip:5601，即可看到結(jié)果

DevTools

kibana中提供了一個(gè)DevTools界面：

這個(gè)界面中可以編寫DSL來(lái)操作elasticsearch。并且對(duì)DSL語(yǔ)句有自動(dòng)補(bǔ)全功能。

安裝IK分詞器插件

原有默認(rèn)的分詞器對(duì)中文分詞并不友好
可以使用IK分詞器

#### 安裝IK分詞器插件 # 進(jìn)入容器內(nèi)部 docker exec -it es7 /bin/bash# 在線下載并安裝 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip# 等待下載安裝完成#退出 exit #重啟容器 docker restart es7

IK分詞器包含兩種模式：

• ik_smart：最少切分

• ik_max_word：最細(xì)切分
  

配置IK分詞器字典

es使用通過(guò)詞來(lái)分,但終究別人定義的詞,我們可以自定義一些詞典

# 可以進(jìn)入修改字典 docker exec -it es7 /bin/bash # 字典目錄 cd /usr/share/elasticsearch/config/analysis-ik # 修改配置文件 vi IKAnalyzer.cfg.xml # :wq# 退回到宿主機(jī) exit# 重啟es和kibana docker restart es7 docker restart kibana

IKAnalyzer.cfg.xml中可以配置

<properties><comment>IK Analyzer 擴(kuò)展配置</comment><!--用戶可以在這里配置自己的擴(kuò)展字典 --><entry key="ext_dict"></entry><!--用戶可以在這里配置自己的擴(kuò)展停止詞字典--><entry key="ext_stopwords"></entry><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展字典 --><entry key="remote_ext_dict">http://113.131.57.206:7090/remote.txt</entry><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展停止詞字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> --> </properties>

上面兩個(gè)是本地的額外字典和額外禁止詞位置,可以自己添加xml文件同目錄的文件如,xxx.dic

下面兩個(gè)是遠(yuǎn)程的

推薦配置IK遠(yuǎn)程熱更新字典

每次都要進(jìn)入容器內(nèi)部修改很麻煩, 而且vi編寫也麻煩, 可以通過(guò)遠(yuǎn)程字典來(lái)熱更新詞典

創(chuàng)建配置字典位置

先在宿主機(jī)的目錄創(chuàng)建字典文件

## 宿主機(jī)的目錄 cd /docker/elasticsearch/IK/## 創(chuàng)建字典文件 touch remote.txt

創(chuàng)建完后, 可以通過(guò)MobaXterm等遠(yuǎn)程連接工具, 然后用VSCode打開編輯
remote.txt

nginx配置轉(zhuǎn)發(fā)到字典位置

安裝nginx可以參考這里的unbuntu安裝nginx部分(Debian也可以用)
通過(guò)apt-get安裝的nginx的目錄

#安裝好的nginx相關(guān)文件位置：/usr/sbin/nginx：主程序/etc/nginx：存放配置文件/usr/share/nginx：存放靜態(tài)文件/var/log/nginx：存放日志

修改nginx配置

cd /etc/nginx# 修改conf.d目錄下的,沒(méi)有可以自己創(chuàng)建一個(gè) # 主配置已經(jīng)默認(rèn)引入這目錄下所有配置文件 cd /conf.d # 創(chuàng)建 touch http.conf

http.conf加入以下內(nèi)容:

# 根據(jù)約定，URL 尾部的 / 表示目錄，沒(méi)有 / 表示文件。所以訪問(wèn) /some-dir/ 時(shí)，服務(wù)器會(huì)自動(dòng)去該目錄下找對(duì)應(yīng)的默認(rèn)文件。 # 如果訪問(wèn) /some-dir 的話，服務(wù)器會(huì)先去找 some-dir 文件，找不到的話會(huì)將 some-dir 當(dāng)成目錄，重定向到 /some-dir/# 每次更改后重啟nginx # cd /usr/sbin # ./nginx -s reloadserver {listen 7090;server_name localhost;server_name 113.131.57.206; #你的ipcharset 'utf-8';default_type 'text/html';# 端口直接指向那個(gè)目錄location / {root /docker/elasticsearch/IK; }}

修改后重啟nginx

# 每次更改后重啟nginx cd /usr/sbin ./nginx -s reload

檢驗(yàn)訪問(wèn)輸入
http://113.131.57.206:7090/remote.txt

然后再去kibana的devtols就會(huì)按照我們自定義的詞匯分詞

安裝拼音分詞器插件（也是要版本號(hào)保持一致）

ES如何卸載插件

#進(jìn)入容器 docker exec -it es7 /bin/bash#查看安裝了哪些插件 ./bin/elasticsearch-plugin list#3、卸載x-pack插件 #a. 卸載x-pack插件 ./bin/elasticsearch-plugin remove x-pack#exit #重啟容器

es安裝拼音分詞器

1.在線安裝

#進(jìn)入容器 docker exec -it es7 /bin/bash #安裝拼音分詞器插件 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.12.1/elasticsearch-analysis-pinyin-7.12.1.zip#exit #重啟容器

github地址：https://github.com/medcl/elasticsearch-analysis-pinyin

2.通過(guò)zip包安裝

也可以先下載好https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.12.1/elasticsearch-analysis-pinyin-7.12.1.zip這個(gè)包，然后上傳到對(duì)應(yīng)的掛載目錄，例如/var/lib/docker/volumes/es-plugins/_data
然后重啟容器就可以。
可以通過(guò)docker inspect es7 查看掛載位置
例如

"Source": "/var/lib/docker/volumes/es-plugins/_data", "Destination": "/docker/elasticsearch/plugins",

搭建集群教程（可選）

1、為什么要搭建集群？

單機(jī)的elasticsearch做數(shù)據(jù)存儲(chǔ)，必然面臨兩個(gè)問(wèn)題：海量數(shù)據(jù)存儲(chǔ)問(wèn)題、單點(diǎn)故障問(wèn)題。

• 海量數(shù)據(jù)存儲(chǔ)問(wèn)題：將索引庫(kù)從邏輯上拆分為N個(gè)分片（shard），存儲(chǔ)到多個(gè)節(jié)點(diǎn)
• 單點(diǎn)故障問(wèn)題：將分片數(shù)據(jù)在不同節(jié)點(diǎn)備份（replica ）

ES集群相關(guān)概念:

• 集群（cluster）：一組擁有共同的 cluster name 的 節(jié)點(diǎn)。

• 節(jié)點(diǎn)（node) ：集群中的一個(gè) Elasticearch 實(shí)例

• 分片（shard）：索引可以被拆分為不同的部分進(jìn)行存儲(chǔ)，稱為分片。在集群環(huán)境下，一個(gè)索引的不同分片可以拆分到不同的節(jié)點(diǎn)中

  解決問(wèn)題：數(shù)據(jù)量太大，單點(diǎn)存儲(chǔ)量有限的問(wèn)題。

此處，我們把數(shù)據(jù)分成3片：shard0、shard1、shard2

• 主分片（Primary shard）：相對(duì)于副本分片的定義。

• 副本分片（Replica shard）每個(gè)主分片可以有一個(gè)或者多個(gè)副本，數(shù)據(jù)和主分片一樣。

  ?

數(shù)據(jù)備份可以保證高可用，但是每個(gè)分片備份一份，所需要的節(jié)點(diǎn)數(shù)量就會(huì)翻一倍，成本實(shí)在是太高了！

為了在高可用和成本間尋求平衡，我們可以這樣做：

• 首先對(duì)數(shù)據(jù)分片，存儲(chǔ)到不同節(jié)點(diǎn)
• 然后對(duì)每個(gè)分片進(jìn)行備份，放到對(duì)方節(jié)點(diǎn)，完成互相備份

這樣可以大大減少所需要的服務(wù)節(jié)點(diǎn)數(shù)量，如圖，我們以3分片，每個(gè)分片備份一份為例：

現(xiàn)在，每個(gè)分片都有1個(gè)備份，存儲(chǔ)在3個(gè)節(jié)點(diǎn)：

• node0：保存了分片0和1
• node1：保存了分片0和2
• node2：保存了分片1和2

部署es集群

我們會(huì)在單機(jī)上利用docker容器運(yùn)行多個(gè)es實(shí)例來(lái)模擬es集群。不過(guò)生產(chǎn)環(huán)境推薦大家每一臺(tái)服務(wù)節(jié)點(diǎn)僅部署一個(gè)es的實(shí)例。

部署es集群可以直接使用docker-compose來(lái)完成，但這要求你的Linux虛擬機(jī)至少有4G的內(nèi)存空間

docker-compose的安裝

可以參考：docker-compose的安裝

創(chuàng)建es集群

首先編寫一個(gè)docker-compose.yml文件，內(nèi)容如下：

version: '2.2' services:es01:image: elasticsearch:7.12.1container_name: es01environment:- node.name=es01- cluster.name=es-docker-cluster- discovery.seed_hosts=es02,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data01:/usr/share/elasticsearch/dataports:- 9200:9200networks:- elastices02:image: elasticsearch:7.12.1container_name: es02environment:- node.name=es02- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data02:/usr/share/elasticsearch/dataports:- 9201:9200networks:- elastices03:image: elasticsearch:7.12.1container_name: es03environment:- node.name=es03- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es02- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data03:/usr/share/elasticsearch/datanetworks:- elasticports:- 9202:9200 volumes:data01:driver: localdata02:driver: localdata03:driver: localnetworks:elastic:driver: bridge

• cluster.name 集群名稱
• discovery.seed_hosts=es02,es03 集群另外兩個(gè)節(jié)點(diǎn)的地址，docker-compose可以用服務(wù)名稱直接互聯(lián)
• cluster.initial_master_nodes=es01,es02,es03 初始化的主節(jié)點(diǎn)，主節(jié)點(diǎn)是選出來(lái)的，這三個(gè)都可以參與選舉
• - “ES_JAVA_OPTS=-Xms512m -Xmx512m” 最小內(nèi)存，最大內(nèi)存

es運(yùn)行需要修改一些linux系統(tǒng)權(quán)限，修改/etc/sysctl.conf文件

vi /etc/sysctl.conf

添加下面的內(nèi)容：

vm.max_map_count=262144#:wq #保存

然后執(zhí)行命令，讓配置生效：

sysctl -p

通過(guò)docker-compose啟動(dòng)集群：
上傳docker-compose.yml

# 去到docker-compose.yml所在的目錄 docker-compose up -d

部署后，如果docker和docker-compose同時(shí)部署導(dǎo)致所有docker容器都訪問(wèn)不了，也可以看里面的解決方案docker-compose部署

監(jiān)控ES集群

kibana可以監(jiān)控es集群，不過(guò)新版本需要依賴es的x-pack 功能，配置比較復(fù)雜。

這里推薦使用cerebro來(lái)監(jiān)控es集群狀態(tài)，官方網(wǎng)址：https://github.com/lmenezes/cerebro

解壓后的目錄如下

進(jìn)入bin目錄點(diǎn)擊cerebro.bat即可啟動(dòng)

訪問(wèn)http://localhost:9000 即可進(jìn)入管理界面：

輸入你的elasticsearch的任意節(jié)點(diǎn)的地址和端口，點(diǎn)擊connect即可：

結(jié)束

至此, 安裝完成, 也是博主踩坑慢慢安裝過(guò)來(lái)的, 有任何問(wèn)題也可以留言與博主交流, 希望對(duì)你有幫助!

總結(jié)

以上是生活随笔為你收集整理的服务器安装配置elasticsearch,kibana，IK分词器和拼音分词器，集群搭建教程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。