docker安裝配置elasticsearch,kibana和IK分詞器

• • elasticsearch文章系列
  • 前置安裝docker
  • 創建docker網絡
  • 安裝Elasticsearch
  • • • 運行elasticsearch
  • 安裝Kibana
  • • • 運行kibana
      • DevTools
      • 安裝IK分詞器插件
      • 配置IK分詞器字典
  • 推薦配置IK遠程熱更新字典
  • • • 創建配置字典位置
      • nginx配置轉發到字典位置
  • 安裝拼音分詞器插件（也是要版本號保持一致）
  • • ES如何卸載插件
    • es安裝拼音分詞器
    • • 1.在線安裝
      • 2.通過zip包安裝
• 搭建集群教程（可選）
• • 1、為什么要搭建集群？
  • • 部署es集群
    • • docker-compose的安裝
      • 創建es集群
      • 監控ES集群
  • 結束

elasticsearch文章系列

elasticsearch安裝教程大全
elasticsearch學習筆記（一）
elasticsearch學習筆記（二）
elasticsearch學習筆記（三）

前置安裝docker

可參考:Debian安裝docker
Centos安裝docker

創建docker網絡

(docker-compose可以直接互連)
因為我們還需要部署kibana容器，因此需要讓es和kibana容器互聯。這里先創建一個網絡：

docker network create es-net

安裝Elasticsearch

Elasticsearch和kibana版本要一致

#版本要一致 docker pull elasticsearch:7.12.1 docker pull kibana:7.12.1 # 宿主機掛載目錄 mkdir -p /docker/elasticsearch/data mkdir -p /docker/elasticsearch/plugins

運行elasticsearch

這里默認內存是1g,最好不要少于512m #運行es7 docker run -d \--name es7 \-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \-e "discovery.type=single-node" \-v es-data:/docker/elasticsearch/data \-v es-plugins:/docker/elasticsearch/plugins \--privileged \--network es-net \-p 9200:9200 \-p 9300:9300 \ elasticsearch:7.12.1

檢查是否成功 http://ip:9200/

命令解釋：

• -e "cluster.name=es-docker-cluster"：設置集群名稱
• -e "http.host=0.0.0.0"：監聽的地址，可以外網訪問
• -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：內存大小
• -e "discovery.type=single-node"：非集群模式
• -v es-data:/docker/elasticsearch/data：掛載邏輯卷，綁定es的數據目錄
• -v es-logs:/docker/elasticsearch/logs：掛載邏輯卷，綁定es的日志目錄
• -v es-plugins:/docker/elasticsearch/plugins：掛載邏輯卷，綁定es的插件目錄
• --privileged：授予邏輯卷訪問權
• --network es-net ：加入一個名為es-net的網絡中
• -p 9200:9200：端口映射配置

安裝Kibana

kibana可以給我們提供一個elasticsearch的可視化界面，便于我們學習。

運行kibana

#運行kibana docker run -d \ --name kibana \ -e ELASTICSEARCH_HOSTS=http://es7:9200 \ --network=es-net \ -p 5601:5601 \ kibana:7.12.1#檢驗 http://ip:5601/左側Devtools中可以快速編寫DSL

• --network es-net ：加入一個名為es-net的網絡中，與elasticsearch在同一個網絡中
• -e ELASTICSEARCH_HOSTS=http://es:9200"：設置elasticsearch的地址，因為kibana已經與elasticsearch在一個網絡，因此可以用容器名直接訪問elasticsearch
• -p 5601:5601：端口映射配置

kibana啟動一般比較慢，需要多等待一會，可以通過命令：

docker logs -f kibana

查看運行日志，當查看到下面的日志，說明成功：

此時，在瀏覽器輸入地址訪問：http://ip:5601，即可看到結果

DevTools

kibana中提供了一個DevTools界面：

這個界面中可以編寫DSL來操作elasticsearch。并且對DSL語句有自動補全功能。

安裝IK分詞器插件

原有默認的分詞器對中文分詞并不友好
可以使用IK分詞器

#### 安裝IK分詞器插件 # 進入容器內部 docker exec -it es7 /bin/bash# 在線下載并安裝 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip# 等待下載安裝完成#退出 exit #重啟容器 docker restart es7

IK分詞器包含兩種模式：

• ik_smart：最少切分

• ik_max_word：最細切分
  

配置IK分詞器字典

es使用通過詞來分,但終究別人定義的詞,我們可以自定義一些詞典

# 可以進入修改字典 docker exec -it es7 /bin/bash # 字典目錄 cd /usr/share/elasticsearch/config/analysis-ik # 修改配置文件 vi IKAnalyzer.cfg.xml # :wq# 退回到宿主機 exit# 重啟es和kibana docker restart es7 docker restart kibana

IKAnalyzer.cfg.xml中可以配置

<properties><comment>IK Analyzer 擴展配置</comment><!--用戶可以在這里配置自己的擴展字典 --><entry key="ext_dict"></entry><!--用戶可以在這里配置自己的擴展停止詞字典--><entry key="ext_stopwords"></entry><!--用戶可以在這里配置遠程擴展字典 --><entry key="remote_ext_dict">http://113.131.57.206:7090/remote.txt</entry><!--用戶可以在這里配置遠程擴展停止詞字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> --> </properties>

上面兩個是本地的額外字典和額外禁止詞位置,可以自己添加xml文件同目錄的文件如,xxx.dic

下面兩個是遠程的

推薦配置IK遠程熱更新字典

每次都要進入容器內部修改很麻煩, 而且vi編寫也麻煩, 可以通過遠程字典來熱更新詞典

創建配置字典位置

先在宿主機的目錄創建字典文件

## 宿主機的目錄 cd /docker/elasticsearch/IK/## 創建字典文件 touch remote.txt

創建完后, 可以通過MobaXterm等遠程連接工具, 然后用VSCode打開編輯
remote.txt

nginx配置轉發到字典位置

安裝nginx可以參考這里的unbuntu安裝nginx部分(Debian也可以用)
通過apt-get安裝的nginx的目錄

#安裝好的nginx相關文件位置：/usr/sbin/nginx：主程序/etc/nginx：存放配置文件/usr/share/nginx：存放靜態文件/var/log/nginx：存放日志

修改nginx配置

cd /etc/nginx# 修改conf.d目錄下的,沒有可以自己創建一個 # 主配置已經默認引入這目錄下所有配置文件 cd /conf.d # 創建 touch http.conf

http.conf加入以下內容:

# 根據約定，URL 尾部的 / 表示目錄，沒有 / 表示文件。所以訪問 /some-dir/ 時，服務器會自動去該目錄下找對應的默認文件。 # 如果訪問 /some-dir 的話，服務器會先去找 some-dir 文件，找不到的話會將 some-dir 當成目錄，重定向到 /some-dir/# 每次更改后重啟nginx # cd /usr/sbin # ./nginx -s reloadserver {listen 7090;server_name localhost;server_name 113.131.57.206; #你的ipcharset 'utf-8';default_type 'text/html';# 端口直接指向那個目錄location / {root /docker/elasticsearch/IK; }}

修改后重啟nginx

# 每次更改后重啟nginx cd /usr/sbin ./nginx -s reload

檢驗訪問輸入
http://113.131.57.206:7090/remote.txt

然后再去kibana的devtols就會按照我們自定義的詞匯分詞

安裝拼音分詞器插件（也是要版本號保持一致）

ES如何卸載插件

#進入容器 docker exec -it es7 /bin/bash#查看安裝了哪些插件 ./bin/elasticsearch-plugin list#3、卸載x-pack插件 #a. 卸載x-pack插件 ./bin/elasticsearch-plugin remove x-pack#exit #重啟容器

es安裝拼音分詞器

1.在線安裝

#進入容器 docker exec -it es7 /bin/bash #安裝拼音分詞器插件 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.12.1/elasticsearch-analysis-pinyin-7.12.1.zip#exit #重啟容器

github地址：https://github.com/medcl/elasticsearch-analysis-pinyin

2.通過zip包安裝

也可以先下載好https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.12.1/elasticsearch-analysis-pinyin-7.12.1.zip這個包，然后上傳到對應的掛載目錄，例如/var/lib/docker/volumes/es-plugins/_data
然后重啟容器就可以。
可以通過docker inspect es7 查看掛載位置
例如

"Source": "/var/lib/docker/volumes/es-plugins/_data", "Destination": "/docker/elasticsearch/plugins",

搭建集群教程（可選）

1、為什么要搭建集群？

單機的elasticsearch做數據存儲，必然面臨兩個問題：海量數據存儲問題、單點故障問題。

• 海量數據存儲問題：將索引庫從邏輯上拆分為N個分片（shard），存儲到多個節點
• 單點故障問題：將分片數據在不同節點備份（replica ）

ES集群相關概念:

• 集群（cluster）：一組擁有共同的 cluster name 的 節點。

• 節點（node) ：集群中的一個 Elasticearch 實例

• 分片（shard）：索引可以被拆分為不同的部分進行存儲，稱為分片。在集群環境下，一個索引的不同分片可以拆分到不同的節點中

  解決問題：數據量太大，單點存儲量有限的問題。

此處，我們把數據分成3片：shard0、shard1、shard2

• 主分片（Primary shard）：相對于副本分片的定義。

• 副本分片（Replica shard）每個主分片可以有一個或者多個副本，數據和主分片一樣。

  ?

數據備份可以保證高可用，但是每個分片備份一份，所需要的節點數量就會翻一倍，成本實在是太高了！

為了在高可用和成本間尋求平衡，我們可以這樣做：

• 首先對數據分片，存儲到不同節點
• 然后對每個分片進行備份，放到對方節點，完成互相備份

這樣可以大大減少所需要的服務節點數量，如圖，我們以3分片，每個分片備份一份為例：

現在，每個分片都有1個備份，存儲在3個節點：

• node0：保存了分片0和1
• node1：保存了分片0和2
• node2：保存了分片1和2

部署es集群

我們會在單機上利用docker容器運行多個es實例來模擬es集群。不過生產環境推薦大家每一臺服務節點僅部署一個es的實例。

部署es集群可以直接使用docker-compose來完成，但這要求你的Linux虛擬機至少有4G的內存空間

docker-compose的安裝

可以參考：docker-compose的安裝

創建es集群

首先編寫一個docker-compose.yml文件，內容如下：

version: '2.2' services:es01:image: elasticsearch:7.12.1container_name: es01environment:- node.name=es01- cluster.name=es-docker-cluster- discovery.seed_hosts=es02,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data01:/usr/share/elasticsearch/dataports:- 9200:9200networks:- elastices02:image: elasticsearch:7.12.1container_name: es02environment:- node.name=es02- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data02:/usr/share/elasticsearch/dataports:- 9201:9200networks:- elastices03:image: elasticsearch:7.12.1container_name: es03environment:- node.name=es03- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es02- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data03:/usr/share/elasticsearch/datanetworks:- elasticports:- 9202:9200 volumes:data01:driver: localdata02:driver: localdata03:driver: localnetworks:elastic:driver: bridge

• cluster.name 集群名稱
• discovery.seed_hosts=es02,es03 集群另外兩個節點的地址，docker-compose可以用服務名稱直接互聯
• cluster.initial_master_nodes=es01,es02,es03 初始化的主節點，主節點是選出來的，這三個都可以參與選舉
• - “ES_JAVA_OPTS=-Xms512m -Xmx512m” 最小內存，最大內存

es運行需要修改一些linux系統權限，修改/etc/sysctl.conf文件

vi /etc/sysctl.conf

添加下面的內容：

vm.max_map_count=262144#:wq #保存

然后執行命令，讓配置生效：

sysctl -p

通過docker-compose啟動集群：
上傳docker-compose.yml

# 去到docker-compose.yml所在的目錄 docker-compose up -d

部署后，如果docker和docker-compose同時部署導致所有docker容器都訪問不了，也可以看里面的解決方案docker-compose部署

監控ES集群

kibana可以監控es集群，不過新版本需要依賴es的x-pack 功能，配置比較復雜。

這里推薦使用cerebro來監控es集群狀態，官方網址：https://github.com/lmenezes/cerebro

解壓后的目錄如下

進入bin目錄點擊cerebro.bat即可啟動

訪問http://localhost:9000 即可進入管理界面：

輸入你的elasticsearch的任意節點的地址和端口，點擊connect即可：

結束

至此, 安裝完成, 也是博主踩坑慢慢安裝過來的, 有任何問題也可以留言與博主交流, 希望對你有幫助!

總結

以上是生活随笔為你收集整理的服务器安装配置elasticsearch,kibana，IK分词器和拼音分词器，集群搭建教程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。