文章目錄

• • 1 介紹
  • 2 ELK安裝
  • • 2.1 Elasticearch安裝
    • • 2.1.1 windows 安裝
      • 2.1.2 linxu安裝
    • 2.2 可視化界面 elasticsearch-head
    • 2.3 安裝 Kibana
  • 3 docker部署elk
  • • 3.1 基本配置
    • 3.2 安裝插件
  • 4 ES核心概念
  • 5 IK分詞器插件
  • • 5.1 增加自己的配置

1 介紹

Elasticsearch是一個(gè)實(shí)時(shí)分布式搜索和分析引擎。它讓你以前所未有的速度處理大數(shù)據(jù)成為可能。
它用于全文搜索、結(jié)構(gòu)或搜索、分析以及將這三者混合使用

搜索糾錯(cuò)、實(shí)時(shí)反饋

2 ELK安裝

環(huán)境：

• JDK1.8 最低要求
• Java開發(fā)、ElasticSearch的版本和我們之后對應(yīng)的Java的核心jar包。

官網(wǎng)：https://www.elastic.co/cn

下載：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-6-2

我們在windows下演示

ELK三劍客，解壓即用：

• Nodejs
• python2

2.1 Elasticearch安裝

2.1.1 windows 安裝

bin 啟動(dòng)文件 config 配置文件log4j2 日志配置文件jvm.options java 虛擬機(jī)相關(guān)配置elasticsearch.yml elasticsearch配置文件 默認(rèn)9200端口！有跨域問題 lib 相關(guān)jar包 logs 日志 modules 功能模塊 plugubs 插件 ik分詞

啟動(dòng)：
bin/elasticsearch.bat

訪問測試
http://127.0.0.1:9200/

{"name" : "USERMIC-AQENDNF","cluster_name" : "elasticsearch","cluster_uuid" : "SgT0Xh5-QvCHBwjnrlMhOw","version" : {"number" : "7.6.2","build_flavor" : "default","build_type" : "zip","build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f","build_date" : "2020-03-26T06:34:37.794943Z","build_snapshot" : false,"lucene_version" : "8.4.0","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search" }

2.1.2 linxu安裝

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz

2.2 可視化界面 elasticsearch-head

https://github.com/mobz/elasticsearch-head

1、配置elasticsearch

解決跨域問題：elasticsearch-7.6.2\config\elasticsearch.yml

文件尾部添加如下代碼

http.cors.enabled: true http.cors.allow-origin: "*"

2、啟動(dòng)elasticsearch-head

docker build -t elk-head .

2.3 安裝 Kibana

官網(wǎng)：https://www.elastic.co/cn/kibana/

Kibana版本要和ES一致

1、啟動(dòng)

http://localhost:5601

2、漢化
國際化文件x-pack\plugins\translations\translations\zh-CN.json
修改配置：config/ kibana.yml
116行

i18n.locale: "zh-CN"

3 docker部署elk

docker命令：https://vitcloud.blog.csdn.net/article/details/122652560
下載：
https://github.com/deviantony/docker-elk/tree/release-7.x

http://localhost:9200/
http://localhost:5601/

3.1 基本配置

1. 啟動(dòng)

docker-compose up

默認(rèn)用戶名、密碼
user: elastic
password: changeme

2 為內(nèi)置用戶初始化密碼

docker-compose exec -T elasticsearch bin/elasticsearch-setup-passwords auto --batch Changed password for user apm_system PASSWORD apm_system = 40iHqszWXZuBHJUAO2rOChanged password for user kibana_system PASSWORD kibana_system = Mld3fRmxEmJy5mLwhbc2Changed password for user kibana PASSWORD kibana = Mld3fRmxEmJy5mLwhbc2Changed password for user logstash_system PASSWORD logstash_system = FEwag4dLfVJS6cVVZemnChanged password for user beats_system PASSWORD beats_system = S6L29ErIA3jigEQLTvnWChanged password for user remote_monitoring_user PASSWORD remote_monitoring_user = 7zWztQAFCoWytAA9VCDmChanged password for user elastic PASSWORD elastic = EtWvHc8lGh05YS7vS1mq

3 取消設(shè)置引導(dǎo)密碼（可選）

docker-compose.yml

ELASTIC_PASSWORD

4 替換密碼
kibana/config/kibana.yml

elasticsearch.username: elastic elasticsearch.password: EtWvHc8lGh05YS7vS1mq

logstash/config/logstash.yml

xpack.monitoring.elasticsearch.username: elastic xpack.monitoring.elasticsearch.password: EtWvHc8lGh05YS7vS1mq

logstash/pipeline/logstash.conf

output {elasticsearch {hosts => "elasticsearch:9200"user => "elastic"password => "EtWvHc8lGh05YS7vS1mq"ecs_compatibility => disabled} }

重啟服務(wù)

docker-compose restart kibana logstash

3.2 安裝插件

1. 命令安裝
在Dockerfile添加下面格式命令

RUN elasticsearch-plugin install analysis-icu

2. 手動(dòng)安裝

進(jìn)入容器

docker exec -it e40bd5ee5f42 /bin/bash

宿主機(jī)解壓好后，想容器復(fù)制插件

docker cp /usr/local/ik/ 容器名:/usr/share/elasticsearch/plugins docker cp /usr/local/ik/ docker-elk_elasticsearch_1:/usr/share/elasticsearch/plugins

重啟容器

docker restart 41e4c48f216c

4 ES核心概念

索引

字段類型(mapping)

文檔

集群、節(jié)點(diǎn)、索引、類型、文檔、分片、映射是什么？
elesticsearch是面向文檔，關(guān)系行數(shù)據(jù)庫和delecticsearch客觀的對比

Relation DBElasticsearch

數(shù)據(jù)庫	索引(indices)
表(tables)	types(逐漸棄用)
行(rows)	documents
字段(columns)	fields

物理設(shè)計(jì)：
eleasticsearch在后臺(tái)把每個(gè)索引分成多個(gè)分片，每分分片可以在集群中的不同服務(wù)器間遷移

文檔

elasticsearch是面向文檔的，name就意味著索引和搜索數(shù)據(jù)的做小單位是文檔，在elasticsearch中，文檔有以下幾個(gè)重要屬性。

• 自我包含，一篇文檔同時(shí)包含字段和對應(yīng)的值，也就是同時(shí)包含key:value
• 可以使層次型的，一個(gè)文檔中包含自文檔，復(fù)雜的邏輯實(shí)體就是這么來的。
• 靈活的結(jié)構(gòu)，文檔不依賴預(yù)先定義的模式，我們指導(dǎo)關(guān)系型數(shù)據(jù)庫中，要提前定義字段才能使用，在elasticsearch中，對于字段是非常靈活的，有時(shí)候，我們可以忽略該字段，或者動(dòng)態(tài)的添加一個(gè)新的字段。

類型
映射類型

name: string test birt: date

索引
就是數(shù)據(jù)庫

一個(gè)集群至少有一個(gè)節(jié)點(diǎn)，而一個(gè)節(jié)點(diǎn)就是一個(gè)elasticsearch進(jìn)程，節(jié)點(diǎn)可以有多個(gè)索引
如果創(chuàng)建索引，那么有5個(gè)分片（primary shard，又稱主分片）構(gòu)成的，每一個(gè)主分片會(huì)有一個(gè)副本（replic shard, 又稱復(fù)制分片）

一個(gè)分片是一個(gè)Lucene索引

倒排索引

elesticsearch使用的是一種稱為倒排索引的機(jī)構(gòu)，采用Lucene倒排索作為底層。這種結(jié)構(gòu)適用于快速的全文搜索，一個(gè)索引由文檔中所有不重復(fù)的列表構(gòu)成，對于每一個(gè)次，都有一個(gè)包含它的文檔列表。
例如，現(xiàn)有兩個(gè)文檔，每個(gè)文檔包含如下內(nèi)容：

study every day, good good up to forever # 文檔1 Tto forever, study erery day # 文檔2

如果要搜索含有python標(biāo)簽的文章，那相對于查找的所有原始數(shù)據(jù)而言，查找倒排

5 IK分詞器插件

什么事IK分詞器？

分詞：即把一段中文或者別的劃分成一個(gè)個(gè)關(guān)鍵字，我們在搜索時(shí)候會(huì)把自己的信息進(jìn)行分詞，會(huì)把數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分詞，然后進(jìn)行一個(gè)匹配操作，默認(rèn)的中文分詞是將每個(gè)字看成一個(gè)詞。

IK提供了兩個(gè)分詞算法：ik_smart和ik_max_word，其中ik_smart為最少的切分，ik_max_word為最細(xì)力度劃分。

1. 安裝
注意版本
https://github.com/medcl/elasticsearch-analysis-ik

查看已加載的插件
elasticsearch-plugin.bat

elasticsearch-plugin list

# 最少切分 GET _analyze {"analyzer": "ik_smart","text": "人民教育出版社" }

# 最細(xì)力度劃分：可能所有組合 GET _analyze {"analyzer": "ik_max_word","text": "人民教育出版社" }

5.1 增加自己的配置

elasticsearch-analysis-ik-7.17.0confi/IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties><comment>IK Analyzer 擴(kuò)展配置</comment><!--用戶可以在這里配置自己的擴(kuò)展字典 --><entry key="ext_dict">my.dic</entry><!--用戶可以在這里配置自己的擴(kuò)展停止詞字典--><entry key="ext_stopwords"></entry><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展停止詞字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> --> </properties>

my.dic

有勇氣的牛排

重啟

docker restart 41e4c48f216c

學(xué)習(xí)地址：狂神說
https://www.bilibili.com/video/BV17a4y1x7zq

總結(jié)

以上是生活随笔為你收集整理的Elasticearch 安装 基础介绍 （一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。