文章目錄

• • • • • 一、軟件下載列表
        • • 1. zookeeper
          • 2. kafka
          • 3. logstash
          • 4. elasticsearch
          • 5. kibana
          • 6. zktools
        • 二、安裝zk環(huán)境
        • • 2.1. 上傳安裝包
          • 2.2. 解壓
          • 2.3. 創(chuàng)建data目錄
          • 2.4. 修改配置
          • 2.5.啟動zk
        • 三、安裝kafka環(huán)境
        • • 3.1. 上傳安裝包
          • 3.2. 解壓kafka安裝包
          • 3.3. 創(chuàng)建data文件夾
          • 3.4. 修改配置
          • 3.5. 啟動kafka
        • 四、docker安裝ES
        • • 4.1. 安裝ES
          • 4.2. 驗證服務
        • 五、docker安裝Kibana
        • • 5.1. 創(chuàng)建Kibana容器
          • 5.2. 驗證服務
        • 六、構(gòu)建環(huán)境
        • • 6.1. 解壓logstash
          • 6.2. 安裝kafka輸入插件
          • 6.3. 安裝elasticsearch輸入插件
          • 6.4. Kafka logstash配置文件
          • 6.5. 啟動logstash
        • 七、Elk整合實際項目

一、軟件下載列表

1. zookeeper

zookeeper-3.4.10.tar.gz

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

2. kafka

kafka_2.12-2.1.1.tgz

wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.12-2.1.1.tgz

3. logstash

logstash-6.7.2.tar.gz

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.7.2.tar.gz

4. elasticsearch

elasticsearch-6.7.2.tar.gz

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.2.tar.gz

5. kibana

kibana-6.7.2-linux-x86_64.tar.gz

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.2-linux-x86_64.tar.gz

6. zktools

鏈接： https://pan.baidu.com/s/1c8m6yBwPc5DBTg5lIrfkKw 提取碼：7agv

說明：elasticsearch和kibana 演示采用docker安裝方便，后續(xù)都更換成docker

二、安裝zk環(huán)境

2.1. 上傳安裝包

上傳Zookeeper安裝包，#進入軟件安裝目錄/app

cd /app

2.2. 解壓

解壓zookeeper到安裝目錄

tar -zxvf zookeeper-3.4.10.tar.gz

2.3. 創(chuàng)建data目錄

創(chuàng)建data及l(fā)ogs目錄

cd /app/zookeeper-3.4.10 mkdir data

2.4. 修改配置

修改Zookeeper的配置文件

cd /app/zookeeper-3.4.10/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg

修改配置文件：dataDir=/app/zookeeper-3.4.10/data

2.5.啟動zk

cd /app/zookeeper-3.4.10/bin ./zkServer.sh start

三、安裝kafka環(huán)境

3.1. 上傳安裝包

1.上傳kafka安裝包kafka_2.12-2.1.1.tgz到/app 目錄下

3.2. 解壓kafka安裝包

tar -zxvf kafka_2.12-2.1.1.tgz

3.3. 創(chuàng)建data文件夾

進入到kafka安裝目錄下，創(chuàng)建data文件夾

cd cd /app/kafka_2.12-2.1.1/ mkdir data

3.4. 修改配置

修改kafka的配置文件

vim config/server.propertieslog.dirs=/app/kafka_2.12-2.1.1/data listeners=PLAINTEXT://當前服務器ip:9092 advertised.listeners=PLAINTEXT://當前服務器ip:9092

3.5. 啟動kafka

cd /app/kafka_2.12-2.1.1/ bin/kafka-server-start.sh config/server.properties

后臺啟動：nohup bin/kafka-server-start.sh config/server.properties &

四、docker安裝ES

4.1. 安裝ES

1.安裝elasticsearch

docker run \ -d \ --name es \ -p 9200:9200 -p 9300:9300 \ -e ES_JAVA_OPTS="-Xms512m -Xmx512m" \ elasticsearch:6.7.2

4.2. 驗證服務

[root@localhost ~]# curl 127.0.0.1:9200 {"name" : "A_ZAaLs","cluster_name" : "docker-cluster","cluster_uuid" : "vkEHjf_fRO-11XSDYmjW-A","version" : {"number" : "6.7.2","build_flavor" : "default","build_type" : "docker","build_hash" : "56c6e48","build_date" : "2019-04-29T09:05:50.290371Z","build_snapshot" : false,"lucene_version" : "7.7.0","minimum_wire_compatibility_version" : "5.6.0","minimum_index_compatibility_version" : "5.0.0"},"tagline" : "You Know, for Search" }

五、docker安裝Kibana

5.1. 創(chuàng)建Kibana容器

& Kibana

docker run \ -it \ -d \ -e ELASTICSEARCH_URL=http://192.168.92.137:9200 \ --name kibana \ --restart=always \ -p 5601:5601 \ kibana:6.7.2

5.2. 驗證服務

測試運行結(jié)果

http://192.168.92.137:5601/app/kibana

六、構(gòu)建環(huán)境

logstash 同步到 elasticsearch

Logstash是一個開源數(shù)據(jù)收集引擎，具有實時管道功能。Logstash可以動態(tài)地將來自不同數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一起來，并將數(shù)據(jù)標準化到你所選擇的目的地

Logstash輸入數(shù)據(jù)源：

本地文件

Kafka

Redis/mysql
Logstash輸出數(shù)據(jù)源：

Es

Mongdb

Redis

Mysql

6.1. 解壓logstash

tar -zxvf logstash-6.7.2.tar.gz

6.2. 安裝kafka輸入插件

cd /app/logstash-6.7.2 bin/logstash-plugin install logstash-input-kafka

6.3. 安裝elasticsearch輸入插件

bin/logstash-plugin install logstash-output-elasticsearch

6.4. Kafka logstash配置文件

vim /app/logstash-6.7.2/config/mylog.conf

添加以下內(nèi)容：

input {kafka {bootstrap_servers => "192.168.92.137:9092" # kafka服務端地址topics => "mayikt-log" # 隊列名稱} } filter {#Only matched data are send to output. } output {elasticsearch {action => "index" #The operation on EShosts => "192.168.92.137:9200" # ElasticSearch host, can be array.index => "mayikt_logs" # The index to write data to.}}

6.5. 啟動logstash

cd /app/logstash-6.7.2/bin ./logstash -f ../config/kafka.conf

到目前為止，zookeeper、kakfa、elasticsearch、kibana、logstash-6.7.2 都啟動完畢了

七、Elk整合實際項目

https://gblfy.blog.csdn.net/article/details/123434785

總結(jié)

以上是生活随笔為你收集整理的分布式解决方案之分布式日志采集elk+kafka 环境的构建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。