Beats簡介

　　Beats被官方稱為Lightweight Data Shipper，就是輕量級數(shù)據(jù)傳送者，它主要有幾個分類，如下：

　　　　1. Filebeats日志文件，主要是針對日志文件。

　　　　2. Metricbeat度量數(shù)據(jù)，主要可以收集CPU等數(shù)據(jù)，內(nèi)存，磁盤，服務(wù)器軟件（如nginx，Mysql等）。

　　　　3. Packetbeat網(wǎng)絡(luò)數(shù)據(jù)，主要收集網(wǎng)絡(luò)數(shù)據(jù)。

　　　　4. Winlogbeat Windows數(shù)據(jù)，針對windows系統(tǒng)日志數(shù)據(jù)。

　　　　5. Heartbeat健康檢查?！　?/p>

下圖是Beats在整個Elastic Stack中的位置。

　　

　　Beats位于上圖的左側(cè)，也就是數(shù)據(jù)產(chǎn)生的起始端，它們可以將數(shù)據(jù)直接傳輸?shù)絜lasticsearch中，也可以通過logstash對數(shù)據(jù)進(jìn)行解析和轉(zhuǎn)換，然后在傳輸?shù)絜lasticsearch，最后在對數(shù)據(jù)進(jìn)行可視化的展示。

什么是Filebeat

　　Filebeat是一款使用go語言開發(fā)的，主要是對日志文件進(jìn)行處理的，是一個屬于Beats系列的日志托運者 （一組安裝在主機(jī)上的輕量級托運人），用于將不同類型的數(shù)據(jù)傳送到ELK堆棧進(jìn)行分析。每個Beat專門用于傳送不同類型的信息，例如，Winlogbeat發(fā)布Windows事件日志，Metricbeat發(fā)布主機(jī)指標(biāo)等等。顧名思義，F(xiàn)ilebeat提供日志文件。

　　Filebeat處理流程

　　　　1. 日志文件輸入（Input）。

　　　　2. 處理日志文件（Filter）。

　　　　3. 輸出到目標(biāo)對象中（Output）。

上圖是Filebeat的結(jié)構(gòu)圖。 上圖左邊灰色框中就是Filebeat，右邊是Filebeat的輸出對象，F(xiàn)ilebeat可以將日志輸出到Elasticsearch，Logstash，Kafka，redis等。

Filebeat的組成

根據(jù)上圖可以看到Filebeat由兩個主要組件組成，prospector 和 harvester。
　　　　1. harvester（收割者）：
　　　　　　負(fù)責(zé)讀取單個文件的內(nèi)容。
　　　　　　如果文件在讀取時被刪除或重命名，F(xiàn)ilebeat將繼續(xù)讀取文件。

　　　　2. prospector（觀察者）：
　　　　　　prospector負(fù)責(zé)管理harvester并找到所有要讀取的文件來源，主要監(jiān)控文件是否變化，如果輸入類型為日志，則查找器將查找路徑匹配的所有文件，并為每個文件啟動一個harvester（上圖prospector1就有兩個harvester），如果文件有變化harvester就會收集新的日志。

　　　　　Filebeat可以有多個prospector，每個prospector負(fù)責(zé)的文件是不同的。　　　　
　　　　　　

Filebeat安裝

　　可以先將Filebeats下載，去官網(wǎng)下載，地址：https://www.elastic.co/downloads/beats，也可以在這個地址 https://elasticsearch.cn/download/

　　Filebeats官網(wǎng)地址：https://www.elastic.co/cn/beats/filebeat

Filebeats文檔地址：https://www.elastic.co/guide/en/beats/filebeat/current/index.html

　　

　　Filebeats目錄說明

　　Mac系統(tǒng)安裝：

　　可以先查看filebeat安裝信息

　　

　　安裝

　　

　　查看安裝是否成功

　　

安裝后Filebeat的相關(guān)安裝位置:

　　1. 安裝目錄：/usr/local/Cellar/filebeat/{filebeat版本}/

　　2. 配置目錄：/usr/local/etc/filebeat/

　　3. 緩存目錄：/usr/local/var/lib/filebeat/

　　

　　啟動featbeat，可以通過命令brew services start filebeat

　　

Filebeat配置

　　Filebeat的配置文件是filebeat.yml。Filebeat使用的是yaml語法，下面是Filebeat配置示例

filebeat.prospector:
  - input_type: log     
paths:                  
  - /var/log/apache/httpd-*.log
document_type: apache
  - input_type: log
paths:
  - /var/log/messages
  - /var/log/*.log　

說明：

　　1. prospector可以配置多個，所以這里yaml對于數(shù)組是用 - 符號來表示的，每個prospector都有輸入類型(input_type)，這里log表示日志文件。

　　2. paths也是數(shù)組(下面也有-這個符號)，path用于指定日志路徑。

　　Filebeat Output配置

　　　　1. Filebeat Console（標(biāo)準(zhǔn)輸出）：Filebeat將收集到等數(shù)據(jù)，輸出到console里，一般用于開發(fā)環(huán)境中，用于調(diào)試。

output.console
    pretty.true
    enable: true

　　　　2. Filebeat Elasticsearch

output.elasticsearch
    host:["http://localhost:9200"]
    username: "admin"
    password: "123456"

　　

　　Filebeat Filter配置

　　 Filebeat本身可以對數(shù)據(jù)進(jìn)行處理，不過處理能力還是有點弱，同時也缺乏對數(shù)據(jù)轉(zhuǎn)換的能力。

Filebeat 演示-收集Nginx日志

　　通過stdin收集日志。

先查看Nginx是否啟動，在瀏覽器上輸入http://127.0.0.1:8080/

　　

　　如果不知道你的環(huán)境nginx監(jiān)聽的端口，可以查看nginx.conf配置文件中l(wèi)isten就可以。

　　

　　查看下nginx日志內(nèi)容

songguojundeMacBook-Pro:~ songguojun$ head -n 10 /usr/local/var/log/nginx/access.log 
127.0.0.1 - - [07/May/2020:22:38:13 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:76.0) Gecko/20100101 Firefox/76.0"
127.0.0.1 - - [07/May/2020:22:44:36 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:76.0) Gecko/20100101 Firefox/76.0"

先對nginx.yml文件進(jìn)行配置，我的Mac系統(tǒng)nginx.yml路徑在/usr/local/etc/filebeat/modules.d/下面，如果沒有，可以新建一個nginx.yml文件。

該文件內(nèi)容配置如下：

filebeat.prospectors:
- input_type: stdin

output.console:
    pretty: true

在輸入命令head -n 10 /usr/local/var/log/nginx/access.log | filebeat -e -c /usr/local/etc/filebeat/modules.d/nginx.yml

nginx日志每一條都被封裝到j(luò)son中。

Filebeat和Elasticsearch Ingest Node

　　Filebeat是缺乏對數(shù)據(jù)轉(zhuǎn)換的能力。所以ES在5.x版本的時候增加了一個新的node類型Ingest Node。這個Ingest Node可以在數(shù)據(jù)寫入ES之前可以對數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使用的Api是pipeline。

Filebeat Module介紹

　　Filebeat Module是針對社區(qū)中常見的需求進(jìn)行配置，封裝來增加易用性，比如常見nginx的日志，apache日志，mysql日志。這些封裝都在featbeat.yml這個配置文件中。

總結(jié)

以上是生活随笔為你收集整理的Beats及Filebeat轻量型日志采集器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。