隨著公司日益增長的業務，日志增長較快，各種bug層出不窮。為了快速定位問題以及做告警/數據分析等問題，就針對性的查看/搭建了幾種日志服務系統。

可能整理的不是那么正確或者詳盡。但也記錄一下，方便日后回顧時補充或者參考。

對于整個日志服務的規劃大概如下：

?

不同日志服務框架對比

? ? ?

阿里系

其他

?

編號

?

(一)Logtail

(二)Appender

(三)ELK

(四)Hadoop

(五)Splunk

費用

1

費用

按量收費

按量收費

開源

開源

商業版

日志接入方式

2

服務端

安裝logtail服務端,配置采集源

無

logstash

—

Splunk服務端

3

客戶端

安裝logtail客戶端

替換log4j并配置

logstash-forwarder

—

Splunk客戶端

4

搭建難度

按照教程配置

簡單

開源相關軟件全部安裝

開源相關軟件全部安裝

官網下載后破解

5

分布式支持

支持

–

支持

支持

支持

數據范圍

6

數據范圍

增量數據

增量數據

全量數據

全量數據

全量數據

數據采集

7

方式

目標機器 -> 服務端 ? ? ? ? ? ? ? 服務端 ? ?-> 阿里云

目標機器 ?-> ?阿里云

目標機器 -> 服務端 ? ? ? ? ? ? (logstash ?-> ElasticSearch)

目標機器 -> 服務端

目標機器 -> 服務端 ? ? ? ? ? ? ?(forward -> server)

8

傳輸格式

極簡/分隔符/JSON格式

原內容

過濾后/JSON格式

可過濾

過濾后的索引文件

9

監控

logtail有控制臺

無

logstash可監控

flume

Splunk forward

10

可靠性(數據丟失率)

高

高

高

高

高

11

數據遷移/硬盤增加[指日志數據]

監控增加目錄配置

–

? ? ?

數據查詢

12

查看[圖形化界面]

阿里后臺

阿里后臺

kibana

分析結果入庫查詢？

服務端web控制臺

13

權限

阿里賬號

阿里賬號

權限可分配

？

權限可分配

14

語法

大同小異

數據處理

15

擴展

局限于阿里云系列產品

插件

插件

？

16

圖形化支持

是

是

是

是

是

17

支持導出

導出阿里云存儲類系列產品

kibana導出cvs/excel

?

excel/其他

性能影響

18

日志搜集這一塊

參考測評：https://blog.csdn.net/qq_27252133/article/details/54019965

?

試用下來，

1.阿里的Appender配置最為簡單，只要替換相關jar包，并做log4j的配置即可，且不占用自己磁盤空間，直接上傳服務器。但是收費！

2.商業版的Splunk也是一套比較完善且實用的工具，界面友好，操作簡單，基本滿足所有的需求。需要破解！

3.ELK是開源的，官網提供的安裝包基本是一鍵安裝式的，配置簡單。一些奇怪問題可能網上資料少,需要研究！

4.阿里的logtail，整體的配置感覺要比ELK復雜稍許，功能強大，較局限于阿里系產品的轉換(如數據導出)。但是收費!

5.Hadoop作為數據分析的大哥，過于重量級，且不是那么的熟悉，果斷放棄。

6. 其他同類產品可能差不多，就不多做闡述了

?

最終通過一系列的考察\分析，最終選擇了ELK作為公司的日志服務框架。

環境搭建之Mac下安裝SplunkEnterprise日志服務程序/SplunkForward通用轉發器部署客戶端

環境搭建之ELK(ElasticSearch+LogStash+Kibana)Mac/Linux系統上搭建6.4.2

其他待補充

?

---

? ?原創文章，轉載請標明本文鏈接:?環境搭建之日志搜集/采集服務系統對比(logtail/hadoop/elk/splunk/appender)?

來源：https://www.deathearth.com/320.html

總結

以上是生活随笔為你收集整理的环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。