1. 日志采集框架Flume

1.1 Flume介紹

1.1.1 概述

1.Flume是一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的系統。
2.Flume可以采集文件，socket數據包等各種形式源數據，又可以將采集到的數據輸出到HDFS、hbase、hive、kafka等眾多外部存儲系統中
3.一般的采集需求，通過對flume的簡單配置即可實現
4.Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用于大部分的日常數據采集場景

1.1.2 運行機制

1、 Flume分布式系統中最核心的角色是agent，flume采集系統就是由一個個agent所連接起來形成
2、 每一個agent相當于一個數據傳遞員，內部有三個組件：
a) Source：采集源，用于跟數據源對接，以獲取數據
b) Sink：下沉地，采集數據的傳送目的，用于往下一級agent傳遞數據或者往最終存儲系統傳遞數據
c) Channel：angent內部的數據傳輸通道，用于從source將數據傳遞到sink

1.1.3 Flume采集系統結構圖

1. 簡單結構
單個agent采集數據

2. 復雜結構
多級agent之間串聯

總結

以上是生活随笔為你收集整理的日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。