Flume 介紹

概述

Flume是一個分布式、可靠、和高可用的?量日志采集、聚合和傳輸的系統。

Flume可以采集文件，socket數據包、文件、文件夾、kafka等各種形式源數據，又可以將采集到的數據(下沉sink)輸出到HDFS、hbase、hive、kafka等眾多外部存儲系統中

一般的采集需求，通過對flume的簡單配置即可實現

Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用于大部分的日常數據采集場景

運行機制

1. Flume分布式系統中最核心的角色是agent，flume采集系統就是由一個個agent所連接起來形成

2. 每一個agent相當于一個數據傳遞員，內部有三個組件：

? ?1. Source：采集組件，用于跟數據源對接，以獲取數據
? ?2. Sink：下沉組件，用于往下一級agent傳遞數據或者往最終存儲系統傳遞數據
? ?3. Channel：傳輸通道組件，用于從source將數據傳遞到sink

Flume 結構圖

簡單結構

單個 Agent 采集數據

復雜結構

多級 Agent 之間串聯

總結

以上是生活随笔為你收集整理的flume的概述和运行机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。