1. 日志采集框架Flume

1.1 Flume介紹

1.1.1 概述

1.Flume是一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。
2.Flume可以采集文件，socket數(shù)據(jù)包等各種形式源數(shù)據(jù)，又可以將采集到的數(shù)據(jù)輸出到HDFS、hbase、hive、kafka等眾多外部存儲(chǔ)系統(tǒng)中
3.一般的采集需求，通過對(duì)flume的簡(jiǎn)單配置即可實(shí)現(xiàn)
4.Flume針對(duì)特殊場(chǎng)景也具備良好的自定義擴(kuò)展能力，因此，flume可以適用于大部分的日常數(shù)據(jù)采集場(chǎng)景

1.1.2 運(yùn)行機(jī)制

1、 Flume分布式系統(tǒng)中最核心的角色是agent，flume采集系統(tǒng)就是由一個(gè)個(gè)agent所連接起來形成
2、 每一個(gè)agent相當(dāng)于一個(gè)數(shù)據(jù)傳遞員，內(nèi)部有三個(gè)組件：
a) Source：采集源，用于跟數(shù)據(jù)源對(duì)接，以獲取數(shù)據(jù)
b) Sink：下沉地，采集數(shù)據(jù)的傳送目的，用于往下一級(jí)agent傳遞數(shù)據(jù)或者往最終存儲(chǔ)系統(tǒng)傳遞數(shù)據(jù)
c) Channel：angent內(nèi)部的數(shù)據(jù)傳輸通道，用于從source將數(shù)據(jù)傳遞到sink

1.1.3 Flume采集系統(tǒng)結(jié)構(gòu)圖

1. 簡(jiǎn)單結(jié)構(gòu)
單個(gè)agent采集數(shù)據(jù)

2. 復(fù)雜結(jié)構(gòu)
多級(jí)agent之間串聯(lián)

總結(jié)

以上是生活随笔為你收集整理的日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。