Flume下載后，解壓，新增一個配置文件，寫入配置即可

我將配置文件寫在 conf 下，取名為 flume-conf-spooldir.properties

Flume 運行命令：

bin/flume-ng agent --conf conf --conf-file conf/flume-conf-spooldir.properties --name LogAgent -Dflume.root.logger=DEBUG,console

其中，

-Dflume.root.logger=DEBUG,console 純粹是為了在控制臺打印而加的，非必須

?

之后在/tmp/logs 目錄下，放入一個文件，即可看到運行效果

根據此配置文件，會有的效果：

1、hdfs中有 /tmp/logs 放入的文件

2、/tmp/logs 中放入的文件有一個后綴名.complete

?

注：要保證 HDFS 是啟動起來的

?

配置文件的內容為：

（具體配置去官網查即可）

LogAgent.sources = mysource LogAgent.channels = mychannel LogAgent.sinks = mysinkLogAgent.sources.mysource.type = spooldir LogAgent.sources.mysource.channels = mychannel LogAgent.sources.mysource.spoolDir =/tmp/logsLogAgent.sinks.mysink.channel = mychannel LogAgent.sinks.mysink.type = hdfs LogAgent.sinks.mysink.hdfs.path = hdfs://node1:9000/data/logs/%Y/%m/%d/%H/ LogAgent.sinks.mysink.hdfs.batchSize = 1000 LogAgent.sinks.mysink.hdfs.rollSize= 0 LogAgent.sinks.mysink.hdfs.rollCount = 10000 LogAgent.sinks.mysink.hdfs.useLocalTimeStamp = trueLogAgent.channels.mychannel.type = memory LogAgent.channels.mychannel.capacity = 10000 LogAgent.channels.mychannel.transactionCapacity = 100

?

轉載于:https://www.cnblogs.com/sorco/p/6900830.html

總結

以上是生活随笔為你收集整理的Flume1.7.0的安装与使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。