日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Flume fan out(扇出)详解

發布時間:2024/10/8 编程问答 46 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Flume fan out(扇出)详解 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

在flume中有時候需要將一個源(source)將數據發送到多個地方(sink),在flume中該術語叫做扇出(fan out),也就是從一個source向多個channel,就是向多個sink傳遞事件。下面就展示一個將同一事件傳遞到HDFS和logger。

agent1.sources = source1 agent1.sinks = sink1a sink1b agent1.channels = channel1a channel1bagent1.sources.source1.channels = channel1a channel1b agent1.sinks.sink1a.channel = channel1a agent1.sinks.sink1b.channel = channel1bagent1.sources.source1.type = spooldir agent1.sources.source1.spoolDir = /tmp/spooldiragent1.sinks.sink1a.type = hdfs agent1.sinks.sink1a.hdfs.path = /tmp/flume agent1.sinks.sink1a.hdfs.filePrefix = events agent1.sinks.sink1a.hdfs.fileSuffix = .log agent1.sinks.sink1a.hdfs.inUsePerfix = _ agent1.sinks.sink1a.hdfs.fileType = DataStreamagent1.sinks.sink1b.type = loggeragent1.channels.channel1a.type = file agent1.channels.channel1b.type = memory

與一對一不同的是將agent1.sources.source1.channels屬性設置為一個由channel1a和channel1b組成的空格分割列表,使得該配置為向多個channel傳遞事件。channel1b設置為memory意思是調試所用,并不需要當flume丟失數據重啟再次打印在控制臺上。
啟動改agent

flume-ng agent -c conf -f fanout.conf -n agent1 -Dflume.root.logger=DEBUG,console

在/tmp/spooldir上新建一個文件


[root@master spooldir]# echo "I Love strom" > /tmp/spooldir/.file7.txt
[root@master spooldir]# mv /tmp/spooldir/.file7.txt /tmp/spooldir/file7.txt
、
在控制臺上

現在控制臺上顯示文件的內容,然后將文件內容寫入HDFS,在HDFS中查看該文件內容:

總結

以上是生活随笔為你收集整理的Flume fan out(扇出)详解的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。