?

?

　　Collector的作用是將多個(gè)Agent的數(shù)據(jù)匯總后，加載到Storage中。它的source和sink與agent類似。

?

數(shù)據(jù)源（source），如：

　　collectorSource[(port)]：Collector source，監(jiān)聽端口匯聚數(shù)據(jù)。

　　autoCollectorSource：通過master協(xié)調(diào)物理節(jié)點(diǎn)自動(dòng)匯聚數(shù)據(jù)。

　　logicalSource：邏輯source，由master分配端口并監(jiān)聽rpcSink。

?

sink，如：
　　collectorSink( “fsdir”,”fsfileprefix”,rollmillis)：collectorSink，數(shù)據(jù)通過collector匯聚之后發(fā)送到hdfs, fsdir 是hdfs目錄，fsfileprefix為文件前綴碼。

　　customdfs(“hdfspath”[, "format"])：自定義格式dfs。

轉(zhuǎn)載于:https://www.cnblogs.com/zlslch/p/6784963.html

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Flume的Collector的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。