Flume在企業大數據倉庫架構中位置及功能

hadoop數據倉庫flume

數據倉庫架構

1、如下圖所示，外部數據中，關系型數據庫導入到HDFS用sqoop，由Nginx產生的文件實時監控用Flume獲得。
在HDFS或Hbase中，如果要進行實時查詢用Impala（內存），如果是分析可以用Hive，Mapreduce分析。用Oozie來調用工作流執行任務。

2、左邊是數據的來源：系統日志文件，應用文件（應用系統收集APP產生的日志），點擊流（點擊產生的日志），銷售點（訂單信息）。通過Flume收集然后給HDFS存儲。

3、Flume在企業中的做法

轉載于:https://www.cnblogs.com/raymoc/p/5343568.html

總結

以上是生活随笔為你收集整理的Flume在企业大数据仓库架构中位置及功能的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。