項目總結

1、集群規模

12臺物理機：128G內存，8T機械硬盤，2T固態硬盤，20核40線程，戴爾4萬多一臺

2、框架結構

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-7ckVXLSQ-1662297650633)(C:\Users\11030\Desktop\離線數倉采集總結\Snipaste_2022-07-22_22-31-02.png)]

注：需要畫出來

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-943OUdpM-1662297650635)(C:\Users\11030\Desktop\離線數倉采集總結\Snipaste_2022-07-22_22-57-46.png)]

3、離線數倉采集項目

3.1 第一個flume（Flume1.7）

組件：source，channel，sink，攔截器，選擇器，監控器，碰到的問題

（1）source

? 我們使用的是taildirsource，這個是apache 1.7版本才有（2016 年 10 月 17 日 - Apache Flume 1.7.0 發布），選擇這個source的原因是taildir source可以實時監控多個文件且有斷點續傳功能。

遇到的一個小問題（測試時發現第二天數據重復）：</

總結

以上是生活随笔為你收集整理的大数据项目总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。