以大數(shù)據(jù)項目為主線，技術(shù)理論與項目實踐相結(jié)合，按照大數(shù)據(jù)項目的開發(fā)流程逐步推進，本文主要講解項目的需求分析、架構(gòu)設計以及離線和實時數(shù)據(jù)流程設計，然后提前規(guī)劃好大數(shù)據(jù)項目需要的集群，按照項目的實現(xiàn)邏輯，結(jié)合具體的技術(shù)組件詳細講解整個大數(shù)據(jù)項目的開發(fā)流程。

一、項目需求分析

需求分析是基礎，需求分析貫穿整個項目的始終，是對客戶需求的深入了解。整個項目自始至終都需要與客戶或用戶進行交流。大數(shù)據(jù)項目需求是以數(shù)據(jù)為中心，在需求分析階段就強調(diào)數(shù)據(jù)的分析。大數(shù)據(jù)項目的需求分析主要分為以下四階段。

● 概念需求分析

● 場景需求分析

● 界面需求分析

● 細節(jié)需求分析

接下來以廣西壯族自治區(qū)糖業(yè)大數(shù)據(jù)平臺項目項目，糖業(yè)數(shù)據(jù)采集+存儲+治理+分析+可視化應用+共享的案例來進行需求分析，具體需求如下。

1.場景需求分析

場景需求分析階段體現(xiàn)了系統(tǒng)的總體構(gòu)思與設計，目的是為了了解系統(tǒng)的組織形式和功能需求的全貌，解決“是什么”的問題。結(jié)合該項目案例的需求，滿足實時計算場景，需要設計大數(shù)據(jù)實時分析系統(tǒng)，當然同時也可以設計離線分析系統(tǒng)。分析系統(tǒng)包含數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)過濾清洗、數(shù)據(jù)統(tǒng)計分析以及數(shù)據(jù)可視化等結(jié)構(gòu)，最終需要統(tǒng)計分析蔗糖從生產(chǎn)到銷售的全生命周期數(shù)據(jù)管理。

2.概念需求分析

概念需求分析的任務是對系統(tǒng)中涉及的概念、數(shù)據(jù)內(nèi)容等進行分析，解決“有什么”的問題。該項目數(shù)據(jù)主要包含為涉農(nóng)應用提供蔗農(nóng)、蔗地塊精準數(shù)據(jù)，5大分析域、21個應用場景，主要以日志的形式寫到日志服務器本地磁盤。需要利用用戶瀏覽日志數(shù)據(jù)統(tǒng)計分析相應的需求結(jié)果，數(shù)據(jù)需要經(jīng)過以下流程。

（1）數(shù)據(jù)采集∶蔗糖數(shù)據(jù)落盤到日志服務器之后，可以利用Flume采集工具完成數(shù)據(jù)采集。

（2）數(shù)據(jù)存儲與交換∶根據(jù)離線和實時應用場景，可以將采集的數(shù)據(jù)存儲到HBase或Kafka。

（3）數(shù)據(jù)計算∶利用離線和實時計算框架完成對數(shù)據(jù)的統(tǒng)計分析，最后將結(jié)果輸出到數(shù)據(jù)庫。

（4）數(shù)據(jù)可視化∶對數(shù)據(jù)庫中的數(shù)據(jù)進行可視化，完成數(shù)據(jù)大屏展示。

?3.細節(jié)需求分析

細節(jié)需求分析是解決“怎么做”的問題。詳細的需求分析包括采用怎樣的大數(shù)據(jù)技術(shù)架構(gòu)、詳細的數(shù)據(jù)流程架構(gòu)設計以及數(shù)據(jù)庫設計等。

4.界面需求分析

客戶能否用好大數(shù)據(jù)系統(tǒng)最終決定項目的成敗，良好的可視化界面也是不可忽視的。系統(tǒng)界面的好壞并不是追求界面的炫酷，而是根據(jù)可視化界面能否分析出有價值的信息，幫助決策者快速做出決策，梯度科技提供綜合性糖業(yè)監(jiān)管全息可視化平臺。最終的可視化界面要準確反映糖業(yè)數(shù)據(jù)的實時變化情況，分析蔗糖從生產(chǎn)到銷售不同階段變化情況，以及實現(xiàn)糖業(yè)全產(chǎn)業(yè)鏈、價值鏈、供應鏈互聯(lián)互通，助力蔗糖產(chǎn)業(yè)走向智能化創(chuàng)新發(fā)展新方向。

總結(jié)

以上是生活随笔為你收集整理的大数据项目需求分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。