一、大數(shù)據(jù)是什么?

大數(shù)據(jù)，bigdata，《大數(shù)據(jù)》一書對(duì)大數(shù)據(jù)這么定義，大數(shù)據(jù)是指不能用隨機(jī)分析法(抽樣調(diào)查)這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。

這句話至少傳遞兩種信息：

1、大數(shù)據(jù)是海量的數(shù)據(jù)

2、大數(shù)據(jù)處理無(wú)捷徑，對(duì)分析處理技術(shù)提出了更高的要求

二、大數(shù)據(jù)的處理流程

下圖是數(shù)據(jù)處理流程：

1、底層是數(shù)以千億計(jì)的數(shù)據(jù)源，數(shù)據(jù)源可以是SCM(供應(yīng)鏈數(shù)據(jù))，4PL(物流數(shù)據(jù))，CRM(客戶數(shù)據(jù))，網(wǎng)站日志以及其他的數(shù)據(jù)

2、第二層是數(shù)據(jù)加工層，數(shù)據(jù)工程師對(duì)數(shù)據(jù)源按照標(biāo)準(zhǔn)的統(tǒng)計(jì)口徑和指標(biāo)對(duì)數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)化、裝載(整個(gè)過(guò)程簡(jiǎn)稱ELT)

3、第三層是數(shù)據(jù)倉(cāng)庫(kù)，加工后的數(shù)據(jù)流入數(shù)據(jù)倉(cāng)庫(kù)，進(jìn)行整合和存儲(chǔ)，形成一個(gè)又一個(gè)數(shù)據(jù)集市。

數(shù)據(jù)集市，指分類存儲(chǔ)數(shù)據(jù)的集合，即按照不同部門或用戶的需求存儲(chǔ)數(shù)據(jù)。

4、第四層是BI(商業(yè)智能)，按照業(yè)務(wù)需求，對(duì)數(shù)據(jù)進(jìn)行分析建模、挖掘、運(yùn)算，輸出統(tǒng)一的數(shù)據(jù)分析平臺(tái)

5、第五層是數(shù)據(jù)訪問層，對(duì)不同的需求方開放不同的數(shù)據(jù)角色和權(quán)限，以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。

大數(shù)據(jù)的量級(jí)，決定了大數(shù)據(jù)處理及應(yīng)用的難度，需要利用特定的技術(shù)工具去處理大數(shù)據(jù)。

人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的未來(lái)發(fā)展值得重視，均為前沿產(chǎn)業(yè)，多智時(shí)代專注于人工智能和大數(shù)據(jù)的入門和科譜，在此為你推薦幾篇優(yōu)質(zhì)好文：
大數(shù)據(jù)工程師培訓(xùn)，需要學(xué)習(xí)的有哪些課程?
http://www.duozhishidai.com/article-15081-1.html
大數(shù)據(jù)工程師就業(yè)培訓(xùn)哪個(gè)好?
http://www.duozhishidai.com/article-15082-1.html
java大數(shù)據(jù)與python大數(shù)據(jù)如何選擇？
http://www.duozhishidai.com/article-12540-1.html

---

多智時(shí)代-人工智能和大數(shù)據(jù)學(xué)習(xí)入門網(wǎng)站|人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算的學(xué)習(xí)交流網(wǎng)站

總結(jié)

以上是生活随笔為你收集整理的什么是大数据，大数据的处理流程介绍的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。