大數(shù)據(jù)技術(shù)原理與應(yīng)用 第三版 林子雨 期末復(fù)習(xí)（一）大數(shù)據(jù)概述 第一章 P2

• 大數(shù)據(jù)概念(4V)
• 三次信息化浪潮(每隔15年發(fā)生一次)
• 大數(shù)據(jù)對(duì)于研究思維的影響
• 數(shù)據(jù)產(chǎn)生的三個(gè)階段
• 大數(shù)據(jù)計(jì)算模式
• 大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)
• • 概念
  • 云計(jì)算種類(lèi)與服務(wù)模式
  • 大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系

大數(shù)據(jù)概念(4V)

1 volume (大量)
隨著傳感器等技術(shù)的應(yīng)用，數(shù)據(jù)規(guī)模逐漸增大，而大數(shù)據(jù)的規(guī)模通常達(dá)到PB EB級(jí)。
2 variety (多種)
大數(shù)據(jù)涉及到的數(shù)據(jù)種類(lèi)多，包含大量結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。
3 velocity (高速)
同一時(shí)間下有大量數(shù)據(jù)產(chǎn)生，并且某些數(shù)據(jù)價(jià)值會(huì)隨著時(shí)間流逝下降，因此大數(shù)據(jù)對(duì)數(shù)據(jù)處理的實(shí)時(shí)性要求較高。
4 value (價(jià)值)
對(duì)于大數(shù)據(jù)而言?xún)r(jià)值密度較低，整體價(jià)值較高，很多有價(jià)值的信息分散于海量數(shù)據(jù)當(dāng)中。

三次信息化浪潮(每隔15年發(fā)生一次)

信息化浪潮發(fā)生時(shí)間標(biāo)志解決問(wèn)題

第一次	1980	個(gè)人計(jì)算機(jī)	信息處理
第二次	1995	互聯(lián)網(wǎng)	信息傳輸
第三次	2010	大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)	信息爆炸

大數(shù)據(jù)對(duì)于研究思維的影響

1 全樣而非抽樣
大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)存儲(chǔ)與分析能力的提升，更傾向于使用全樣數(shù)據(jù)而非抽樣數(shù)據(jù)解決問(wèn)題。
2 效率而非精準(zhǔn)
由于使用了全樣數(shù)據(jù)因此在傳統(tǒng)分析方法中誤差的放大問(wèn)題得以解決，同時(shí)由于數(shù)據(jù)量的激增所以可以犧牲部分精確性保證效率。
3 相關(guān)而非因果
在大數(shù)據(jù)時(shí)代更感興趣的是事物之間的相關(guān)性而非因果性。

數(shù)據(jù)產(chǎn)生的三個(gè)階段

1 運(yùn)營(yíng)式系統(tǒng)階段(被動(dòng))
傳統(tǒng)數(shù)據(jù)產(chǎn)生隨著運(yùn)營(yíng)信息產(chǎn)生而產(chǎn)生，通常存儲(chǔ)于SQL中。
2 原創(chuàng)式系統(tǒng)階段(主動(dòng))
智能手機(jī)等移動(dòng)設(shè)備的出現(xiàn)加速了用戶(hù)原創(chuàng)性?xún)?nèi)容的產(chǎn)生。
3 感知式系統(tǒng)階段(自動(dòng))
物聯(lián)網(wǎng)的發(fā)展與傳感器的應(yīng)用最終導(dǎo)致了大數(shù)據(jù)量的產(chǎn)生。

大數(shù)據(jù)計(jì)算模式

大數(shù)據(jù)計(jì)算模式 解決問(wèn)題 代表產(chǎn)品
批處理 大規(guī)模數(shù)據(jù)的批量處理 MapReduce Spark
流計(jì)算 實(shí)時(shí)流數(shù)據(jù) Stom Flink Spark streaming
圖計(jì)算 大規(guī)模圖結(jié)構(gòu) GraphX
查詢(xún)分析 大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢(xún)分析 Hive

大數(shù)據(jù)計(jì)算模式解決問(wèn)題代表產(chǎn)品

批處理	大規(guī)模數(shù)據(jù)的批量處理	MapReduce、Spark
流計(jì)算	實(shí)時(shí)流數(shù)據(jù)	Stom、Flink、Spark streaming
圖計(jì)算	大規(guī)模圖結(jié)構(gòu)	GraphX
查詢(xún)分析	大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢(xún)分析	Hive

大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)

概念

云計(jì)算：通過(guò)網(wǎng)絡(luò)獲取計(jì)算資源。
物聯(lián)網(wǎng)：物物聯(lián)網(wǎng)，可以看作互聯(lián)網(wǎng)的延伸。

云計(jì)算種類(lèi)與服務(wù)模式

大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系

大數(shù)據(jù)注重于對(duì)海量數(shù)據(jù)的存儲(chǔ)、處理、分析。
云計(jì)算注重于通過(guò)網(wǎng)絡(luò)提供廉價(jià)計(jì)算資源。
物聯(lián)網(wǎng)側(cè)重實(shí)現(xiàn)物物相連，是創(chuàng)新應(yīng)用開(kāi)發(fā)核心。

本文及后續(xù)文章內(nèi)容均由個(gè)人總結(jié)，僅用于復(fù)習(xí)記錄，如發(fā)現(xiàn)錯(cuò)誤請(qǐng)大家伙指正，侵刪。

總結(jié)

以上是生活随笔為你收集整理的大数据技术原理与应用 第三版 林子雨 期末复习（一）大数据概述 第一章 P2的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。