大数据技术原理与应用----大数据概述
一、發(fā)展背景
1、大數(shù)據(jù)時(shí)代
（1）時(shí)代背景
????????大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算促成的第三次信息化浪潮。
（2）技術(shù)支撐
????????①存儲(chǔ)（存儲(chǔ)設(shè)備容量不斷增加）；
????????②計(jì)算（CPU處理能力大幅提升）；
????????③網(wǎng)絡(luò)（網(wǎng)絡(luò)帶寬不斷增加）；
（3）大數(shù)據(jù)發(fā)展歷程
二、大數(shù)據(jù)的概念和影響?
1、大數(shù)據(jù)的經(jīng)典特征
（1）4V
????????①數(shù)據(jù)量大；
????????②數(shù)據(jù)類型繁多；
????????③處理速度快；
????????④價(jià)值密度低；
2、大數(shù)據(jù)理論基礎(chǔ)
（1）常用存儲(chǔ)單位的換算關(guān)系
（2） 科學(xué)研究的四種范式
????????①第一種范式：實(shí)驗(yàn)科學(xué)；
????????②第二種范式：理論科學(xué)；
????????③第三種范式：計(jì)算科學(xué)；
????????④第四種范式：數(shù)據(jù)密集型科學(xué)；
（3）大數(shù)據(jù)對(duì)思維方式的影響
? ? ? ? ①全樣而非抽樣；
? ? ? ? ②效率而非精確；
? ? ? ? ③相關(guān)而非因果；
（4）大數(shù)據(jù)的應(yīng)用
? ? ? ? 基本上各個(gè)行業(yè)都融入了大數(shù)據(jù)。
三、大數(shù)據(jù)技術(shù)及其原理概述
1、大數(shù)據(jù)關(guān)鍵技術(shù)
（1）大數(shù)據(jù)技術(shù)層面及其應(yīng)用?
（2）數(shù)據(jù)存儲(chǔ)管理和數(shù)據(jù)處理與分析的兩大核心技術(shù)
????????①分布式存儲(chǔ)（解決海量數(shù)據(jù)存儲(chǔ)問題，集群分布式處理）；
????????②分布式處理（解決海量數(shù)據(jù)的處理問題，集群分布式處理）；
2、大數(shù)據(jù)計(jì)算模式
（1）技術(shù)代表以及模式簡(jiǎn)述
????????大數(shù)據(jù)技術(shù)以谷歌公司技術(shù)為代表：
????????? ? ? ? ??
????????
（2）批處理計(jì)算
????????MapReduce是批處理計(jì)算模式的典型代表，Spark也是批處理但是它解決了MapReduce的缺點(diǎn)，實(shí)時(shí)性更好，同時(shí)它也可以做迭代計(jì)算。
（3）流計(jì)算
????????流數(shù)據(jù)需要實(shí)時(shí)處理，給出實(shí)時(shí)響應(yīng)，否則分析結(jié)果就會(huì)失去商業(yè)價(jià)值。
（4）大數(shù)據(jù)計(jì)算模式概述圖
3、云計(jì)算?
（1）云計(jì)算解決的兩大核心問題
? ? ? ? ①分布式存儲(chǔ)；
? ? ? ? ②分布式處理；
（2）云計(jì)算的優(yōu)勢(shì)
? ? ? ? 企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以直接租用云端資源。
（3）云計(jì)算的三種模式
? ? ? ? ①公有云（面向全部用戶）；
? ? ? ? ②私有云（面向企業(yè)內(nèi)部）；
? ? ? ? ③混合云（部分自己用，部分外界用）；
? ? ? ? 模式圖：
（4）云服務(wù)的三種類型?
? ? ? ? ①SaaS（面向用戶）；
? ? ? ? ②PaaS（面向應(yīng)用開發(fā)者）；
? ? ? ? ③IaaS（面向網(wǎng)絡(luò)架構(gòu)師）；
? ? ? ? 類型圖：
（5）云計(jì)算的關(guān)鍵技術(shù)
? ? ? ? ①虛擬化；
? ? ? ? ②分布式存儲(chǔ)；
? ? ? ? ③分布式計(jì)算；
? ? ? ? ④多租戶；
4、物聯(lián)網(wǎng)
（1）物聯(lián)網(wǎng)的概念定義
? ? ? ? 物物相連，互聯(lián)網(wǎng)的延伸：
?
總結(jié)
以上是生活随笔為你收集整理的大数据技术原理与应用----大数据概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 计算机应用基础分析与报告,y计算机应用基
- 下一篇： 成都计算机中心起名,成都给宝宝起名的地方