大數據時代

大數據開始被人們所熟知是在2010年前后。

2010年前后，以云計算、大數據、物聯網的普及為標志迎來第三次信息化浪潮

---

---

大數據的概念與影響

4V

大數據由結構化和非結構化數據組成，90%都是非結構化的

結構化數據是指存儲在關系型數據庫當中的非常規范的數據

大數據對我們思維方式的影響

• 全樣而非抽樣（已經由足夠的空間和計算能力對全樣數據進行存儲和分析而不用去抽樣了）
• 效率而非精確（抽樣時追求精確性方式應用到全局錯誤被放大，而全樣數據沒有必要了，而時效性很重要，很多時候的數據價值只在一瞬間（監控錄像））
• 相關而非因果（淘寶買書，會給你推送另外用戶買了也那本書，而不會告訴你為什么也買了那本書）

大數據關鍵技術

大數據技術（分布式存儲和分布式處理）是以谷歌公司技術為代表的

分布式數據庫和分布式文件系統屬于分布式存儲技術

分布式并行處理技術屬于分布式處理技術

?

現在沒有一種大數據產品可以滿足所有需求，所以對于不同的計算模式需要使用不同的產品

批處理計算

MapReduce是批處理計算模式的典型代表，它不適合做實時交互式計算（主要是批處理的東西，都不可能實現秒級響應）

Spark也屬于批處理，但它的實時性比MapReduce要好，而且它解決了MapReduce中的一些缺點，MapReduce沒辦法迭代計算，而Spark可以高效做迭代計算

?

大數據技術繼承自云計算

總結

以上是生活随笔為你收集整理的大数据技术原理与应用（一）：大数据概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。