大數據

??? 1、什么是大數據

??????? 簡單說就是身邊的一切，你看到的是，聽到的是，聞到的感覺到的觸摸到的都是

??? 2、具體一點

??????? 天貓淘寶的購物數據，你的聊天記錄，醫療記錄，看書或者挑東西時候的推薦物品
大數據的問題

??? 1、生活中的種種數據數量如此之多，如何存儲

??? 2、要讓數據有意義，又該怎么去處理海量的數據
Google對大數據問題的思想

??? 1、GFS：Google File System

??????????? 對數據進行分布式文件系統的存儲，解決的大數據的存儲問題

??? 2、MapReduce

??????????? 最初是因為Google要去爬取全球的網頁然后對其進行排名(PageRank)而衍生出的問題，一種用于大數據計算的模型，核心思想是大事化小處理，最后在合并結果，先拆分再合并

??? 3、BigTable

??????????? 采用NoSQL數據庫將數據存在一張大表之中，通過犧牲存儲的空間來換取性能
實現思想 -> Hadoop
??? 主要結構

??????????? 1、HDFS：Hadoop Distributed File System

??????????????????? 1. 采用主從式的結構

??????????????????? 2. 主節點: NameNode名稱節點

??????????????????? 3. 從節點: DataNode數據節點

??????????????????? 4. SecondaryNameNode: 第二名稱節點

????????????????? 這里有兩張網上的圖可供參考

????????????? ?

??? ?

??????????????????? 需要注意的是：NameNode 和 SecondaryNameNode 之間沒有關系，前者管理和維護整個HDFS，后者用來日志的合并，兩者在同一個節點上(同一個機器)，共同的組成了整個HDFS的主從式結構，硬盤需要兩個(兩臺機器)所以HDFS環境至少需要三臺機器

??????????? 2、Yarn：MapReduce 的運行容器

??????????????????? Yarn 的結構，NodeMarager和DataNode在一個節點上，有一個DataNode就有一個NodeMarager

??????????????????? 1. 主從式結構

??????????????????? 2. 主節點: ResourceManager -> 資源管理器

??????????????????? 3. 從節點: NodeManager -> 節點管理器

??????????? 3、HBase: NoSQL數據庫(需要單獨安裝)

??????????????????? 1. 主從式結構

??????????????????? 2. 主節點: HMaster

??????????????????? 3. 從節點: RegionServer
---------------------
?

總結

以上是生活随笔為你收集整理的Google的三篇大数据思想论文的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。