Hadoop

8.1 Hadoop的介紹

Hadoop最早起源于Nutch。Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨著抓取網頁數量的增加，遇到了嚴重的可擴展性問題——如何解決數十億網頁的存儲和索引問題。

2003年、2004年谷歌發表的兩篇論文為該問題提供了可行的解決方案。

——分布式文件系統（GFS），可用于處理海量網頁的存儲

——分布式計算框架MAPREDUCE，可用于處理海量網頁的索引計算問題。

Nutch的開發人員完成了相應的開源實現HDFS和MAPREDUCE，并從Nutch中剝離成為獨立項目HADOOP，到2008年1月，HADOOP成為Apache頂級項目.

狹義上來說，hadoop就是單獨指代hadoop這個軟件，

HDFS ：分布式文件系統

MapReduce : 分布式計算系統

廣義上來說，hadoop指代大數據的一個生態圈，包括很多其他的軟件

8.2、hadoop的歷史版本介紹

1.x版本系列：hadoop版本當中的第二代開源版本，主要修復0.x版本的一些bug等

2.x版本系列：架構產生重大變化，引入了yarn平臺等許多新特性

3.x版本系列: 加入多namenoode新特性

8.3、hadoop三大公司發型版本介紹

免費開源版本apache:

http://hadoop.apache.org/

優點：擁有全世界的開源貢獻者，代碼更新迭代版本比較快，

缺點：版本的升級，版本的維護，版本的兼容性，版本的補丁都可能考慮不太周到，\

apache所有軟件的下載地址（包括各種歷史版本）：

http://archive.apache.org/dist/

?

免費開源版本hortonWorks：

https://hortonworks.com/

hortonworks主要是雅虎主導Hadoop開發的副總裁，帶領二十幾個核心成員成立Hortonworks，核心產品軟件HDP（ambari），HDF免費開源，并且提供一整套的web管理界面，供我們可以通過web界面管理我們的集群狀態，web管理界面軟件HDF網址（http://ambari.apache.org/）

?

軟件收費版本ClouderaManager:

https://www.cloudera.com/

cloudera主要是美國一家大數據公司在apache開源hadoop的版本上，通過自己公司內部的各種補丁，實現版本之間的穩定運行，大數據生態圈的各個版本的軟件都提供了對應的版本，解決了版本的升級困難，版本兼容性等各種問題

?

8.4、hadoop的架構模型（1.x，2.x的各種架構模型介紹）

8.4.1、1.x的版本架構模型介紹

文件系統核心模塊：

NameNode：集群當中的主節點，管理元數據(文件的大小，文件的位置，文件的權限)，主要用于管理集群當中的各種數據

secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

數據計算核心模塊：

JobTracker：接收用戶的計算請求任務，并分配任務給從節點

TaskTracker：負責執行主節點JobTracker分配的任務

8.4.2、2.x的版本架構模型介紹

第一種：NameNode與ResourceManager單節點架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據

secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配

NodeManager：負責執行主節點APPmaster分配的任務

第二種：NameNode單節點與ResourceManager高可用架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據

secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分，通過zookeeper實現ResourceManager的高可用

NodeManager：負責執行主節點ResourceManager分配的任務

第三種：NameNode高可用與ResourceManager單節點架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據，其中nameNode可以有兩個，形成高可用狀態

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

JournalNode：文件系統元數據信息管理

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分

NodeManager：負責執行主節點ResourceManager分配的任務

?

第四種：NameNode與ResourceManager高可用架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據，一般都是使用兩個，實現HA高可用

JournalNode：元數據信息管理進程，一般都是奇數個

DataNode：從節點，用于數據的存儲

數據計算核心模塊：

ResourceManager：Yarn平臺的主節點，主要用于接收各種任務，通過兩個，構建成高可用

NodeManager：Yarn平臺的從節點，主要用于處理ResourceManager分配的任務

總結

以上是生活随笔為你收集整理的hadoop的架构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。