狹義上來說，hadoop就是單獨指代hadoop這個軟件，

廣義上來說，hadoop指代大數(shù)據(jù)的一個生態(tài)圈，包括很多其他的軟件

2、hadoop的歷史版本介紹

0.x系列版本：hadoop當中最早的一個開源版本，在此基礎(chǔ)上演變而來的1.x以及2.x的版本

1.x版本系列：hadoop版本當中的第二代開源版本，主要修復0.x版本的一些bug等

2.x版本系列：架構(gòu)產(chǎn)生重大變化，引入了yarn平臺等許多新特性

3、hadoop三大公司發(fā)型版本介紹

免費開源版本apache：

http://hadoop.apache.org/

優(yōu)點：擁有全世界的開源貢獻者，代碼更新迭代版本比較快，

缺點：版本的升級，版本的維護，版本的兼容性，版本的補丁都可能考慮不太周到，學習可以用，實際生產(chǎn)工作環(huán)境盡量不要使用

apache所有軟件的下載地址（包括各種歷史版本）：

http://archive.apache.org/dist/

免費開源版本hortonWorks：

https://hortonworks.com/

hortonworks主要是雅虎主導Hadoop開發(fā)的副總裁，帶領(lǐng)二十幾個核心成員成立Hortonworks，核心產(chǎn)品軟件HDP（ambari），HDF免費開源，并且提供一整套的web管理界面，供我們可以通過web界面管理我們的集群狀態(tài)，web管理界面軟件HDF網(wǎng)址（http://ambari.apache.org/）

軟件收費版本ClouderaManager:

https://www.cloudera.com/

cloudera主要是美國一家大數(shù)據(jù)公司在apache開源hadoop的版本上，通過自己公司內(nèi)部的各種補丁，實現(xiàn)版本之間的穩(wěn)定運行，大數(shù)據(jù)生態(tài)圈的各個版本的軟件都提供了對應的版本，解決了版本的升級困難，版本兼容性等各種問題，生產(chǎn)環(huán)境強烈推薦使用

4、hadoop的架構(gòu)模型（1.x，2.x的各種架構(gòu)模型介紹）

4.1、1.x的版本架構(gòu)模型介紹

文件系統(tǒng)核心模塊：

NameNode：集群當中的主節(jié)點，主要用于管理集群當中的各種數(shù)據(jù)

secondaryNameNode：主要能用于hadoop當中元數(shù)據(jù)信息的輔助管理

DataNode：集群當中的從節(jié)點，主要用于存儲集群當中的各種數(shù)據(jù)

數(shù)據(jù)計算核心模塊：

JobTracker：接收用戶的計算請求任務，并分配任務給從節(jié)點

TaskTracker：負責執(zhí)行主節(jié)點JobTracker分配的任務

4.2、2.x的版本架構(gòu)模型介紹

第一種：NameNode與ResourceManager單節(jié)點架構(gòu)模型

文件系統(tǒng)核心模塊：

NameNode：集群當中的主節(jié)點，主要用于管理集群當中的各種數(shù)據(jù)

secondaryNameNode：主要能用于hadoop當中元數(shù)據(jù)信息的輔助管理

DataNode：集群當中的從節(jié)點，主要用于存儲集群當中的各種數(shù)據(jù)

數(shù)據(jù)計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配

NodeManager：負責執(zhí)行主節(jié)點APPmaster分配的任務

第二種：NameNode單節(jié)點與ResourceManager高可用架構(gòu)模型

文件系統(tǒng)核心模塊：

NameNode：集群當中的主節(jié)點，主要用于管理集群當中的各種數(shù)據(jù)

secondaryNameNode：主要能用于hadoop當中元數(shù)據(jù)信息的輔助管理

DataNode：集群當中的從節(jié)點，主要用于存儲集群當中的各種數(shù)據(jù)

數(shù)據(jù)計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分，通過zookeeper實現(xiàn)ResourceManager的高可用

NodeManager：負責執(zhí)行主節(jié)點ResourceManager分配的任務

第三種：NameNode高可用與ResourceManager單節(jié)點架構(gòu)模型

文件系統(tǒng)核心模塊：

NameNode：集群當中的主節(jié)點，主要用于管理集群當中的各種數(shù)據(jù)，其中nameNode可以有兩個，形成高可用狀態(tài)

DataNode：集群當中的從節(jié)點，主要用于存儲集群當中的各種數(shù)據(jù)

JournalNode：文件系統(tǒng)元數(shù)據(jù)信息管理

數(shù)據(jù)計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分

NodeManager：負責執(zhí)行主節(jié)點ResourceManager分配的任務

第四種：NameNode與ResourceManager高可用架構(gòu)模型

文件系統(tǒng)核心模塊：

NameNode：集群當中的主節(jié)點，主要用于管理集群當中的各種數(shù)據(jù)，一般都是使用兩個，實現(xiàn)HA高可用

JournalNode：元數(shù)據(jù)信息管理進程，一般都是奇數(shù)個

DataNode：從節(jié)點，用于數(shù)據(jù)的存儲

數(shù)據(jù)計算核心模塊：

ResourceManager：Yarn平臺的主節(jié)點，主要用于接收各種任務，通過兩個，構(gòu)建成高可用

NodeManager：Yarn平臺的從節(jié)點，主要用于處理ResourceManager分配的任務

總結(jié)

以上是生活随笔為你收集整理的Hadoop简介及架构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。