Hadoop简介及架构
狹義上來說，hadoop就是單獨指代hadoop這個軟件，
廣義上來說，hadoop指代大數據的一個生態圈，包括很多其他的軟件
2、hadoop的歷史版本介紹
0.x系列版本：hadoop當中最早的一個開源版本，在此基礎上演變而來的1.x以及2.x的版本
1.x版本系列：hadoop版本當中的第二代開源版本，主要修復0.x版本的一些bug等
2.x版本系列：架構產生重大變化，引入了yarn平臺等許多新特性
3、hadoop三大公司發型版本介紹
免費開源版本apache：
http://hadoop.apache.org/
優點：擁有全世界的開源貢獻者，代碼更新迭代版本比較快，
缺點：版本的升級，版本的維護，版本的兼容性，版本的補丁都可能考慮不太周到，學習可以用，實際生產工作環境盡量不要使用
apache所有軟件的下載地址（包括各種歷史版本）：
http://archive.apache.org/dist/
免費開源版本hortonWorks：
https://hortonworks.com/
hortonworks主要是雅虎主導Hadoop開發的副總裁，帶領二十幾個核心成員成立Hortonworks，核心產品軟件HDP（ambari），HDF免費開源，并且提供一整套的web管理界面，供我們可以通過web界面管理我們的集群狀態，web管理界面軟件HDF網址（http://ambari.apache.org/）
軟件收費版本ClouderaManager:
https://www.cloudera.com/
cloudera主要是美國一家大數據公司在apache開源hadoop的版本上，通過自己公司內部的各種補丁，實現版本之間的穩定運行，大數據生態圈的各個版本的軟件都提供了對應的版本，解決了版本的升級困難，版本兼容性等各種問題，生產環境強烈推薦使用
4、hadoop的架構模型（1.x，2.x的各種架構模型介紹）
4.1、1.x的版本架構模型介紹
文件系統核心模塊：
NameNode：集群當中的主節點，主要用于管理集群當中的各種數據
secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理
DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據
數據計算核心模塊：
JobTracker：接收用戶的計算請求任務，并分配任務給從節點
TaskTracker：負責執行主節點JobTracker分配的任務
4.2、2.x的版本架構模型介紹
第一種：NameNode與ResourceManager單節點架構模型
文件系統核心模塊：
NameNode：集群當中的主節點，主要用于管理集群當中的各種數據
secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理
DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據
數據計算核心模塊：
ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配
NodeManager：負責執行主節點APPmaster分配的任務
第二種：NameNode單節點與ResourceManager高可用架構模型
文件系統核心模塊：
NameNode：集群當中的主節點，主要用于管理集群當中的各種數據
secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理
DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據
數據計算核心模塊：
ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分，通過zookeeper實現ResourceManager的高可用
NodeManager：負責執行主節點ResourceManager分配的任務
第三種：NameNode高可用與ResourceManager單節點架構模型
文件系統核心模塊：
NameNode：集群當中的主節點，主要用于管理集群當中的各種數據，其中nameNode可以有兩個，形成高可用狀態
DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據
JournalNode：文件系統元數據信息管理
數據計算核心模塊：
ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分
NodeManager：負責執行主節點ResourceManager分配的任務
第四種：NameNode與ResourceManager高可用架構模型
文件系統核心模塊：
NameNode：集群當中的主節點，主要用于管理集群當中的各種數據，一般都是使用兩個，實現HA高可用
JournalNode：元數據信息管理進程，一般都是奇數個
DataNode：從節點，用于數據的存儲
數據計算核心模塊：
ResourceManager：Yarn平臺的主節點，主要用于接收各種任務，通過兩個，構建成高可用
NodeManager：Yarn平臺的從節點，主要用于處理ResourceManager分配的任務
總結
以上是生活随笔為你收集整理的Hadoop简介及架构的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 小孩与南瓜
- 下一篇： PHP根据两点间的经纬度计算距离，php