Hadoop 1.X，2.X區(qū)別：

HDFS角度：

1：Hadoop2.0新增了HDFS HA機(jī)制，HA增加了standbynamenode進(jìn)行熱備份，解決了1.0的單點(diǎn)故障問題。

2：Hadoop2.0新增了HDFS federation，解決了HDFS水平可擴(kuò)展能力. 允許有多個namenode獨(dú)立運(yùn)行組成聯(lián)邦。每個datanode向所有name進(jìn)行注冊。每個namenode維護(hù)一個命名空間卷（互相獨(dú)立）上層通過一個掛載表組織來訪問數(shù)據(jù)。

命名空間卷：包括池塊和命名空間元數(shù)據(jù)

塊池：邏輯概念，該命名空間文件的所有塊；可能在不同機(jī)器上。

命名空間元數(shù)據(jù)：命名空間元數(shù)據(jù)

mapreduce角度：

?2.0相比于1.0 新增了YARN框架，Mapreduce的運(yùn)行環(huán)境發(fā)生了變化

在1.0中：由一個JobTracker和若干個TaskTracker兩類服務(wù)組成，其中JobTracker負(fù)責(zé)資源管理和所有作業(yè)的控制，TaskTracker負(fù)責(zé)接收來自JobTracker的命令并執(zhí)行它。所以MapReduce即是任務(wù)調(diào)度框架又是計算框架，1.0中會出現(xiàn)JobTracker大包大攬任務(wù)過重，而且存在單點(diǎn)故障問題，并且容易出現(xiàn)OOM問題，資源分配不合理等問題。

在2.0中：MASTER端由ResourceManager進(jìn)行資源管理調(diào)度，有ApplicationMaster進(jìn)行任務(wù)管理和任務(wù)監(jiān)控。SLAVE端由NodeManager替代TaskTracker進(jìn)行具體任務(wù)的執(zhí)行，所以MapReduce2.0只是一個計算框架，具體資源調(diào)度全部交給Yarn框架。

Hadoop 2.X和3.X區(qū)別：

1：Java運(yùn)行環(huán)境升級為1.8；

2：HDFS支持糾刪碼：

糾刪碼相比于副本機(jī)制節(jié)省了一半以上的存儲空間，普通副本機(jī)制需要3倍存儲空間而這種機(jī)制只需1.4倍即可。

3：:YARN時間線服務(wù):

4：支持多余2個以上的NameNodes

3.0支持單active namenode+多standby namenode部署方式進(jìn)一步提升了可用性。

5：MapReduce本地優(yōu)化，性能提升了30%。

Pls:相比于1.0和2.0，3.0在實際使用過程中比較不穩(wěn)定。
?

總結(jié)

以上是生活随笔為你收集整理的Hadoop1.0，2.0，3.0区别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。