轉(zhuǎn)載：http://blog.csdn.net/sinat_31726559/article/details/52103229 ?點(diǎn)擊閱讀原文

--------------------------------------

1. Hadoop3.0簡(jiǎn)介

Hadoop 2.0是基于JDK 1.7開(kāi)發(fā)的，而JDK 1.7在2015年4月已停止更新，這直接迫使Hadoop社區(qū)基于JDK1.8重新發(fā)布一個(gè)新的Hadoop版本，而這正是hadoop 3.0。
Hadoop 3.0的alpha版預(yù)計(jì)今年夏天發(fā)布，GA版本11月或12月發(fā)布。
Hadoop 3.0中引入了一些重要的功能和優(yōu)化，包括HDFS 可擦除編碼、多Namenode支持、MR NativeTask優(yōu)化、YARN基于cgroup的內(nèi)存和磁盤IO隔離、YARN container resizing等。

2. Hadoop3.0新特性

Hadoop 3.0在功能和性能方面，對(duì)hadoop內(nèi)核進(jìn)行了多項(xiàng)重大改進(jìn)，主要包括：
2.1 HadoopCommon
（1）精簡(jiǎn)Hadoop內(nèi)核，包括剔除過(guò)期的API和實(shí)現(xiàn)，將默認(rèn)組件實(shí)現(xiàn)替換成最高效的實(shí)現(xiàn)（比如將FileOutputCommitter缺省實(shí)現(xiàn)換為v2版本，廢除hftp轉(zhuǎn)由webhdfs替代，移除Hadoop子實(shí)現(xiàn)序列化庫(kù)org.apache.hadoop.Records （2）Classpath isolation以防止不同版本jar包沖突，比如googleGuava在混合使用Hadoop、HBase和Spark時(shí)，很容易產(chǎn)生沖突。（https://issues.apache.org/jira/browse/HADOOP-11656） （3）Shell腳本重構(gòu)。 Hadoop3.0對(duì)Hadoop的管理腳本進(jìn)行了重構(gòu)，修復(fù)了大量bug，增加了新特性，支持動(dòng)態(tài)命令等。[url=]https://issues.apache.org/jira/browse/HADOOP-9902[/url]
2.2 HadoopHDFS
（1）HDFS支持?jǐn)?shù)據(jù)的擦除編碼，這使得HDFS在不降低可靠性的前提下，節(jié)省一半存儲(chǔ)空間。（https://issues.apache.org/jira/browse/HDFS-7285） （2）多NameNode支持，即支持一個(gè)集群中，一個(gè)active、多個(gè)standbynamenode部署方式。注：多ResourceManager特性在hadoop 2.0中已經(jīng)支持。（https://issues.apache.org/jira/browse/HDFS-6440）
2.3 HadoopMapReduce
（1）Tasknative優(yōu)化。為MapReduce增加了C/C++的map outputcollector實(shí)現(xiàn)（包括Spill，Sort和IFile等），通過(guò)作業(yè)級(jí)別參數(shù)調(diào)整就可切換到該實(shí)現(xiàn)上。對(duì)于shuffle密集型應(yīng)用，其性能可提高約30%。（https://issues.apache.org/jira/browse/MAPREDUCE-2841） （2）MapReduce內(nèi)存參數(shù)自動(dòng)推斷。在Hadoop2.0中，為MapReduce作業(yè)設(shè)置內(nèi)存參數(shù)非常繁瑣，涉及到兩個(gè)參數(shù)：mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts，一旦設(shè)置不合理，則會(huì)使得內(nèi)存資源浪費(fèi)嚴(yán)重，比如將前者設(shè)置為4096MB，但后者卻是“-Xmx2g”，則剩余2g實(shí)際上無(wú)法讓javaheap使用到。（https://issues.apache.org/jira/browse/MAPREDUCE-5785）
2.4 HadoopYARN
（1）基于cgroup的內(nèi)存隔離和IO Disk隔離（https://issues.apache.org/jira/browse/YARN-2619） （2）用curator實(shí)現(xiàn)RM leader選舉（https://issues.apache.org/jira/browse/YARN-4438） （3）containerresizing（https://issues.apache.org/jira/browse/YARN-1197） （4）Timelineserver next generation（[url=]https://issues.apache.org/jira/browse/YARN-2928[/url]）
3.??Hadoop3.0總結(jié)
Hadoop 3.0的alpha版預(yù)計(jì)今年夏天發(fā)布，GA版本11月或12月發(fā)布。
Hadoop 3.0中引入了一些重要的功能和優(yōu)化，包括HDFS 可擦除編碼、多Namenode支持、MR NativeTask優(yōu)化、YARN基于cgroup的內(nèi)存和磁盤IO隔離、YARN container resizing等。

-------------

更多的Java，Angular，Android，大數(shù)據(jù)，J2EE，Python，數(shù)據(jù)庫(kù)，Linux，Java架構(gòu)師，：

http://www.cnblogs.com/zengmiaogen/p/7083694.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop3.0的新特性的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。