javascript
适用于Apache Hadoop 2.0 M5的Spring
Spring高興地宣布了Spring for Apache Hadoop 2.0 M5里程碑版本,同時(shí)它們也越來越接近候選版本。 在Spring博客中 ,新版本2.0與1.0版本之間有很好的比較。 根據(jù)它:
用于Apache Hadoop的Spring 1.0版本將HDFS和MapReduce與MapReduce v1或MapReduce v2(YARN)結(jié)合使用。 默認(rèn)發(fā)行版是具有其他功能的Apache Hadoop 1.2.1,例如Hadoop 2.2.0,Pivotal HD 1.1,Cloudera CDH4 MR1或MR2 YARN和Hortonworks HDP 1.3。
另一方面,Spring for Apache Hadoop 2.0除了繼續(xù)提供對(duì)HDFS和MapReduce支持的改進(jìn)外,還著重于添加YARN應(yīng)用程序開發(fā)支持。 2.0版本的默認(rèn)發(fā)行版是Apache Hadoop 2.2.0。
在下面,您可以在Spring IO里程碑存儲(chǔ)庫(kù)中看到特定的工件及其各自的傳遞依賴項(xiàng):
- 2.0.0.M5(默認(rèn)– Apache Hadoop穩(wěn)定版2.2.0)
- 2.0.0.M5-hadoop12(Apache Hadoop穩(wěn)定版1.2.1)
- 2.0.0.M5-phd1(Pivotal HD 1.1)
- 2.0.0.M5-cdh4(Cloudera CDH4 MR1)
- 2.0.0.M5-cdh5(Cloudera CDH5 YARN beta)
- 2.0.0.M5-hdp20(Hortonworks HDP 2.0)
Spring for Apache Hadoop 2.0版本還提供:
- 新的Spring紗子項(xiàng)目中對(duì)YARN功能的支持。 借助spring-yarn框架,可以開發(fā)基于Spring的應(yīng)用程序,并可以使用YARN將其部署為在Hadoop v2上運(yùn)行。
- Spring Boot對(duì)YARN的支持。 現(xiàn)在,Spring Boot應(yīng)用程序可以部署在YARN上。
- Hadoop YARN功能的基于注釋的編程模型和基于注釋的配置。
YARN示例中包含所有新的YARN功能,因此您可以在此處檢查它們。
Spring Data-hadoop-store子項(xiàng)目也可以在這里提供更好的支持,以使用DataWriter和DataReader實(shí)現(xiàn)將數(shù)據(jù)寫入HDFS的方式,支持文本文件和SequenceFiles格式(帶有或不帶有壓縮)。 新的子項(xiàng)目還與Kite SDK的數(shù)據(jù)集支持集成在一起。
有關(guān)特定項(xiàng)目的更多信息,請(qǐng)參見項(xiàng)目頁(yè)面 。
翻譯自: https://www.javacodegeeks.com/2014/02/spring-for-apache-hadoop-2-0-m5.html
總結(jié)
以上是生活随笔為你收集整理的适用于Apache Hadoop 2.0 M5的Spring的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java事实让您大吃一惊! (信息图)
- 下一篇: Websockets与Spring 4