SpringSource 剛剛宣布了適用于Apache Hadoop的Spring的第一個(gè)GA版本 。 該項(xiàng)目的目的是簡(jiǎn)化基于Hadoop的應(yīng)用程序的開(kāi)發(fā)。

您可以下載該項(xiàng)目在這里 ，并檢查了Maven的文物在這里 。

Apache Hadoop的Spring誕生是為了解決Hadoop應(yīng)用程序構(gòu)建不良的問(wèn)題，該應(yīng)用程序通常由命令行實(shí)用程序，腳本和代碼段組成。 正如Spring項(xiàng)目所期望的那樣，它為廣泛的Hadoop生態(tài)系統(tǒng)項(xiàng)目提供了一致的編程和配置模型。

這里還包含了眾所周知的Template API設(shè)計(jì)模式，因此該框架包括以下類(lèi)：

• HBase模板
• HiveTemplate
• 豬模板

另一個(gè)受歡迎的方面是從小規(guī)模開(kāi)始發(fā)展為復(fù)雜解決方案的方法。 因此，Spring for Hadoop引入了各種Runner類(lèi)，這些類(lèi)允許執(zhí)行Hive ， Pig腳本，香草Map / Reduce或Streaming 作業(yè) ，層疊流，還可以通過(guò)熟悉的JDK Callable合同調(diào)用基于JVM的通用前后腳本 。

當(dāng)事情變得越來(lái)越復(fù)雜時(shí)，升級(jí)到Spring Batch變得簡(jiǎn)單而容易。 Spring Batch豐富的功能可用于處理大文件的ETL處理，可直接轉(zhuǎn)換為Hadoop用例，以從HDFS提取和導(dǎo)出文件。

此外，將Spring Hadoop與Spring Integration結(jié)合使用，可以對(duì)事件流進(jìn)行豐富的處理，這些事件流可以在從HDFS或其他存儲(chǔ)（例如NoSQL存儲(chǔ)）讀取和寫(xiě)入之前進(jìn)行轉(zhuǎn)換，豐富，過(guò)濾， Spring Data為此提供了很多支持。

要啟動(dòng)您的應(yīng)用程序，您可以從提供的示例應(yīng)用程序開(kāi)始（已編譯并可以下載）。 如果您測(cè)試Hadoop的Spring驅(qū)動(dòng)器，請(qǐng)讓我們知道并分享知識(shí) 。

編碼愉快！

翻譯自: https://www.javacodegeeks.com/2013/02/spring-meets-apache-hadoop.html

總結(jié)

以上是生活随笔為你收集整理的春天遇见Apache Hadoop的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。