java hadoop

在我以前的文章中，我展示了如何設(shè)置一個(gè)完整的基于Maven的項(xiàng)目，以用Java創(chuàng)建Hadoop作業(yè)。 當(dāng)然并沒(méi)有完成，因?yàn)樗鄙賳卧獪y(cè)試部分。 在這篇文章中，我將展示如何將MapReduce單元測(cè)試添加到我之前開(kāi)始的項(xiàng)目中。 對(duì)于單元測(cè)試，我使用MRUnit框架 。

• • 向pom添加必要的依賴項(xiàng)

將以下依賴項(xiàng)添加到pom：

<dependency><groupId>org.apache.mrunit</groupId><artifactId>mrunit</artifactId><version>1.0.0</version><classifier>hadoop1</classifier><scope>test</scope> </dependency>

這將使MRunit框架可用于該項(xiàng)目。

• • 添加單元測(cè)試以測(cè)試Map Reduce邏輯

該框架的使用非常簡(jiǎn)單，尤其是在我們的業(yè)務(wù)案例中。 因此，如果需要的話，我將僅顯示單元測(cè)試代碼和一些注釋，但是我認(rèn)為使用它非常明顯。 映射程序“ MapperTest”的單元測(cè)試：

package net.pascalalma.hadoop;import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.MapDriver; import org.junit.Before; import org.junit.Test; import java.io.IOException;/*** Created with IntelliJ IDEA.* User: pascal*/ public class MapperTest {MapDriver<Text, Text, Text, Text> mapDriver;@Beforepublic void setUp() {WordMapper mapper = new WordMapper();mapDriver = MapDriver.newMapDriver(mapper);}@Testpublic void testMapper() throws IOException {mapDriver.withInput(new Text("a"), new Text("ein"));mapDriver.withInput(new Text("a"), new Text("zwei"));mapDriver.withInput(new Text("c"), new Text("drei"));mapDriver.withOutput(new Text("a"), new Text("ein"));mapDriver.withOutput(new Text("a"), new Text("zwei"));mapDriver.withOutput(new Text("c"), new Text("drei"));mapDriver.runTest();} }

這個(gè)測(cè)試類實(shí)際上比Mapper實(shí)現(xiàn)本身還要簡(jiǎn)單。 您只需定義映射器的輸入和預(yù)期的輸出，然后讓配置的MapDriver運(yùn)行測(cè)試。 在我們的例子中，Mapper沒(méi)有做任何特定的事情，但是您會(huì)看到設(shè)置一個(gè)測(cè)試用例很容易。 為了完整起見(jiàn)，這里是Reducer的測(cè)試類：

package net.pascalalma.hadoop;import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.ReduceDriver; import org.junit.Before; import org.junit.Test; import java.io.IOException; import java.util.ArrayList; import java.util.List;/*** Created with IntelliJ IDEA.* User: pascal*/ public class ReducerTest {ReduceDriver<Text, Text, Text, Text> reduceDriver;@Beforepublic void setUp() {AllTranslationsReducer reducer = new AllTranslationsReducer();reduceDriver = ReduceDriver.newReduceDriver(reducer);}@Testpublic void testReducer() throws IOException {List<Text> values = new ArrayList<Text>();values.add(new Text("ein"));values.add(new Text("zwei"));reduceDriver.withInput(new Text("a"), values);reduceDriver.withOutput(new Text("a"), new Text("|ein|zwei"));reduceDriver.runTest();} }

• • 運(yùn)行單元測(cè)試

使用Maven命令“ mvn clean test”，我們可以運(yùn)行測(cè)試：

有了單元測(cè)試，我會(huì)說(shuō)我們已經(jīng)準(zhǔn)備好構(gòu)建項(xiàng)目并將其部署到Hadoop集群，我將在下一篇文章中介紹。

參考： The Pragmatic Integrator博客上的JCG合作伙伴 Pascal Alma 對(duì)Java Hadoop作業(yè)進(jìn)行了單元測(cè)試 。

翻譯自: https://www.javacodegeeks.com/2013/09/unit-testing-a-java-hadoop-job.html

java hadoop

總結(jié)

以上是生活随笔為你收集整理的java hadoop_单元测试Java Hadoop作业的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。