1?eclipse中hadoop環境部署概覽

??? ?eclipse 中部署hadoop包括兩大部分：hdfs環境部署和mapreduce任務執行環境部署。一般hdfs環境部署比較簡單，部署后就 可以在eclipse中像操作windows目錄一樣操作hdfs文件。而mapreduce任務執行環境的部署就比較復雜一點，不同版本對環境的要求度 高低不同就導致部署的復雜度大相徑庭。例如hadoop1包括以前的版本部署就比較簡單，可在windows和Linux執行部署運行，而hadoop2 及以上版本對環境要求就比較嚴格，一般只能在Linux中部署，如果需要在windows中部署需要使用cygwin等軟件模擬Linux環境，該篇介紹 在Linux環境中部署hadoop環境。該篇假設hadoop2.3.0集群已經部署完成，集群訪問權限為hadoop用戶。這種在eclipse上操 作hdfs和提交mapreduce任務的方式為hadoop客戶端操作，故無須在該機器上配置hadoop集群文件，也無須在該機器上啟動hadoop 相關進程。

2?部署環境機器相關配置

• Centos6，32位

• Hadoop2.3.0

• Eclipse4.3.2_jee Linux版

• JDK1.7 Linux版

3 eclipse中hdfs及mapreduce環境部署

?????3.1?Linux中eclipse安裝

??????????? 3.1.1 在Linux中選擇一個eclipse安裝目錄如/home目錄，將eclipse壓縮包eclipse-standard-kepler-SR2-linux-gtk.tar.gz在該目錄下解壓即可，解壓命令如下：

????????????????tar -zxvf eclipse-standard-kepler-SR2-linux-gtk.tar.gz

?????????? 3.1.2? 解壓后的eclipse目錄需要賦予hadoop用戶權限chown -R hadoop:hadoop /home/eclipse，解壓后eclipse目錄如下圖所示：

????????????

????????3.1.3 將自己打包或者下載的hadoop和eclipse直接的插件導入eclipse的 plugins目錄（復制進去即可），該篇使用直接下載的插件hadoop-eclipse-plugin-2.2.0.jar，然后啟動eclipse。

????3.2?eclipse環境部署

????????3.2.1??? 打開eclipse后切換到mapreduce界面會出現mapreduce插件圖標，一個是DFS顯示的位置，一個是mapreduce顯示的位置，具體如下圖所示：

????

????????3.2.2?在MapReduce?Locations出處點擊右鍵新建mapreduce配置環境，具體圖示如下：

????????3.2.3?進入mapreduce配置環境，具體如下圖所示。 其中，Location?name可任意填寫，Mapreduce?Master中Host為resourcemanager機器ip，Port為 resourcemanager接受任務的端口號，即yarn-site.xml文件中 yarn.resourcemanager.scheduler.address配置項中端口號。DFS?Master中的Host為namenode機 器ip，Port為core-site.xml文件中fs.defaultFS配置項中端口號。

????????3.2.4 上一步驟配置完成后，我們看到的界面如下圖所示。左側欄中即為hdfs目錄，在每個目錄上課點擊右鍵操作。

?4?eclipse中直接提交mapreduce任務（此處以wordcount為例，同時注意hadoop集群防火墻需對該機器開放相應端口）

????如果我們將hadoop自帶的wordcount在eclipse中執行是不可以的，調整后具體操作如下。

????4.1?首先新建Map/Reduce工程（無須手動導入hadoop jar包），或者新建java工程（需要手動導入hadoop相應jar包）。

????????4.1.1 新建Map/Reduce工程（無須手動導入hadoop jar包），具體圖示如下圖所示：

?????????4.1.1.1 點擊next輸入hadoop工程名即可，具體如下圖所示：

?????????4.1.1.2 新建的hadoop工程如下圖所示：

?????????4.1.2 新建java工程（需要手動導入hadoop相應jar包），具體如下圖所示：

????????????4.1.2.1 新建java工程完成后，下面添加hadoop相應jar包，hadoop2.3.0相應jar包在/hadoop-2.3.0/share/hadoop目錄中。

????????????4.1.2.2?進入Libraries，點擊Add?Library添加hadoop相應jar包。

????????????4.1.2.3?新建hadoop相應library成功后添加hadoop相應jar包到該library下面即可。

????????????4.1.2.4?需要添加的hadoop相應jar包有：

????????????????/hadoop-2.3.0/share/hadoop/common下所有jar包，及里面的lib目錄下所有jar包

????????????????/hadoop-2.3.0/share/hadoop/hdfs下所有jar包，不包括里面lib下的jar包

????????????????/hadoop-2.3.0/share/hadoop/mapreduce下所有jar包，不包括里面lib下的jar包

????????????????/hadoop-2.3.0/share/hadoop/yarn下所有jar包，不包括里面lib下的jar包

????????4.2?eclipse直接提交mapreduce任務所需環境配置代碼如下所示：

import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URL; import java.net.URLClassLoader; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.jar.JarEntry; import java.util.jar.JarOutputStream; import java.util.jar.Manifest;public class EJob {// To declare global fieldprivate static List<URL> classPath = new ArrayList<URL>();// To declare methodpublic static File createTempJar(String root) throws IOException {if (!new File(root).exists()) {return null;}Manifest manifest = new Manifest();manifest.getMainAttributes().putValue("Manifest-Version", "1.0");final File jarFile = File.createTempFile("EJob-", ".jar", new File(System.getProperty("java.io.tmpdir")));Runtime.getRuntime().addShutdownHook(new Thread() {public void run() {jarFile.delete();}});JarOutputStream out = new JarOutputStream(new FileOutputStream(jarFile), manifest);createTempJarInner(out, new File(root), "");out.flush();out.close();return jarFile;}private static void createTempJarInner(JarOutputStream out, File f,String base) throws IOException {if (f.isDirectory()) {File[] fl = f.listFiles();if (base.length() > 0) {base = base + "/";}for (int i = 0; i < fl.length; i++) {createTempJarInner(out, fl[i], base + fl[i].getName());}} else {out.putNextEntry(new JarEntry(base));FileInputStream in = new FileInputStream(f);byte[] buffer = new byte[1024];int n = in.read(buffer);while (n != -1) {out.write(buffer, 0, n);n = in.read(buffer);}in.close();}}public static ClassLoader getClassLoader() {ClassLoader parent = Thread.currentThread().getContextClassLoader();if (parent == null) {parent = EJob.class.getClassLoader();}if (parent == null) {parent = ClassLoader.getSystemClassLoader();}return new URLClassLoader(classPath.toArray(new URL[0]), parent);}public static void addClasspath(String component) {if ((component != null) && (component.length() > 0)) {try {File f = new File(component);if (f.exists()) {URL key = f.getCanonicalFile().toURL();if (!classPath.contains(key)) {classPath.add(key);}}} catch (IOException e) {}}}}

?

????????4.3?修改后的wordcount代碼如下

import java.io.File; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.permission.FsPermission; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser;public class WordCount {/** 用戶自定義map函數，對以<key, value>為輸入的結果文件進行處理* Map過程需要繼承org.apache.hadoop.mapreduce包中Mapper類，并重寫其map方法。* 通過在map方法中添加兩句把key值和value值輸出到控制臺的代碼* ，可以發現map方法中value值存儲的是文本文件中的一行（以回車符為行結束標記），而key值為該行的首字母相對于文本文件的首地址的偏移量。* 然后StringTokenizer類將每一行拆分成為一個個的單詞* ，并將<word,1>作為map方法的結果輸出，其余的工作都交有MapReduce框架處理。 每行數據調用一次 Tokenizer：單詞分詞器*/public static class TokenizerMapper extendsMapper<Object, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);private Text word = new Text();/** 重寫Mapper類中的map方法*/public void map(Object key, Text value, Context context)throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());//System.out.println(value.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());// 獲取下個字段的值并寫入文件 context.write(word, one);}}}/** 用戶自定義reduce函數，如果有多個熱度測，則每個reduce處理自己對應的map結果數據* Reduce過程需要繼承org.apache.hadoop.mapreduce包中Reducer類，并重寫其reduce方法。* Map過程輸出<key,values>中key為單個單詞，而values是對應單詞的計數值所組成的列表，Map的輸出就是Reduce的輸入，* 所以reduce方法只要遍歷values并求和，即可得到某個單詞的總次數。*/public static class IntSumReducer extendsReducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}public static void main(String[] args) throws Exception {/*** 環境變量配置*/File jarFile = EJob.createTempJar("bin");ClassLoader classLoader = EJob.getClassLoader();Thread.currentThread().setContextClassLoader(classLoader);/*** 連接hadoop集群配置*/Configuration conf = new Configuration(true);conf.set("fs.default.name", "hdfs://192.168.1.111:9000");conf.set("hadoop.job.user", "hadoop");conf.set("mapreduce.framework.name", "yarn");conf.set("mapreduce.jobtracker.address", "192.168.1.100:9001");conf.set("yarn.resourcemanager.hostname", "192.168.1.100");conf.set("yarn.resourcemanager.admin.address", "192.168.1.100:8033");conf.set("yarn.resourcemanager.address", "192.168.1.100:8032");conf.set("yarn.resourcemanager.resource-tracker.address", "192.168.1.100:8036");conf.set("yarn.resourcemanager.scheduler.address", "192.168.1.100:8030");String[] otherArgs = new String[2];otherArgs[0] = "hdfs://192.168.1.111:9000/test_in";//計算原文件目錄，需提前在里面存入文件String time = new SimpleDateFormat("yyyyMMddHHmmss").format(new Date());otherArgs[1] = "hdfs://192.168.1.111:9000/test_out/" + time;//計算后的計算結果存儲目錄，每次程序執行的結果目錄不能相同，所以添加時間標簽/** setJobName()方法命名這個Job。對Job進行合理的命名有助于更快地找到Job，* 以便在JobTracker和Tasktracker的頁面中對其進行監視*/Job job = new Job(conf, "word count");job.setJarByClass(WordCount.class);((JobConf) job.getConfiguration()).setJar(jarFile.toString());//環境變量調用，添加此句則可在eclipse中直接提交mapreduce任務，如果將該java文件打成jar包，需要將該句注釋掉，否則在執行時反而找不到環境變量// job.setMaxMapAttempts(100);//設置最大試圖產生底map數量，該命令不一定會設置該任務運行過車中的map數量// job.setNumReduceTasks(5);//設置reduce數量，即最后生成文件的數量/** Job處理的Map（拆分）、Combiner（中間結果合并）以及Reduce（合并）的相關處理類。* 這里用Reduce類來進行Map產生的中間結果合并，避免給網絡數據傳輸產生壓力。*/job.setMapperClass(TokenizerMapper.class);// 執行用戶自定義map函數job.setCombinerClass(IntSumReducer.class);// 對用戶自定義map函數的數據處理結果進行合并，可以減少帶寬消耗job.setReducerClass(IntSumReducer.class);// 執行用戶自定義reduce函數/** 接著設置Job輸出結果<key,value>的中key和value數據類型，因為結果是<單詞,個數>，* 所以key設置為"Text"類型，相當于Java中String類型* 。Value設置為"IntWritable"，相當于Java中的int類型。*/job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);/** 加載輸入文件夾或文件路徑，即輸入數據的路徑* 將輸入的文件數據分割成一個個的split，并將這些split分拆成<key,value>對作為后面用戶自定義map函數的輸入* 其中，每個split文件的大小盡量小于hdfs的文件塊大小* （默認64M），否則該split會從其它機器獲取超過hdfs塊大小的剩余部分數據，這樣就會產生網絡帶寬造成計算速度影響* 默認使用TextInputFormat類型，即輸入數據形式為文本類型數據文件*/System.out.println("Job start!");FileInputFormat.addInputPath(job, new Path(otherArgs[0]));/** 設置輸出文件路徑 默認使用TextOutputFormat類型，即輸出數據形式為文本類型文件，字段間默認以制表符隔開*/FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));/** 開始運行上面的設置和算法*/if (job.waitForCompletion(true)) {System.out.println("ok!");} else {System.out.println("error!");System.exit(0);}} }

?

????????4.4?在eclipse中代碼區點擊右鍵，點擊里面的run?on?hadoop即可運行該程序。

?

　　原創文章歡迎轉載，轉載時請注明出處。

　　作者推薦文章：

　　　　Java自學之道

　　　　Eclipse中部署Hadoop2.3.0并直接在Eclipse中提交mapreduce任務

　　　　Java如何獲取系統信息（包括操作系統、jvm、cpu、內存、硬盤、網絡等）

　　　　Java如何生存二維碼過程詳解

　　

轉載于:https://www.cnblogs.com/minkaihui/p/4074035.html

總結

以上是生活随笔為你收集整理的Eclipse中部署hadoop2.3.0的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。