轉自：http://my.oschina.net/mkh/blog/340112

1?eclipse中hadoop環境部署概覽

?????eclipse中部署hadoop包括兩大部分：hdfs環境部署和mapreduce任務執行環境部署。一般hdfs環境部署比較簡單，部署后就 可以在eclipse中像操作windows目錄一樣操作hdfs文件。而mapreduce任務執行環境的部署就比較復雜一點，不同版本對環境的要求度 高低不同就導致部署的復雜度大相徑庭。例如hadoop1包括以前的版本部署就比較簡單，可在windows和Linux執行部署運行，而hadoop2 及以上版本對環境要求就比較嚴格，一般只能在Linux中部署，如果需要在windows中部署需要使用cygwin等軟件模擬Linux環境，該篇介紹在Linux環境中部署hadoop環境。該篇假設hadoop2.3.0集群已經部署完成，集群訪問權限為hadoop用戶。這種在eclipse上操作hdfs和提交mapreduce任務的方式為hadoop客戶端操作，故無須在該機器上配置hadoop集群文件，也無須在該機器上啟動hadoop相關進程。

2?部署環境機器相關配置

• Centos6，32位

• Hadoop2.3.0

• Eclipse4.3.2_jee Linux版

• JDK1.7 Linux版

3 eclipse中hdfs及mapreduce環境部署

?????3.1?Linux中eclipse安裝

??????????? 3.1.1 在Linux中選擇一個eclipse安裝目錄如/home目錄，將eclipse壓縮包eclipse-standard-kepler-SR2-linux-gtk.tar.gz在該目錄下解壓即可，解壓命令如下：

????????????????tar -zxvf eclipse-standard-kepler-SR2-linux-gtk.tar.gz

?????????? 3.1.2? 解壓后的eclipse目錄需要賦予hadoop用戶權限chown -R hadoop:hadoop /home/eclipse，解壓后eclipse目錄如下圖所示：

????????????

????????3.1.3 將自己打包或者下載的hadoop和eclipse直接的插件導入eclipse的 plugins目錄（復制進去即可），該篇使用直接下載的插件hadoop-eclipse-plugin-2.2.0.jar，然后啟動eclipse。

????3.2?eclipse環境部署

????????3.2.1??? 打開eclipse后切換到mapreduce界面會出現mapreduce插件圖標，一個是DFS顯示的位置，一個是mapreduce顯示的位置，具體如下圖所示：

????

????????3.2.2?在MapReduce?Locations出處點擊右鍵新建mapreduce配置環境，具體圖示如下：

????????3.2.3?進入mapreduce配置環境，具體如下圖所示。其中，Location?name可任意填寫，Mapreduce?Master中Host為resourcemanager機器ip，Port為resourcemanager接受任務的端口號，即yarn-site.xml文件中yarn.resourcemanager.scheduler.address配置項中端口號。DFS?Master中的Host為namenode機器ip，Port為core-site.xml文件中fs.defaultFS配置項中端口號。

????????3.2.4 上一步驟配置完成后，我們看到的界面如下圖所示。左側欄中即為hdfs目錄，在每個目錄上課點擊右鍵操作。

?4?eclipse中直接提交mapreduce任務（此處以wordcount為例，同時注意hadoop集群防火墻需對該機器開放相應端口）

????如果我們將hadoop自帶的wordcount在eclipse中執行是不可以的，調整后具體操作如下。

????4.1?首先新建Map/Reduce工程（無須手動導入hadoop jar包），或者新建java工程（需要手動導入hadoop相應jar包）。

????????4.1.1 新建Map/Reduce工程（無須手動導入hadoop jar包），具體圖示如下圖所示：

?????????4.1.1.1 點擊next輸入hadoop工程名即可，具體如下圖所示：

?????????4.1.1.2 新建的hadoop工程如下圖所示：

?????????4.1.2 新建java工程（需要手動導入hadoop相應jar包），具體如下圖所示：

????????????4.1.2.1 新建java工程完成后，下面添加hadoop相應jar包，hadoop2.3.0相應jar包在/hadoop-2.3.0/share/hadoop目錄中。

????????????4.1.2.2?進入Libraries，點擊Add?Library添加hadoop相應jar包。

????????????4.1.2.3?新建hadoop相應library成功后添加hadoop相應jar包到該library下面即可。

????????????4.1.2.4?需要添加的hadoop相應jar包有：

????????????????/hadoop-2.3.0/share/hadoop/common下所有jar包，及里面的lib目錄下所有jar包

????????????????/hadoop-2.3.0/share/hadoop/hdfs下所有jar包，不包括里面lib下的jar包

????????????????/hadoop-2.3.0/share/hadoop/mapreduce下所有jar包，不包括里面lib下的jar包

????????????????/hadoop-2.3.0/share/hadoop/yarn下所有jar包，不包括里面lib下的jar包

????????4.2?eclipse直接提交mapreduce任務所需環境配置代碼如下所示：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93

import?java.io.File; import?java.io.FileInputStream; import?java.io.FileOutputStream; import?java.io.IOException; import?java.net.URL; import?java.net.URLClassLoader; import?java.util.ArrayList; import?java.util.Iterator; import?java.util.List; import?java.util.jar.JarEntry; import?java.util.jar.JarOutputStream; import?java.util.jar.Manifest; public?class?EJob?{ ????//?To?declare?global?field ????private?static?List<URL>?classPath?=?new?ArrayList<URL>(); ????//?To?declare?method ????public?static?File?createTempJar(String?root)?throws?IOException?{ ????????if?(!new?File(root).exists())?{ ????????????return?null; ????????} ????????Manifest?manifest?=?new?Manifest(); ????????manifest.getMainAttributes().putValue("Manifest-Version",?"1.0"); ????????final?File?jarFile?=?File.createTempFile("EJob-",?".jar",?new?File(System.getProperty("java.io.tmpdir"))); ????????Runtime.getRuntime().addShutdownHook(new?Thread()?{ ????????????public?void?run()?{ ????????????????jarFile.delete(); ????????????} ????????}); ????????JarOutputStream?out?=?new?JarOutputStream(new?FileOutputStream(jarFile),?manifest); ????????createTempJarInner(out,?new?File(root),?""); ????????out.flush(); ????????out.close(); ????????return?jarFile; ????} ????private?static?void?createTempJarInner(JarOutputStream?out,?File?f, ????????????String?base)?throws?IOException?{ ????????if?(f.isDirectory())?{ ????????????File[]?fl?=?f.listFiles(); ????????????if?(base.length()?>?0)?{ ????????????????base?=?base?+?"/"; ????????????} ????????????for?(int?i?=?0;?i?<?fl.length;?i++)?{ ????????????????createTempJarInner(out,?fl[i],?base?+?fl[i].getName()); ????????????} ????????}?else?{ ????????????out.putNextEntry(new?JarEntry(base)); ????????????FileInputStream?in?=?new?FileInputStream(f); ????????????byte[]?buffer?=?new?byte[1024]; ????????????int?n?=?in.read(buffer); ????????????while?(n?!=?-1)?{ ????????????????out.write(buffer,?0,?n); ????????????????n?=?in.read(buffer); ????????????} ????????????in.close(); ????????} ????} ????public?static?ClassLoader?getClassLoader()?{ ????????ClassLoader?parent?=?Thread.currentThread().getContextClassLoader(); ????????if?(parent?==?null)?{ ????????????parent?=?EJob.class.getClassLoader(); ????????} ????????if?(parent?==?null)?{ ????????????parent?=?ClassLoader.getSystemClassLoader(); ????????} ????????return?new?URLClassLoader(classPath.toArray(new?URL[0]),?parent); ????} ????public?static?void?addClasspath(String?component)?{ ????????if?((component?!=?null)?&&?(component.length()?>?0))?{ ????????????try?{ ????????????????File?f?=?new?File(component); ????????????????if?(f.exists())?{ ????????????????????URL?key?=?f.getCanonicalFile().toURL(); ????????????????????if?(!classPath.contains(key))?{ ????????????????????????classPath.add(key); ????????????????????} ????????????????} ????????????}?catch?(IOException?e)?{ ????????????} ????????} ????} }

????????4.3?修改后的wordcount代碼如下

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149

import?java.io.File; import?java.io.IOException; import?java.text.SimpleDateFormat; import?java.util.Date; import?java.util.StringTokenizer; import?org.apache.hadoop.conf.Configuration; import?org.apache.hadoop.fs.Path; import?org.apache.hadoop.fs.permission.FsPermission; import?org.apache.hadoop.io.IntWritable; import?org.apache.hadoop.io.Text; import?org.apache.hadoop.mapred.JobConf; import?org.apache.hadoop.mapreduce.Job; import?org.apache.hadoop.mapreduce.Mapper; import?org.apache.hadoop.mapreduce.Reducer; import?org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import?org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import?org.apache.hadoop.util.GenericOptionsParser; public?class?WordCount?{ ????/* ?????*?用戶自定義map函數，對以<key,?value>為輸入的結果文件進行處理 ?????*?Map過程需要繼承org.apache.hadoop.mapreduce包中Mapper類，并重寫其map方法。 ?????*?通過在map方法中添加兩句把key值和value值輸出到控制臺的代碼 ?????*?，可以發現map方法中value值存儲的是文本文件中的一行（以回車符為行結束標記），而key值為該行的首字母相對于文本文件的首地址的偏移量。 ?????*?然后StringTokenizer類將每一行拆分成為一個個的單詞 ?????*?，并將<word,1>作為map方法的結果輸出，其余的工作都交有MapReduce框架處理。?每行數據調用一次?Tokenizer：單詞分詞器 ?????*/ ????public?static?class?TokenizerMapper?extends ????????????Mapper<Object,?Text,?Text,?IntWritable>?{ ????????private?final?static?IntWritable?one?=?new?IntWritable(1); ????????private?Text?word?=?new?Text(); ????????/* ?????????*?重寫Mapper類中的map方法 ?????????*/ ????????public?void?map(Object?key,?Text?value,?Context?context) ????????????????throws?IOException,?InterruptedException?{ ????????????StringTokenizer?itr?=?new?StringTokenizer(value.toString()); ????????????//System.out.println(value.toString()); ????????????while?(itr.hasMoreTokens())?{ ????????????????word.set(itr.nextToken());//?獲取下個字段的值并寫入文件 ????????????????context.write(word,?one); ????????????} ????????} ????} ????/* ?????*?用戶自定義reduce函數，如果有多個熱度測，則每個reduce處理自己對應的map結果數據 ?????*?Reduce過程需要繼承org.apache.hadoop.mapreduce包中Reducer類，并重寫其reduce方法。 ?????*?Map過程輸出<key,values>中key為單個單詞，而values是對應單詞的計數值所組成的列表，Map的輸出就是Reduce的輸入， ?????*?所以reduce方法只要遍歷values并求和，即可得到某個單詞的總次數。 ?????*/ ????public?static?class?IntSumReducer?extends ????????????Reducer<Text,?IntWritable,?Text,?IntWritable>?{ ????????private?IntWritable?result?=?new?IntWritable(); ????????public?void?reduce(Text?key,?Iterable<IntWritable>?values, ????????????????Context?context)?throws?IOException,?InterruptedException?{ ????????????int?sum?=?0; ????????????for?(IntWritable?val?:?values)?{ ????????????????sum?+=?val.get(); ????????????} ????????????result.set(sum); ????????????context.write(key,?result); ????????} ????} ????public?static?void?main(String[]?args)?throws?Exception?{ ????????/** ?????????*?環境變量配置 ?????????*/ ????????File?jarFile?=?EJob.createTempJar("bin"); ????????ClassLoader?classLoader?=?EJob.getClassLoader(); ????????Thread.currentThread().setContextClassLoader(classLoader); ????????/** ?????????*?連接hadoop集群配置 ?????????*/ ????????Configuration?conf?=?new?Configuration(true); ????????conf.set("fs.default.name",?"hdfs://192.168.1.111:9000"); ????????conf.set("hadoop.job.user",?"hadoop"); ????????conf.set("mapreduce.framework.name",?"yarn"); ????????conf.set("mapreduce.jobtracker.address",?"192.168.1.100:9001"); ????????conf.set("yarn.resourcemanager.hostname",?"192.168.1.100"); ????????conf.set("yarn.resourcemanager.admin.address",?"192.168.1.100:8033"); ????????conf.set("yarn.resourcemanager.address",?"192.168.1.100:8032"); ????????conf.set("yarn.resourcemanager.resource-tracker.address",?"192.168.1.100:8036"); ????????conf.set("yarn.resourcemanager.scheduler.address",?"192.168.1.100:8030"); ????????String[]?otherArgs?=?new?String[2]; ????????otherArgs[0]?=?"hdfs://192.168.1.111:9000/test_in";//計算原文件目錄，需提前在里面存入文件 ????????String?time?=?new?SimpleDateFormat("yyyyMMddHHmmss").format(new?Date()); ????????otherArgs[1]?=?"hdfs://192.168.1.111:9000/test_out/"?+?time;//計算后的計算結果存儲目錄，每次程序執行的結果目錄不能相同，所以添加時間標簽 ????????/* ?????????*?setJobName()方法命名這個Job。對Job進行合理的命名有助于更快地找到Job， ?????????*?以便在JobTracker和Tasktracker的頁面中對其進行監視 ?????????*/ ????????Job?job?=?new?Job(conf,?"word?count"); ????????job.setJarByClass(WordCount.class); ????????((JobConf)?job.getConfiguration()).setJar(jarFile.toString());//環境變量調用，添加此句則可在eclipse中直接提交mapreduce任務，如果將該java文件打成jar包，需要將該句注釋掉，否則在執行時反而找不到環境變量 ????????//?job.setMaxMapAttempts(100);//設置最大試圖產生底map數量，該命令不一定會設置該任務運行過車中的map數量 ????????//?job.setNumReduceTasks(5);//設置reduce數量，即最后生成文件的數量 ????????/* ?????????*?Job處理的Map（拆分）、Combiner（中間結果合并）以及Reduce（合并）的相關處理類。 ?????????*?這里用Reduce類來進行Map產生的中間結果合并，避免給網絡數據傳輸產生壓力。 ?????????*/ ????????job.setMapperClass(TokenizerMapper.class);//?執行用戶自定義map函數 ????????job.setCombinerClass(IntSumReducer.class);//?對用戶自定義map函數的數據處理結果進行合并，可以減少帶寬消耗 ????????job.setReducerClass(IntSumReducer.class);//?執行用戶自定義reduce函數 ????????/* ?????????*?接著設置Job輸出結果<key,value>的中key和value數據類型，因為結果是<單詞,個數>， ?????????*?所以key設置為"Text"類型，相當于Java中String類型 ?????????*?。Value設置為"IntWritable"，相當于Java中的int類型。 ?????????*/ ????????job.setOutputKeyClass(Text.class); ????????job.setOutputValueClass(IntWritable.class); ????????/* ?????????*?加載輸入文件夾或文件路徑，即輸入數據的路徑 ?????????*?將輸入的文件數據分割成一個個的split，并將這些split分拆成<key,value>對作為后面用戶自定義map函數的輸入 ?????????*?其中，每個split文件的大小盡量小于hdfs的文件塊大小 ?????????*?（默認64M），否則該split會從其它機器獲取超過hdfs塊大小的剩余部分數據，這樣就會產生網絡帶寬造成計算速度影響 ?????????*?默認使用TextInputFormat類型，即輸入數據形式為文本類型數據文件 ?????????*/ ????????System.out.println("Job?start!"); ????????FileInputFormat.addInputPath(job,?new?Path(otherArgs[0])); ????????/* ?????????*?設置輸出文件路徑?默認使用TextOutputFormat類型，即輸出數據形式為文本類型文件，字段間默認以制表符隔開 ?????????*/ ????????FileOutputFormat.setOutputPath(job,?new?Path(otherArgs[1])); ????????/* ?????????*?開始運行上面的設置和算法 ?????????*/ ????????if?(job.waitForCompletion(true))?{ ????????????System.out.println("ok!"); ????????}?else?{ ????????????System.out.println("error!"); ????????????System.exit(0); ????????} ????} }

????????4.4?在eclipse中代碼區點擊右鍵，點擊里面的run?on?hadoop即可運行該程序。

總結

以上是生活随笔為你收集整理的eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。