---

建立連接，導(dǎo)包

如果不用maven,解壓hadoop安裝包，share==>hadoop==>common==>lib ?里面的全部復(fù)制粘貼過(guò)去， share==>hadoop==>hdfs==>lib ?里面的全部復(fù)制粘貼過(guò)去。

如果用maven,在maven repository中搜索hadoop,找到common，找到對(duì)應(yīng)版本

?

復(fù)制到pom.xml中

?

再導(dǎo)入hadoop Client

?

第一步建立連接，連接namenode

之前通過(guò)linux對(duì)hdfs配置時(shí)，在core-site.xml中，配置

?

連接的是namenode。

現(xiàn)在用myeclipse,書寫運(yùn)行文件，先對(duì)文件進(jìn)行讀操作：

HDFSClient.java

?

package com.neuedu.test;import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;public class HFDSClient {public static void main(String[] args) {// TODO Auto-generated method stub read();}public static void read(){//-------連接namenode：//1、創(chuàng)建一個(gè)配置對(duì)象(與配置文件是一個(gè)原理)Configuration conf=new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.71.141:9000");//set配置對(duì)象Path path=new Path("/hadoop/abc.txt");//讀文件//FileSystem fs=new //發(fā)現(xiàn)方法不能用，因?yàn)樗鼮槌橄蠓椒?#xff0c;在不能用情況下，創(chuàng)建對(duì)象時(shí)方法很陌生且不能用，調(diào)用一下靜態(tài)方法,看哪個(gè)可以返回try {FileSystem fs=FileSystem.get(conf);//只用來(lái)連接namenode//因?yàn)槭亲x文件,需要返回一個(gè)輸入流FSDataInputStream input = fs.open(path);//f 為一個(gè)路徑，告訴它文件在哪 //返回了一個(gè)流//讀文字可以轉(zhuǎn)化為字符流，轉(zhuǎn)換：InputStreamReader isr=new InputStreamReader(input);//如果想按行讀，BufferedReader br=new BufferedReader(isr);//開始讀String str=br.readLine();//按行讀while(str!=null){//只要不為空 System.out.println(str);str=br.readLine();//每輸出一行，讀一次 }br.close();isr.close();input.close();//流都需要關(guān)閉} catch (IOException e) {// TODO Auto-generated catch block e.printStackTrace();}} }

?

之后運(yùn)行，結(jié)果：

?

查看文件是否正確：

現(xiàn)在對(duì)文件進(jìn)行寫操作，分為追加和直接寫入

追加方法：

public static void append(){Configuration conf=new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.71.141:9000");//set配置對(duì)象try {FileSystem fs=FileSystem.get(conf);FSDataOutputStream outpustream = fs.append(new Path("/hadoop/abc.txt"));//在哪個(gè)文件上追加outpustream.writeBytes("123123123");outpustream.close();} catch (IOException e) {// TODO Auto-generated catch block e.printStackTrace();}}

之后再讀一下，看看是否寫成功：

直接寫入的形式：

//寫入:直接寫入public static void write(){Configuration conf=new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.71.141:9000");//set配置對(duì)象try {FileSystem fs=FileSystem.get(conf);FSDataOutputStream outpustream = fs.create(new Path("/hadoop/abc.txt"));//在哪個(gè)文件上追加outpustream.writeBytes("123123123");outpustream.close();} catch (IOException e) {// TODO Auto-generated catch block e.printStackTrace();}}

通過(guò)read()查看結(jié)果：

?

---

因?yàn)閬?lái)回切換函數(shù)查看文件內(nèi)容很不方便，在此進(jìn)行配置DFS Location，方便對(duì)hdfs進(jìn)行管理：

?

先將復(fù)制到myeclipse根目錄的plugins中，

重啟myeclipse重啟之后，點(diǎn)擊windows==>show view==>other==>會(huì)多出一個(gè)視圖

雙擊此視圖，右擊新建，

出現(xiàn)視圖，能夠顯示hdfs中的文件目錄，查看文件內(nèi)容

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/610553824lyx/p/9307769.html

總結(jié)

以上是生活随笔為你收集整理的通过JAVA对HDFS进行操作管理插件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。