第一步：首先搭建java的編譯環(huán)境。創(chuàng)建一個(gè)Java Project工程，名為upload。

第二步：選中所需的Jar包。

選中JRE System Library 選擇BuildPath Configure Build Path 選擇hadoop相應(yīng)的jar包。

通過(guò)Add External JARS --〉Hadoop-0.20.2下所有的jar包以及l(fā)ib下所有的jar包。OK。操作步驟如圖：

Hadoop-0.20.2下所有的jar包。

lib下的所有jar包。

第三步：創(chuàng)建class名為UploadFile

第四步：編寫(xiě)代碼。

復(fù)制代碼代碼如下:

package upload;

import java.io.BufferedInputStream;

import java.io.FileInputStream;

import java.io.InputStream;

import java.io.OutputStream;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

public class UploadFile {

public static void main(String[] args) {

try {

String localStr = args[0];

String dst = args[1];

//in對(duì)應(yīng)的是本地文件系統(tǒng)的目錄

InputStream in = new BufferedInputStream(new FileInputStream(localStr));

Configuration conf = new Configuration();

//獲得hadoop系統(tǒng)的連接

FileSystem fs = FileSystem.get(URI.create(dst),conf);

//out對(duì)應(yīng)的是Hadoop文件系統(tǒng)中的目錄

OutputStream out = fs.create(new Path(dst));

IOUtils.copyBytes(in, out, 4096,true//4096是4k字節(jié)

System.out.println("success");

} catch (Exception e) {

System.out.println(e.toString());

}

}

}

第五步：在Run Configuration里面設(shè)置兩個(gè)參數(shù)，并執(zhí)行。

點(diǎn)擊 Run Configuration

在Java Application中設(shè)置 Project和MainClass

Arguments 加兩個(gè)參數(shù)/home/cui/xxxx hdf://cui:9000/xxx Applay Run

第六步：查看結(jié)果。

顯示運(yùn)行成功。

在hadoop文件系統(tǒng)中已經(jīng)看到了hadoop-0.20.2.tar.gz了。

至此文件通過(guò)代碼上傳成功！

將代碼打包成jar文件，并測(cè)試。

1.

在Run Configurations里面命名為uploadfile。

2. 右擊工程，執(zhí)行Export，選擇Runnable JAR file。點(diǎn)擊下一步。

3. 選擇剛才的configuration uploadfile，選擇導(dǎo)出路徑/home/cui。命名為upload.jar

點(diǎn)擊下一步，導(dǎo)出成功。

4. 通過(guò)java命令執(zhí)行。

5. 通過(guò)瀏覽器查看。

upload_hdfs.jar 已經(jīng)存在。

總結(jié)

以上是生活随笔為你收集整理的hadoop上传文件java_hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。