操作目的
1、在Linux環境下 編寫HDFS寫文件程序的java文件
2、編譯并打包HDFS的寫程序
3、執行HDFS的寫程序

環境、工具說明
1、先搭建一個 Hadoop 的基礎集群環境
參考：Hadoop集群搭建
2、JDK版本：jdk1.8
安裝配置過程
3、工具：xshell5
4、VMware 版本：VMware Workstation Pro15
5、Hadoop：3.3.0

在clinet節點上編寫HDFS寫程序
1、在將要編寫 java 程序的節點上配置環境變量
此處我選擇了 slave1 節點

[root@slave1 ~]# vim /etc/profile
1
在最后寫入如下內容

export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
export JRE_HOME="/usr/lib/jvm/java-1.8.0/jre"
export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

使配置的環境變量生效

[root@slave1 ~]# source /etc/profile

編寫文件 WriteFile.java
編輯文件

[root@slave1 opt]# vim /opt/WriteFile.java

寫入內容

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
?? ?public static void main(String[] args) throws IOException {
?? ??? ?Configuration conf = new Configuration();
?? ??? ?FileSystem hdfs = FileSystem.get(conf);
?? ??? ?Path dfs = new Path("/HelloHadoop.txt");
?? ??? ?FSDataOutputStream outputStream = hdfs.create(dfs);
?? ??? ?outputStream.writeUTF("HDFS基礎操作，新建文件，并寫入內容。");
?? ??? ?outputStream.close();
?? ?}
}

2、編譯并打包程序 WriteFile.java

[root@slave1 opt]# javac WriteFile.java

查看目錄

打包

[root@slave1 opt]# jar -cvf WriteFile.jar WriteFile.class

查看

3、使用 hadoop 的 jar 命令執行 WriteFile.jar

[root@slave1 opt]# hadoop jar ./WriteFile.jar WriteFile

4、查看在 HDFS 創建的文件

[root@slave1 opt]# hadoop fs -ls /
或
[root@slave1 opt]# hdfs dfs -ls /

5、查看文件內容

[root@slave1 opt]# hadoop fs -cat /HelloHadoop.txt
或
[root@slave1 opt]# hdfs dfs -cat /HelloHadoop.txt
至此 Centos7.x Hadoop 3.x HDFS 寫入文件操作完畢，希望能夠對您有所幫助！

總結

以上是生活随笔為你收集整理的Centos7.x Hadoop 3.x HDFS 写入文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。