如果用hadoop直接操作，還要學一些專門的hadoop指令，其實也可以用java代碼來操作hadoop
首先電腦上安裝intellig IDEA，notepad++，之前開啟的hadoop集群（三臺linux虛擬機）
首先，在windows下設置hadoop環境：

紅線的兩個是至關重要的文件，否則在執行java_api時會報錯
接下來設置環境變量：

在path里添加路徑：

并且要把hadoop.dll文件放到紅圈目錄下重啟電腦：

接下來安裝maven，我這里安裝的是最新版本的maven
官網如下：
http://maven.apache.org/download.cgi

安裝好后，將其解壓在指定目錄，我放在D盤下：

這個時候要設置阿里云鏡像源，這樣可以讓下載速度更快，要修改settings.xml，用notepad++打開，在mirrors配置項里進行配置，并且加上jar包的倉庫目錄：

<mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url>; </mirror></mirrors> <localRepository>E:\maven\LocalWarehouse</localRepository>

下面的LocalWarehouse是自己創建的文件本地倉庫
接下來設置環境變量，同上：

現在可以打開intellji IDEA進行設置maven，創建一個maven項目（不加骨架），自己起名字，進去后點擊settings：

設置好后，導入jar包（下面這些都是要下載的對應jar包）：

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>cn.gzq1</groupId><artifactId>hadoop_api</artifactId><version>1.0-SNAPSHOT</version><dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.5</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.5</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.5</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>2.7.5</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency></dependencies><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.1</version><configuration><source>1.8</source><target>1.8</target><encoding>UTF-8</encoding><!-- <verbal>true</verbal>--></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>2.4.3</version><executions><execution><phase>package</phase><goals><goal>shade</goal></goals><configuration><minimizeJar>true</minimizeJar></configuration></execution></executions></plugin></plugins></build></project>

導入后intellji IDEA會自動下載相應jar包

下載完成會顯示綠色對勾
這個時候就可以在java目錄下創建一個包，并且在包下創建一個類，和一個方法：

package cn.gzq1.hdfs_api;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.junit.Test;import java.io.*;/*** @Auther: gzq* @Date: 2020/11/21 - 11 - 21 - 14:36* @Description: cn.gzq1.hdfs_api*/ public class HdfsApiDemo {@Testpublic void getFileSystem1() throws IOException {Configuration configuration = new Configuration();configuration.set("fs.defaultFS", "hdfs://192.168.19.110:8020/");FileSystem fileSystem = FileSystem.get(configuration);System.out.println(fileSystem.toString());}}

檢查三臺虛擬機是否開啟相應的hadoop服務：

另外兩臺就不放圖了
實行后，打印成功：

總結

以上是生活随笔為你收集整理的用java程序操作hadoop，intellij IDEA和maven的使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。