因?yàn)閙ac系統(tǒng)的idea中圖標(biāo)位置不太一樣, hadoop安裝位置也不一樣, 所以這里補(bǔ)充我在mac上的配置方式.

前提是電腦中已經(jīng)安裝有hadoop

首先下載安裝jdk8官網(wǎng)下載JDK8

我的電腦上原本有JDK11, 但是hadoop對于JDK9以上的配置對于我這個(gè)新手太不友好了, 加上遠(yuǎn)程虛擬機(jī)安裝的是hadoop2.7,所以這里就選擇非常保險(xiǎn)的JDK8.

安裝好后進(jìn)入idea, 創(chuàng)建新maven工程

接下來打開Finder, 找到剛剛創(chuàng)建的工程目錄

如果沒有l(wèi)ib文件夾, 就手動(dòng)創(chuàng)建一個(gè)

然后進(jìn)入hadoop的安裝路徑, 將復(fù)制到剛剛創(chuàng)建的lib文件夾中

由于我是使用homebrew安裝,所以路徑默認(rèn)是隱藏的

打開Finder后按下Shift+Command+G, 輸入/usr/local

我的hadoop路徑是 /usr/local/Cellar/hadoop/3.2.1

然后繼續(xù)找下去

將上圖所示拷貝到lib文件夾后, 打開idea

其中, 導(dǎo)入tools文件夾時(shí)要做個(gè)選擇

選擇Jar Directory

將上面的6個(gè)文件夾導(dǎo)入之后, 再額外導(dǎo)入common下的lib文件夾

全部導(dǎo)入后的結(jié)果就是這樣了

接下來就是測試是否可以正常連接遠(yuǎn)程虛擬機(jī)

全部導(dǎo)入過, 左側(cè)就會(huì)出現(xiàn)目錄結(jié)果

在src-main-java文件夾下新建一個(gè)Main文件

將如下代碼拷貝進(jìn)文件import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Main {

public static void main(String [] args) throws Exception {

System.out.println("Compile Over");

FileSystem fs = FileSystem.get(new URI("hdfs://換成自己的IP:換成自己的端口"), new Configuration());

FileStatus[] files = fs.listStatus(new Path("/"));

for (FileStatus f : files) {

System.out.println(f);

}

}

}

再次打開ProjectStructer,按照下圖依次進(jìn)行操作

然后就可以運(yùn)行剛剛的Main中的代碼啦!

輸出結(jié)果就是虛擬機(jī)上HDFS的文件夾

至此, 這個(gè)過程就算成功了!

總結(jié)

以上是生活随笔為你收集整理的hadoop的idea连接配置_idea远程连接hadoop(macOS)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。