IDEA結合Maven搭建本地MapReduce環境

文章目錄

• IDEA結合Maven搭建本地MapReduce環境
• • 前言
  • 環境
  • 配置Maven
  • • 新建項目
    • 初始化
    • 添加apache源
    • 添加Hadoop依賴

前言

Hadoop的開發中需要很多的依賴包，相互之間的關系較為復雜，依賴包之間復雜的關系就導致了搭建Hadoop的過程中會遇到各種報錯，費心費神還調試不好，真是讓人苦惱。

Maven是一個依賴管理和項目構建的工具，它利用慣例組織Java項目的結構，并允許通過簡單的配置定義直接依賴，而直接依賴所需的其他依賴則會通過事先定義好的關系列表自動下載，大大節省了開發者本身的工作量。

使用Maven管理依賴，可以把MapReduce程序看出一個普通的Java程序一樣來運行和調試，不需要在真實的分布式Hadoop集群上運行，真是好用又方便。

Maven是一個項目管理工具，在主流的Java IDE上都有插件。這里我們推薦使用IntelliJ IDEA來配合Maven，相比于Eclipse，IDEA更智能、更迅速、體驗更佳。以 IDEA Ultimate 2019.3 版本為例，它自帶了Maven支持，都不需要安裝插件。

環境

JDK 1.7及1.7以上版本

IntelliJ IDEA Ultimate

不需要安裝任何形式的Hadoop集群

如果不知道 IDEA怎么下載和安裝的，可以參考另一篇博客 Windows下配置IDEA開發環境

配置Maven

新建項目

配置Maven的時候請一定要保持網絡連接，不要斷網

打開 IDEA，新建一個項目。點擊 $File$ -> $New$ -> $Project$

在彈出的對話框中選擇 $Maven$，JDK選擇自己安裝的版本，點擊Next

Location對應安裝位置，選擇到你想要安裝的文件夾，比如我這里選擇的是“D:\Dpan\Java”，系統提示當前目錄非空

我在后面再添加“\bigdata”，提示通過，意味著點擊 finish 之后系統在“D:\Dpan\Java”這個目錄下會創建一個叫做 bigdata 的空文件夾來存放這個項目（當然你也可以在電腦中提前建立一個空文件夾再選擇其為安裝位置），點擊 finish 確定

初始化

IDEA 初始化項目之后，會在右下角提示Maven需要導入一些東西，這里我們選擇 Enable Auto-Import（自動導入）

耐心等待兩三分鐘，等待項目導入初始化依賴結束，左下角的 Build 框中 Sync 前面轉圈就是在導入依賴，出現綠色對號即意味著初始化結束。

在項目的左側有文件目錄結構，雙擊以編譯 $pom.xml$ ，這是Maven的配置文件

添加apache源

在 $project$ 內尾部添加代碼

<repositories><repository><id>apache</id><url>http://maven.apache.org</url></repository> </repositories>

IDEA 會開始自動從網絡上下載依賴包并導入，窗口的最底部會開始轉圈，轉圈結束就表示apache源添加成功。

添加Hadoop依賴

這里只需要用到基礎依賴 $hadoop?core$ 和 $hadoop?common$；如果需要讀寫HDFS，則還需要依賴 $hadoop?hdfs$ 和 $hadoop?client$；如果需要讀寫HBase，則還需要依賴 $hbase?client$。

在 $project$ 內尾部添加代碼

<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-core</artifactId><version>1.2.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.2</version></dependency> </dependencies>

同樣，等待轉圈結束，Hadoop依賴就添加成功了。

修改 $pom.xml$ 完成后，IDEA 會提示 Maven projects need to be Imported，點擊Import Changes以更新依賴

到這一步之后，Maven 環境就算搭建完畢，可以直接使用此項目編寫和運行 MapReduce 程序了。

下一步怎么通過IDEA+Maven運行MapReduce程序，請參考下一篇博客 IDEA+Maven運行調試MapReduce程序

總結

以上是生活随笔為你收集整理的Windows下使用IDEA+Maven搭建本地Hadoop环境的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。