上一篇講了普通構建spark項目 這次分享用Maven構建Spark項目，中間遇到了很多坑！其根本原因是Scala 與 Spark的版本不一致！

本次環境：

Java1.8

Scala 2.11.8

Spark spark-2.1.0-bin-hadoop2.6.tgz

新建Maven項目

圖1.選擇順序

圖2.隨便寫點什么

接下來就是選取Maven環境的選取，簡單的說一下。

如果你電腦上裝了Maven 并且IDEA運行過Maven項目，則會默認給你帶出來你以前配置的環境參數。 這里我對Spark項目單獨建立了一個依賴文件夾下圖E://M2//Repository3(個人喜歡而已)

圖3.配置Maven環境

圖4.給項目命名

圖5.等待2分鐘

圖6.更改Scala版本

org.apache.hadoop hadoop-common 2.6.0org.apache.hadoop hadoop-hdfs 2.6.0org.apache.spark spark-core_2.11 2.1.0org.apache.spark spark-sql_2.11 2.1.0org.apache.spark spark-hive_2.11 2.1.0org.apache.spark spark-streaming_2.11 2.1.0org.apache.spark spark-mllib_2.11 2.1.0com.databricks spark-avro_2.10 2.0.1

然后將上處常用的依賴加入pom文件中

圖7.刷新依賴

上述的過程可能會有點慢，不過沒關系我這邊有阿里的Maven庫鏡像配置只需要將以下代碼Copy到Maven安裝目錄下的setting文件中替換mirrors對應的位置就OK，這樣下載任何依賴都是非常的快！！！

public

public-group-RELEASE

https://maven.aliyun.com/repository/public/

*

jcenter

jcenter-proxy-RELEASE

https://maven.aliyun.com/repository/jcenter/

*

spring

spring-proxy-RELEASE

https://maven.aliyun.com/repository/spring/

*

spring-plugin

spring-plugin-proxy-RELEASE

https://maven.aliyun.com/repository/spring-plugin/

*

google

google-proxy-RELEASE

https://maven.aliyun.com/repository/google/

*

central

central-proxy-RELEASE

https://maven.aliyun.com/repository/central/

*

grails-core

grails-core-proxy-RELEASE

https://maven.aliyun.com/repository/grails-core/

*

mapr-public

mapr-public-proxy-RELEASE

https://maven.aliyun.com/repository/mapr-public/

*

apache snapshots

apache snapshots-proxy-SNAPSHOT

https://maven.aliyun.com/repository/apache-snapshots/

*

gradle-plugin

gradle-plugin-proxy-RELEASE

https://maven.aliyun.com/repository/gradle-plugin/

*

releases

releases-hosted-RELEASE

https://maven.aliyun.com/repository/releases/

*

snapshots

snapshots-hosted-SNAPSHOT

https://maven.aliyun.com/repository/snapshots/

*

jboss-public-repository-group

JBoss Public Repository Group

http://repository.jboss.org/nexus/content/groups/public

*

圖8.卡主了

有時IDEA會卡在這里，關閉重新打開就好

圖9.刪除插件

上面有個插件始終下載不下來，就刪了它，我們也沒有用它。然后再刷新Maven就沒有錯誤了。

圖10.刪除默認創建的APP.Object

圖11.創建Test.Object順序

圖12.創建Test.Object

代碼

圖13.設置Artifacts

圖14.設置入口參數

圖15.設置運行參數配置

圖14.選擇Application

嘗試運行

圖15.點擊運行報錯

報錯，我們把Test整個文件夾刪掉。

再次運行

圖16.成功運行

有需要文件or技術支持的請私信。

謝謝~~~

下班~~~

總結

以上是生活随笔為你收集整理的设置maven 参数调休_IDEA 使用 Maven构建Spark项目的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。