#---------------------------------------------------------------------------------------------------------------------------------------

這個實驗注意哈如果是連接local模式的spark集群那隨便搞。

如果是連接真實集群，那么每個node中的spark版本必須和pom.xml中的spark相關版本一致。

#---------------------------------------------------------------------------------------------------------------------------------------

①intellij新建一個maven工程

②pom.xml

③新建類TestSparkJava(右鍵點擊java->New->Java Class)

④

intellij中點擊mvn package生成jar包

注意哈，如果是local模式，不需要執行第④步，但是如果是連接真實spark集群，這步不可以省去，否則會報錯！

⑤修改TestSparkJava中setJars后面的路徑，該路徑是④中生成的jar包所在的路徑

右鍵點擊TestSparkJava選擇Run TestSparkJava.main( )

---------------------------------------------------------------------------附錄---------------------------------------------------------------------------

完整工程如下:

https://gitee.com/appleyuchi/spark_success/tree/master/testSpark-Intellij連接真實spark用法

pom.xml(spark版本必須和pom.xml中的spark相關版本一致,否則會有莫名其妙的錯誤)

Reference:

[1]在 IntelliJ IDEA 中配置 Spark(Java API) 運行環境

總結

以上是生活随笔為你收集整理的intellij连接真实spark集群运行wordcount-Java的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。