--本篇隨筆由同事葛同學提供。

windows下spark開發環境配置

特注：windows下開發spark不需要在本地安裝hadoop，但是需要winutils.exe、hadoop.dll等文件，前提是你已經安裝了eclipse、maven、jdk等軟件

spark支持jdk版本建議是1.8及以上，如果開發spark建議將jdk編譯版本設置為1.8

?

我選擇的spark是spark-1.4.0-bin-hadoop2.6.tgz，故以該版本為例

?

第一步：下載spark-1.4.0-bin-hadoop2.6.tgz到本地，并解壓在本地目錄

地址為：http://spark.apache.org/downloads.html

?

第二步：下載windows下hadoop工具包（分為32位和64位的），在本地新建一個hadoop目錄，必須有 bin目錄例如：D:\spark\hadoop-2.6.0\bin

然后將winutil等文件放在bin目錄下

地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin

?

?

?

第三步：配置hadoop和spark的環境變量：

HADOOP_HOME 例如：D:\spark\hadoop-2.6.0

?

? SPARK_HOME

?

SPARK_CLASSPATH

?

path中加入spark和hadoop

?

?

至此，在cmd命令下輸入spark-shell 至此windows下配置ok了

?

?

?

搭建自己的spark maven項目hello world程序

對于已經安裝了eclipse環境的程序員來說，不用再單獨安裝saprk的開發環境，由于spark是基于scala語言的，所以如果要想看源代碼，需要安裝scala的eclipse插件

第一步:安裝scala的eclipse插件

地址：http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site

?

?

?

第一步：創建自己的spark maven項目

勾選create a simple project

?

?

第二步：選則maven生成的包，這里一定要選這jar，因為spark程序一般是打包為jar包的

其他必填自己按需填

?

?

第三步：添加spark的jar包到剛才新建的maven項目中

找到集群安裝的spark安裝目錄，在lib目錄下會看到

?

將加到maven項目的build path下

?

第四步：pom中添加自己的spark，hadoop maven依賴

例如：

??? <dependency>

??????????? <groupId>org.apache.spark</groupId>

??????????? <artifactId>spark-core_2.10</artifactId>

??????????? <version>1.5.2</version>

??????? </dependency>

??????? <dependency>

??????? <groupId>org.apache.spark</groupId>

??????? <artifactId>spark-sql_2.10</artifactId>

??????? <version>1.5.2</version>

??????? </dependency>

??????? <dependency>

??????????? <groupId>org.apache.hadoop</groupId>

??????????? <artifactId>hadoop-client</artifactId>

??????????? <version>1.2.0</version>

??????? </dependency>

?

第五部：spark程序的入口是main函數，至此可以編寫自己的hello world并讓它跑起來和調試

public class SparkMain implements Serializable {

??

?? public static void main(String[] args) throws Exception {

????? //編寫自己的spark程序????????

System.out.println(“hello spark!”);

}

?? }

Now everything is ready for you to run your main Class. Enjoy!

轉載于:https://www.cnblogs.com/davidwang456/p/5032766.html

總結

以上是生活随笔為你收集整理的windows下spark开发环境配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。