一．安裝準備

需要先安裝hadoop,Java JDK,采用 Hadoop(偽分布式)＋Spark(Local模式) 的組合．

spark和sbt，maven的版本：spark-2.4.5-bin-without-hadoop.tgz 和sbt-1.3.8.tgz,maven-3.6.3；
https://pan.baidu.com/s/129rn9DrjVSzGi2SksTkefw 提取碼: ebbb

二.spark 本地模式安裝

進入spark 壓縮包所在目錄，我的目錄為~/Documents/Personal File/BigData，解壓文件到目錄 /usr/local/，并重命名為spark,設置權限.

cd ~/Documents/Personal\ File/BigData sudo tar -zxf ./spark-2.4.5-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.4.5-bin-without-hadoop/ ./spark sudo chown -R hadoop:hadoop ./spark

配置文件spark-env.sh;

cd /usr/local/saprk cp ./conf/spark-env.sh.template ./conf/spark-env.sh vim ./conf/spark-env.sh

在文件中添加如下配置信息：

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

三. Spark Shell 編程

啟動shell

cd /usr/local/spark bin/spark-shell

簡單的編程測試
spark創建sc,加載本地文件創建RDD,也可以加載HDFS 文件．通過　前綴(hdfs://和file:///)　進行標識是本地文件還是HDFS文件；

val textFile = sc.textFile("file:///usr/local/spark/README.md") //獲取RDD文件textFile的第一行內容 textFile.first() //獲取RDD文件textFile所有項的計數 textFile.count() //抽取含有“Spark”的行，返回一個新的RDD val lineWithSpark = textFile.filter(line => line.contains("Spark")) //統計新的RDD的行數 lineWithSpark.count() //找出文本中每行的最多單詞數 textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)

退出Spark .

:quit

四. Scala 獨立應用編程
使用scala 編寫的程序需要使用sbt進行編譯打包，使用java編寫的代碼需要通過maven 打包，使用python 編寫的代碼可以直接通過spark-submit 直接提交．

sbt 安裝

sudo mkdir /usr/local/sbt sudo tar -zxvf ~/Documents/Personal\ File/BigData/sbt-1.3.8.tgz -C /usr/local cd /usr/local/sbt sudo chown -R hadoop /usr/local/sbt cp ./bin/sbt-launch.jar ./ #把bin目錄下的sbt-launch.jar復制到sbt安裝目錄下

創建sbt 的啟動腳本．

vim /usr/local/sbt/sbt#添加如下內容： #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

為文件添加可執行權限．

chmod u+x /usr/local/sbt/sbt

查看sbt 版本信息,這個步驟第一次執行時間很長，還有可能執行不成功．

　cd /usr/local/sbt./sbt/ sbtVersion

scala 編程及其打包

創建一個目錄作為應用程序根目錄．并創建文件結構目錄；

# 進入一個目錄，創建相關目錄 cd ~/Documents/Personal\ File/BigData# 創建根目錄及其結構 mkdir ./sparkapp # 創建應用程序根目錄 mkdir -p ./sparkapp/src/main/scala # 創建所需的文件夾結構# 創建代碼文件 vim ./sparkapp/src/main/scala/SimpleApp.scala

編寫代碼如下：

/* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConfobject SimpleApp {def main(args: Array[String]) {val logFile = "file:///usr/local/spark/README.md" // Should be some file on your systemval conf = new SparkConf().setAppName("Simple Application")val sc = new SparkContext(conf)val logData = sc.textFile(logFile, 2).cache()val numAs = logData.filter(line => line.contains("a")).count()val numBs = logData.filter(line => line.contains("b")).count()println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))}}

編譯打包文件

cd ~/Documents/Personal\ File/BigData/sparkapp vim simple.sbt

添加內容,scalaVersion指定scala 的版本，spark-core 指定spark的版本．可以通過spark 的shell登錄界面獲取到版本信息．

name := "Simple Project" version := "1.0" scalaVersion := "2.11.12" libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"

使用sbt打包文件，為保證sbt正常運行，通過如下命令查看文件結構．

cd ~/Documents/Personal\ File/BigData/sparkapp find .

執行打包命令，生成的 jar 包的位置為 ~/Documents/Personal\ File/BigData/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar。

/usr/local/sbt/sbt package

通過spark-submit 來提交程序運行．

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/Documents/Personal\ File/BigData/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar

五. Java 獨立編程

安裝Java 編譯打包工具maven ;

cd ~/Documents/Personal\ File/BigData sudo unzip apache-maven-3.6.3-bin.zip -d /usr/local cd /usr/local sudo mv apache-maven-3.6.3/ ./maven sudo chown -R hadoop ./maven

Java 應用程序代碼
創建應用程序根目錄；

cd ~/Documents/Personal\ File/BigData mkdir -p ./sparkapp2/src/main/java

在./sparkapp2/src/main/java下創建代碼文件．

/*** SimpleApp.java ***/ import org.apache.spark.api.java.*; import org.apache.spark.api.java.function.Function; import org.apache.spark.SparkConf;public class SimpleApp {public static void main(String[] args) {String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your systemSparkConf conf=new SparkConf().setMaster("local").setAppName("SimpleApp");JavaSparkContext sc=new JavaSparkContext(conf);JavaRDD<String> logData = sc.textFile(logFile).cache(); long numAs = logData.filter(new Function<String, Boolean>() {public Boolean call(String s) { return s.contains("a"); }}).count(); long numBs = logData.filter(new Function<String, Boolean>() {public Boolean call(String s) { return s.contains("b"); }}).count(); System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);} }

在./sparkapp2目錄中新建文件pom.xml．

cd ~/Documents/Personal\ File/BigData/sparkapp2 vim pox.xml <project><groupId>cn.edu.xmu</groupId><artifactId>simple-project</artifactId><modelVersion>4.0.0</modelVersion><name>Simple Project</name><packaging>jar</packaging><version>1.0</version><repositories><repository><id>jboss</id><name>JBoss Repository</name><url>http://repository.jboss.com/maven2/</url></repository></repositories><dependencies><dependency> <!-- Spark dependency --><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.4.5</version></dependency></dependencies> </project>

使用maven 打包Java 程序
為保證maven 正常運行，通過find 查看文件結構:

cd ~/Documents/Personal\ File/BigData/sparkapp2 find .# 打包命令 /usr/local/maven/bin/mvn package

通過spark-submit 運行程序．

/usr/local/spark/bin/spark-submit --class "SimpleApp" ./target/simple-project-1.0.jar

總結

以上是生活随笔為你收集整理的Spark安装及其sbt和maven 打包工具安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。