?

?

?

?

?

?

?

?

下載地址 ：https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0.tgz

?

我們把spark放在節點2上

?

解壓

?

?

?

下面我們把jdk換成1.8的

?

配置環境變量

?

?

使環境變量生效

?

?重啟后

另外兩個節點的做法一樣，這里就不多說了

?

?

上傳maven包

?

解壓

?

?

?

?

配置maven的環境變量

?

#java export JAVA_HOME=/opt/modules/jdk1.8.0_60 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin#maven export MAVEN_HOME=/opt/modules/apache-maven-3.3.9 export PATH=$PATH:$MAVEN_HOME/bin export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024M"

?

?

使其環境變量生效

?

?

?

?

?

?找到這一串，把他刪除掉

?

改成

VERSION=2.2.0 SCALA_VERSION=2.11.8 SPARK_HADOOP_VERSION=2.6.0 SPARK_HIVE=1

?

?

?

?

?

?我們可以參考官網的教程說明

http://spark.apache.org/docs/2.2.0/building-spark.html

?

我們運行一下

./dev/make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn

?

?這個過程非常長，網絡好機器配置好的話也許一個小時吧，如果中途網絡不好失敗的話就重新來吧

?

我自己這里也是經過了一次失敗之后，再重新運行一次這條語句就可以了，當看到build success字樣的時候就說明成功了

?

?

?

?在spark的目錄下會多了一個踏包

?

解壓

?

改一下名字

?

?

?

?

?

解壓

?

?

接下來配置環境變量

?

?

#scala export SCALA_HOME=/opt/modules/scala-2.11.8 export PATH=$PATH:$SCALA_HOME/bin

?

?

使環境變量生效

?

?

?

?

?

讀取文件

?

?

?統計有多少行

?

?

文件的第一行

?

前4行

?

?

?

我們先新建一個數據文件

?

?

?把文件讀取進來

?

?用空格切分

?

?以key value對的方式顯示出來

?

?這里報錯

?

?

下面我們打開spark的系統監控頁面

?

?

?創建緩存

?

?使用一下

?

?這里就有反饋了

?

轉載于:https://www.cnblogs.com/braveym/p/8551924.html

總結

以上是生活随笔為你收集整理的Spark2.X环境准备、编译部署及运行的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。