yarn版本：hadoop2.7.0

spark版本：spark1.4.0

0.前期環境準備：

　　jdk 1.8.0_45

　　hadoop2.7.0

　　Apache Maven 3.3.3

1.編譯spark on yarn

　　下載地址：http://mirrors.cnnic.cn/apache/spark/spark-1.4.1/spark-1.4.1.tgz

　　解壓后進入spark-1.4.1

　　執行如下命令，Setting up Maven’s Memory Usage

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

　　編譯spark，使其支持yarn

mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7. -DskipTests clean package

　　編譯會進行很長時間，期間maven會下載很多東西，還會輸出很多warning，一般warning不會有影響，編譯成功后會顯示build success。

3.添加環境變量

export HADOOP_HOME=your hadoop dir

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_CONF_DIR=HADOOP_HOME/etc/hadoop

export YARN_HOME=$HADOOP_HOME

export YARN_CONF_DIR=HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_CONF_DIR
export SPARK_HOME=your spark dir
export PATH=$PATH:$SPARK_HOME/bin

4.執行例子程序，計算pi

　　向yarn提交任務執行程序的格式

$ ./bin/spark-submit --class path.to.your.Class --master yarn-cluster [options] <app jar> [app options】

　　因此執行計算pi的例子程序格式如下：

bin/spark-submit \

--class org.apache.spark.examples.SparkPi    \

--master yarn-cluster    \

--num-executors      \     #執行任務的節點數

--driver-memory 4g     \

--executor-memory 2g    \

--executor-cores   \

examples/target/spark-examples_2.-1.4..jar 

　　例子程序在examples/target下，選擇class為org.apache.spark.examples.SparkPi即為計算pi的類

　　提交成功后可以查看http://localhost:8088查看yarn的管理界面，查看對應任務后的tracking  UI即可查看spark的管理界面

任務成功結束后可以在對應的log的stdout下看到計算的最后pi的結果，例如我的電腦上地址為：

　　http://mmc:8088/logs/userlogs/application_1436998397621_0011/container_1436998397621_0011_01_000001/stdout

致謝：http://spark.apache.org/docs/latest/running-on-yarn.html  #官方文檔

　　　　http://spark.apache.org/docs/latest/building-spark.html#building-a-runnable-distributio  #官方文檔

　　　   http://database.51cto.com/art/201404/435669.htm

　　　　http://blog.csdn.net/jiushuai/article/details/26693569

　　　　http://sofar.blog.51cto.com/353572/1352713

5.小結：如果網上資料太少，官方文檔最重要，雖然看官方文檔真的很頭疼，網上資料很多，但是有的帖子比較老，spark的最新版本的解決方法跟網上的帖子還是有些差別，版本方面一定要看清楚，否則

　　他的成功了，你的不一定成功，如果出錯一定學會看log，一行一行的看下來你會收獲很多。

要善于總結別人的帖子，不要一味的找到一個就開干，不然最后錯了去查錯都不知道自己哪些操作導致的，會影響進度

spark感覺很麻煩，作為一個新手要好好學習

總結

以上是生活随笔為你收集整理的spark on yarn 安装笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。