yarn版本：hadoop2.7.0

spark版本：spark1.4.0

0.前期環(huán)境準(zhǔn)備：

　　jdk 1.8.0_45

　　hadoop2.7.0

　　Apache Maven 3.3.3

1.編譯spark on yarn

　　下載地址：http://mirrors.cnnic.cn/apache/spark/spark-1.4.1/spark-1.4.1.tgz

　　解壓后進(jìn)入spark-1.4.1

　　執(zhí)行如下命令，Setting up Maven’s Memory Usage

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

　　編譯spark，使其支持yarn

mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7. -DskipTests clean package

　　編譯會(huì)進(jìn)行很長時(shí)間，期間maven會(huì)下載很多東西，還會(huì)輸出很多warning，一般warning不會(huì)有影響，編譯成功后會(huì)顯示build success。

3.添加環(huán)境變量

export HADOOP_HOME=your hadoop dir

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_CONF_DIR=HADOOP_HOME/etc/hadoop

export YARN_HOME=$HADOOP_HOME

export YARN_CONF_DIR=HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_CONF_DIR
export SPARK_HOME=your spark dir
export PATH=$PATH:$SPARK_HOME/bin

4.執(zhí)行例子程序，計(jì)算pi

　　向yarn提交任務(wù)執(zhí)行程序的格式

$ ./bin/spark-submit --class path.to.your.Class --master yarn-cluster [options] <app jar> [app options】

　　因此執(zhí)行計(jì)算pi的例子程序格式如下：

bin/spark-submit \

--class org.apache.spark.examples.SparkPi    \

--master yarn-cluster    \

--num-executors      \     #執(zhí)行任務(wù)的節(jié)點(diǎn)數(shù)

--driver-memory 4g     \

--executor-memory 2g    \

--executor-cores   \

examples/target/spark-examples_2.-1.4..jar 

　　例子程序在examples/target下，選擇class為org.apache.spark.examples.SparkPi即為計(jì)算pi的類

　　提交成功后可以查看http://localhost:8088查看yarn的管理界面，查看對(duì)應(yīng)任務(wù)后的tracking  UI即可查看spark的管理界面

任務(wù)成功結(jié)束后可以在對(duì)應(yīng)的log的stdout下看到計(jì)算的最后pi的結(jié)果，例如我的電腦上地址為：

　　http://mmc:8088/logs/userlogs/application_1436998397621_0011/container_1436998397621_0011_01_000001/stdout

致謝：http://spark.apache.org/docs/latest/running-on-yarn.html  #官方文檔

　　　　http://spark.apache.org/docs/latest/building-spark.html#building-a-runnable-distributio  #官方文檔

　　　   http://database.51cto.com/art/201404/435669.htm

　　　　http://blog.csdn.net/jiushuai/article/details/26693569

　　　　http://sofar.blog.51cto.com/353572/1352713

5.小結(jié)：如果網(wǎng)上資料太少，官方文檔最重要，雖然看官方文檔真的很頭疼，網(wǎng)上資料很多，但是有的帖子比較老，spark的最新版本的解決方法跟網(wǎng)上的帖子還是有些差別，版本方面一定要看清楚，否則

　　他的成功了，你的不一定成功，如果出錯(cuò)一定學(xué)會(huì)看log，一行一行的看下來你會(huì)收獲很多。

要善于總結(jié)別人的帖子，不要一味的找到一個(gè)就開干，不然最后錯(cuò)了去查錯(cuò)都不知道自己哪些操作導(dǎo)致的，會(huì)影響進(jìn)度

spark感覺很麻煩，作為一個(gè)新手要好好學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的spark on yarn 安装笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。