2019獨角獸企業重金招聘Python工程師標準>>>

?

服務器上已經有了 hadoop2.7.2環境，這次只用配置spark1.6就可以。

服務器操作系統為centOS6.5

1、安裝Scala ?????

下載地址：http://www.scala-lang.org/download/ ?

注：我下載的是scala-2.11.8.tgz

將壓縮上傳至/usr/local?目錄 ?

• 解壓縮

tar -zxvf?scala-2.11.8.tgz

• 做軟聯接

ln -s scala-2.11.8 scala?

• 設置環境變量

vim /etc/profile #追加如下內容 export SCALA_HOME=/usr/scala/scala-2.11.7 export PATH=$PATH:$SCALA_HOME/bin

• 使環境變量生效

source /etc/profile

• 測試環境變量設置

scala -version

2、Spark安裝與配置

下載：?http://spark.apache.org/downloads.html?

下載的版本：spark-1.6.1-bin-hadoop2.6.tgz

將壓縮文件上傳至/usr/local?目錄 ?

• 解壓縮

tar -zxvf?spark-1.6.1-bin-hadoop2.6.tgz

• 做軟聯接

ln -s spark-1.6.1-bin-hadoop2.6.tgz spark

• 設置環境變量

vim /etc/profile #追加如下內容 export SPARK_HOME=/usr/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

• 使環境變量生效

source /etc/profile

• 測試環境變量設置

spark-shell --version

• 配置Spark

• 修改spark-env.sh

cd /usr/local/spark/conf/ cp spark-env.sh.template spark-env.sh vi spark-env.sh #追加如下內容 export SCALA_HOME=/usr/local/scala export JAVA_HOME=/usr/local/jdk export SPARK_MASTER_IP=192.168.31.213 export SPARK_WORKER_MEMORY=1024m export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

• 啟動Spark

start-all.sh #停止命令 stop-all.sh

• 提交任務到Spark集群

spark-submit --master spark://192.168.31.213:7077 --class 主函數入口 --name 自己起個名稱 jar包的全路徑 例：spark-submit --master spark://192.168.31.213:7077 --class cn.crxy.dataming.tfidf.TFIDF --name tfidf tfidf.jar

• 提交任務到yarn中

spark-submit --master yarn-cluster --class cn.crxy.dataming.tfidf.TFIDF --name tfidf tfidf.jar

• 使用web查看任務運行狀態 ? http://192.168.31.213:8088/?

轉載于:https://my.oschina.net/xiaoluobutou/blog/675897

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的搭建 Hadoop2.7.2 + Spark1.6环境的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。