?

參考《深入理解Spark:核心思想與源碼分析》

　　Spark使用Scala進(jìn)行編寫(xiě)，而Scala又是基于ＪＶＭ運(yùn)行，所以需要先安裝JDK，這個(gè)不再贅述。

１．安裝Scala

　　安裝獲取Scala:

wget http://download.typesafe.com/scala/2.11.5/scala-2.11.5.tgz

?　　將下載的文件移動(dòng)到自家想要放置的目錄。

　　修改壓縮文件的權(quán)限為７５５（所有者讀寫(xiě)執(zhí)行，同組成員讀和執(zhí)行，其他成員讀和執(zhí)行）

chmod 755 scala-2.11.5.tgz

?　　解壓縮：

tar -xzvf scala-2.11.5.tgz

?　　打開(kāi)/etc/profile，添加scala的環(huán)境變量

vim /etc/profile

?　　

　　查看scala是否安裝成功：

scala

?　　

?２．安裝完scala后，就要安裝spark了

　　只接從網(wǎng)站上下載了spark安裝包：

　　http://spark.apache.org/downloads.html

　　將安裝包移動(dòng)到自己指定的位置，解壓縮。

　　配置環(huán)境變量：

　　vim /etc/profile

?　　添加spark環(huán)境變量

　　

　　使環(huán)境變量生效：

　　source /etc/profile

?　　進(jìn)入spark的conf文件目錄，

　　cd /home/hadoop/spark/spark-2.1.0-bin-hadoop2.7/confcp spark-env.sh.template spark-env.sh

?　　在spark-env.sh目錄中添加java hadoop scala的環(huán)境變量

　　

　　啟動(dòng)spark:

　　cd /home/hadoop/spark/spark-2.1.0-bin-hadoop2.7/sbin./start-all.sh

?　　打開(kāi)瀏覽器，輸入http://localhost:8080

　　

　　　可見(jiàn)Spark已經(jīng)運(yùn)行了。

http://blog.csdn.net/wuliu_forever/article/details/52605198這個(gè)博客寫(xiě)的很好

轉(zhuǎn)載于:https://www.cnblogs.com/qj4d/p/7110972.html

總結(jié)

以上是生活随笔為你收集整理的配置Spark的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。