一、Spark概述
????Spark 是一個用來實現快速而通用的集群計算的平臺。

????在速度方面，Spark 擴展了廣泛使用的 MapReduce 計算模型，而且高效地支持更多計算模式，包括交互式查詢和流處理。 在處理大規模數據集時，速度是非常重要的。速度快就意味著我們可以進行交互式的數據操作，否則我們每次操作就需要等待數分鐘甚至數小時。

????Spark 的一個主要特點就是能夠在內存中進行計算，因而更快。不過即使是必須在磁盤上進行的復雜計算，Spark 依然比 MapReduce 更加高效。
　Spark 5個核心庫

　　1.內核： spark 的核心基礎設施，提供了表示和存儲數據的原始數據類型，稱為 RDD(Resilient Distributed Dataset, 彈性分布式數據集）

　　2.SQL

　　3. MLlib(Machine Learning Library, 機器學習庫）

　　4. GraphX: 供圖和圖相關的計算使用

　　5.流（Streaming)?

二、安裝步驟

1. 安裝JDK環境

下載JDK安裝包，配置JDK環境

?

2.安裝SCALA

1).下載scala，我這里下載的是scala-2.12.2.tgz，并上傳到linux服務器?

2).新建scala目錄：/usr/local/scala?

3).將scala-2.12.2.tgz復制到：/usr/local/scala，并解壓縮?

4).在/etc/profile文件中添加：?
? SCALA_HOME=/usr/local/scala/scala-2.12.2?
? PATH=$PATH:${SCALA_HOME}/bin?

5).輸入source /etc/profile 使profile文件生效?

6).輸入scala，查看scala是否生效?

?

3.安裝Spark?
1).下載Spark，我這里下載的是spark-2.3.1-bin-hadoop2.7.tgz?

2).新建spark目錄：/usr/local/spark?

3).將spark-2.3.1-bin-hadoop2.7.tgz復制到：/usr/local/spark，并解壓縮?

4).在/etc/profile文件中添加：?
? SPARK_HOME=/usr/local/spark/spark-2.3.1-bin-hadoop2.7?
? PATH=$PATH:${SPARK_HOME}/bin?

5).輸入source /etc/profile 使profile文件生效?

6).修改spark配置?
? 進入spark-2.3.1-bin-hadoop2.4/conf?
? 復制模板文件：?
? cp spark-env.sh.template spark-env.sh?
? cp slaves.template slaves?

7).編輯spark-env.sh，添加：?
? export JAVA_HOME=/usr/local/java/jdk1.8.0_131?
? export SCALA_HOME=SCALA_HOME=/usr/local/scala/scala-2.12.2?
? export SPARK_MASTER_IP=172.20.0.204?
? export SPARK_WORKER_MEMORY=1g?
? export HADOOP_CONF_DIR=/usr/local/spark/spark-2.3.1-bin-hadoop2.7?

8).輸入source spark-env.sh，使spark-env.sh文件生效?

9).試一下spark是否安裝成功?

?

統計一下README.md文件中的單詞個數

?

Reference:

[1]:https://margaret0071.iteye.com/blog/2384805

轉載于:https://www.cnblogs.com/hoojjack/p/10160663.html

總結

以上是生活随笔為你收集整理的Centos6.8 安装spark-2.3.1 以及 scala-2.12.2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。