Spark 概述

Apache Spark 是一個(gè)快速的, 多用途的集群計(jì)算系統(tǒng)。 它提供了 Java, Scala, Python 和 R 的高級 API，以及一個(gè)支持通用的執(zhí)行圖計(jì)算的優(yōu)化過的引擎. 它還支持一組豐富的高級工具, 包括使用 SQL 處理結(jié)構(gòu)化數(shù)據(jù)處理的?Spark SQL, 用于機(jī)器學(xué)習(xí)的?MLlib, 用于圖形處理的?GraphX, 以及?Spark Streaming。

下載

從該項(xiàng)目官網(wǎng)的?下載頁面?獲取 Spark. 該文檔用于 Spark 2.2.0 版本. Spark可以通過Hadoop client庫使用HDFS和YARN.下載一個(gè)預(yù)編譯主流Hadoop版本比較麻煩. 用戶可以下載一個(gè)編譯好的Hadoop版本, 并且可以 通過設(shè)置 Spark 的 classpath?來與任何的 Hadoop 版本一起運(yùn)行 Spark. Scala 和 Java 用戶可以在他們的工程中通過Maven的方式引入 Spark, 并且在將來 Python 用戶也可以從 PyPI 中安裝 Spark。

如果您希望從源碼中編譯一個(gè)Spark, 請?jiān)L問?編譯 Spark.

Spark可以在windows和unix類似的系統(tǒng)（例如, Linux, Mac OS）上運(yùn)行。它可以很容易的在一臺本地機(jī)器上運(yùn)行 -你只需要安裝一個(gè)JAVA環(huán)境并配置PATH環(huán)境變量，或者讓JAVA_HOME指向你的JAVA安裝路徑

Spark 可運(yùn)行在 Java 8+, Python 2.7+/3.4+ 和 R 3.1+ 的環(huán)境上。針對 Scala API, Spark 2.2.0 使用了 Scala 2.11. 您將需要去使用一個(gè)可兼容的 Scala 版本 (2.11.x).

請注意, 從 Spark 2.2.0 起, 對 Java 7, Python 2.6 和舊的 Hadoop 2.6.5 之前版本的支持均已被刪除.

請注意, Scala 2.10 的支持已經(jīng)不再適用于 Spark 2.1.0, 可能會(huì)在 Spark 2.3.0 中刪除。

運(yùn)行示例和 Shell

Spark 自帶了幾個(gè)示例程序. Scala, Java, Python 和 R 示例在?examples/src/main?目錄中. 要運(yùn)行 Java 或 Scala 中的某個(gè)示例程序, 在最頂層的 Spark 目錄中使用?bin/run-example <class> [params]?命令即可.（這個(gè)命令底層調(diào)用了?spark-submit?腳本去加載應(yīng)用程序）。例如,

./bin/run-example SparkPi 10

您也可以通過一個(gè)改進(jìn)版的 Scala shell 來運(yùn)行交互式的 Spark。這是一個(gè)來學(xué)習(xí)該框架比較好的方式。

./bin/spark-shell --master local[2]

該?--master選項(xiàng)可以指定為?針對分布式集群的 master URL, 或者 以local模式 使用 1 個(gè)線程在本地運(yùn)行,?local[N]?會(huì)使用 N 個(gè)線程在本地運(yùn)行.你應(yīng)該先使用local模式進(jìn)行測試. 可以通過–help指令來獲取spark-shell的所有配置項(xiàng). Spark 同樣支持 Python API。在 Python interpreter（解釋器）中運(yùn)行交互式的 Spark, 請使用?bin/pyspark:

./bin/pyspark --master local[2]

Python 中也提供了應(yīng)用示例。例如,

./bin/spark-submit examples/src/main/python/pi.py 10

從 1.4 開始（僅包含了 DataFrames APIs）Spark 也提供了一個(gè)用于實(shí)驗(yàn)性的?R API。 為了在 R interpreter（解釋器）中運(yùn)行交互式的 Spark, 請執(zhí)行?bin/sparkR:

./bin/sparkR --master local[2]

R 中也提供了應(yīng)用示例。例如,

./bin/spark-submit examples/src/main/r/dataframe.R

在集群上運(yùn)行

該 Spark?集群模式概述?說明了在集群上運(yùn)行的主要的概念。 Spark 既可以獨(dú)立運(yùn)行, 也可以在一些現(xiàn)有的 Cluster Manager（集群管理器）上運(yùn)行。它當(dāng)前提供了幾種用于部署的選項(xiàng):

• Standalone Deploy Mode: 在私有集群上部署 Spark 最簡單的方式
• Apache Mesos
• Hadoop YARN

快速跳轉(zhuǎn)

編程指南:

• 快速入門: 簡單的介紹 Spark API; 從這里開始！
• Spark 編程指南: 在 Spark 支持的所有語言（Scala, Java, Python, R）中的詳細(xì)概述。
• 構(gòu)建在 Spark 之上的模塊:
  • Spark Streaming: 實(shí)時(shí)數(shù)據(jù)流處理
  • Spark SQL, Datasets, and DataFrames: 支持結(jié)構(gòu)化數(shù)據(jù)和關(guān)系查詢
  • MLlib: 內(nèi)置的機(jī)器學(xué)習(xí)庫
  • GraphX: 新一代用于圖形處理的 Spark API。

API 文檔:

• Spark Scala API (Scaladoc)
• Spark Java API (Javadoc)
• Spark Python API (Sphinx)
• Spark R API (Roxygen2)

部署指南:

• 集群概述: 在集群上運(yùn)行時(shí)概念和組件的概述。
• 提交應(yīng)用: 打包和部署應(yīng)用
• 部署模式:
  • Amazon EC2: 花費(fèi)大約5分鐘的時(shí)間讓您在EC2上啟動(dòng)一個(gè)集群的腳本
  • Standalone Deploy Mode: 在不依賴第三方 Cluster Manager 的情況下快速的啟動(dòng)一個(gè)獨(dú)立的集群
  • Mesos: 使用?Apache Mesos?來部署一個(gè)私有的集群
  • YARN: 在 Hadoop NextGen（YARN）上部署 Spark
  • Kubernetes (experimental): 在 Kubernetes 之上部署 Spark

其它文檔:

• 配置: 通過它的配置系統(tǒng)定制 Spark
• 監(jiān)控: 跟蹤應(yīng)用的行為
• 優(yōu)化指南: 性能優(yōu)化和內(nèi)存調(diào)優(yōu)的最佳實(shí)踐
• 任務(wù)調(diào)度: 資源調(diào)度和任務(wù)調(diào)度
• 安全性: Spark 安全性支持
• 硬件挑選: 集群硬件挑選的建議
• 與其他存儲(chǔ)系統(tǒng)的集成:
  • OpenStack Swift
• 構(gòu)建 Spark: 使用 Maven 來構(gòu)建 Spark
• 給 Spark 貢獻(xiàn)
• 第三方項(xiàng)目: 其它第三方 Spark 項(xiàng)目的支持

外部資源:

• Spark 首頁
• Spark 社區(qū)?資源, 包括當(dāng)?shù)氐木蹠?huì)
• StackOverflow tag?apache-spark
• Mailing Lists: 在這里詢問關(guān)于 Spark 的問題
• AMP Camps: 在 UC Berkeley（加州大學(xué)伯克利分校）的一系列的訓(xùn)練營中, 它們的特色是討論和針對關(guān)于 Spark, Spark Streaming, Mesos 的練習(xí), 等等。在這里可以免費(fèi)獲取視頻,?幻燈片?和?練習(xí)題。
• Code Examples: 更多示例可以在 Spark 的子文件夾中獲取 (Scala,?Java,?Python,?R)

?

---

我們一直在努力?

apachecn/spark-doc-zh

???? 原文地址: http://spark.apachecn.org/docs/cn/2.2.0/index.html
網(wǎng)頁地址: http://spark.apachecn.org/
github: https://github.com/apachecn/spark-doc-zh （覺得不錯(cuò)麻煩給個(gè) Star，謝謝！~）

轉(zhuǎn)載于:https://www.cnblogs.com/apachecnxy/p/7561271.html

總結(jié)

以上是生活随笔為你收集整理的Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。