2019獨角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

Spark是什么？

Spark是一個用來實現(xiàn)快速而通用的集群計算平臺。

一個大一統(tǒng)的軟件棧：Spark核心是一個由多個計算任務(wù)組成的、運行在多個組合機器或者是一個計算的集群上的應(yīng)用進行調(diào)度、分發(fā)以及監(jiān)控的計算引擎。Spark具有速度快和通用的特點，使得各個組件可以無縫連接，節(jié)省項目時間。

Spark Code

實現(xiàn)了Spark的基本功能：任務(wù)調(diào)度，內(nèi)存管理，錯誤恢復(fù)，存儲系統(tǒng)交互等。

SparkSQL

可以支持HiveSQL和SQL等來查詢數(shù)據(jù)，支持多種數(shù)據(jù)源。

Spark Streaming

Spark實時數(shù)據(jù)進行流式計算的組件。

MLlib

Spark機器學(xué)習(xí)的程序庫。

集群管理器

Spark支持多種集群管理器，如自身的簡易調(diào)度器，HadoopYarn，ApacheMesos等。

Spark存儲層次

不僅可以將任何Hadoop上HDFS上讀取文件，也支持Hadoop其他接口：本地文件，Hive，HBase等。

?

轉(zhuǎn)載于:https://my.oschina.net/ilovetao/blog/873405

總結(jié)

以上是生活随笔為你收集整理的认识Spark的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。