2019獨角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

Spark 1.2 發(fā)布，此版本包括 172 位貢獻(xiàn)者和超過 1000 個 commits。

此版本包括

• Spark 核心操作和性能改進(jìn)；

• 添加新的網(wǎng)絡(luò)傳輸子系統(tǒng)，進(jìn)行了較大的改進(jìn)；

• Spark SQL 引入了一個外部數(shù)據(jù)源的支持，支持 Hive13；

• 動態(tài)分區(qū)；

• fixed-precision decimal type；

• MLlib 添加了一個新的面向管道包 (spark.ml)，組合多個算法；

• Spark Streaming 添加了一個 Python API，提前寫錯誤容錯日志；

• GraphX 正式脫離 Alpha 版本，引入了一個穩(wěn)定的 API。

更多內(nèi)容請看發(fā)行說明，現(xiàn)已提供下載。

Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

Spark 是在 Scala 語言中實現(xiàn)的，它將 Scala 用作其應(yīng)用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。

盡 管創(chuàng)建 Spark 是為了支持分布式數(shù)據(jù)集上的迭代作業(yè)，但是實際上它是對 Hadoop 的補充，可以在 Hadoo 文件系統(tǒng)中并行運行。通過名為 Mesos 的第三方集群框架可以支持此行為。Spark 由加州大學(xué)伯克利分校 AMP 實驗室 (Algorithms, Machines, and People Lab) 開發(fā)，可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。

相關(guān)鏈接

• Spark 的詳細(xì)介紹：請點這里

• Spark 的下載地址：請點這里

想通過手機客戶端（支持 Android、iPhone 和 Windows Phone）訪問開源中國：請點這里

? ? ? ? ? ? ? ? 本站文章除注明轉(zhuǎn)載外，均為本站原創(chuàng)或編譯
歡迎任何形式的轉(zhuǎn)載，但請務(wù)必注明出處，尊重他人勞動共創(chuàng)開源社區(qū)
轉(zhuǎn)載請注明：文章轉(zhuǎn)載自：開源中國社區(qū) [http://www.oschina.net]
本文標(biāo)題：Spark 1.2 發(fā)布，開源集群計算系統(tǒng)
本文地址：http://www.oschina.net/news/58096/spark-1-2

轉(zhuǎn)載于:https://my.oschina.net/u/2306127/blog/369911

總結(jié)

以上是生活随笔為你收集整理的Spark 1.2 发布，开源集群计算系统的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。