【Spark Summit East 2017】提升Python与Spark的性能和互操作性
生活随笔
收集整理的這篇文章主要介紹了
【Spark Summit East 2017】提升Python与Spark的性能和互操作性
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
更多精彩內(nèi)容參見(jiàn)云棲社區(qū)大數(shù)據(jù)頻道https://yq.aliyun.com/big-data;此外,通過(guò)Maxcompute及其配套產(chǎn)品,低廉的大數(shù)據(jù)分析僅需幾步,詳情訪問(wèn)https://www.aliyun.com/product/odps。
本講義出自Wes McKinney在Spark Summit East 2017上的演講,對(duì)于使用Python編程以及并行化和擴(kuò)大數(shù)據(jù)處理方面,Spark已成為一個(gè)受歡迎和成功的框架,但是在很多案例中,使用PySpark的任務(wù)處理要比使用Scala編寫(xiě)的效率差,而且在Python環(huán)境與Spark主機(jī)之間推拉數(shù)據(jù)也將增加開(kāi)銷(xiāo),本次演講將驗(yàn)證和分析使用一些Python庫(kù)進(jìn)行序列化以及互操作性問(wèn)題。
總結(jié)
以上是生活随笔為你收集整理的【Spark Summit East 2017】提升Python与Spark的性能和互操作性的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 深入浅出-iOS程序性能优化
- 下一篇: Vijos P1196吃糖果游戏[组合游