sparkcontext相當(dāng)于我們和spark集群出創(chuàng)建好了連接，可以通過(guò)sparkcontext這樣的上下文環(huán)境來(lái)創(chuàng)建RDD，在shell命令行中，spark已經(jīng)將上下文環(huán)境創(chuàng)建好了，當(dāng)我們輸入sc時(shí)：

可見(jiàn)已經(jīng)用了local模式，沒(méi)有使用集群，這樣可以驗(yàn)證一些基本的代碼appName是我們當(dāng)前啟動(dòng)的spark作業(yè)，名稱(chēng)為PySparkShell，我么也可以通過(guò)4040端口來(lái)查看：

我們可以通過(guò)sc的parallelize方法來(lái)傳入一些可迭代的對(duì)象：

ps：數(shù)字5表示給他設(shè)定partition的數(shù)量，進(jìn)行reduce計(jì)算累加函數(shù)，得到結(jié)果為13
可以通過(guò)可視化界面查看得到：

任務(wù)執(zhí)行成功

總結(jié)

以上是生活随笔為你收集整理的Spark（2）——小用RDD的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。