pyspark基礎(chǔ)教程

下面一段代碼是簡(jiǎn)單教程,對(duì)與如何向spark 集群提交代碼任務(wù),無(wú)論文檔和博客都有很多說(shuō)法,其實(shí)很簡(jiǎn)單,只要在腳本中setMaster(“spark://192.168.10.182:7077”),
spark://192.168.10.182:7077是master的url,
192.168.10.182是master的ip
7077是端口號(hào)

conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")

代碼只在本地運(yùn)行

conf=SparkConf().setAppName("miniProject").setMaster("local[*]")

全部代碼

import pyspark from pyspark import SparkContext as sc from pyspark import SparkConf #conf=SparkConf().setAppName("miniProject").setMaster("local[*]") conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc=sc.getOrCreate(conf)#（a）利用list創(chuàng)建一個(gè)RDD;使用sc.parallelize可以把Python list，NumPy array或者Pandas Series,Pandas DataFrame轉(zhuǎn)成Spark RDD。 rdd = sc.parallelize(list(range(10**2))) #print(rdd) #Output:ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480#（b）getNumPartitions()方法查看list被分成了幾部分 print(rdd.getNumPartitions() )

我的代碼都在anaconda 的spyder里編寫,
如何對(duì)spyder 配置spark請(qǐng)看我的這篇博客
如何對(duì)spyder 配置spark

總結(jié)

以上是生活随笔為你收集整理的pyspark基础教程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。