first.py如下

rom pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("My App") sc = SparkContext(conf = conf) lines = sc.textFile("first.py") pythonLines = lines.filter(lambda line: "Python" in line) print "hello python" print pythonLines.first() print pythonLines.first() print "hello spark!"

.bashrc種制作一條命令:

export spark=/home/appleyuchi/Spark_source/spark-2.3.1-bin-hadoop2.7/bin/spark-submit

然后關閉重新開一個終端:

我們運行以下命令:

$spark first.py

------------------------------------------------

運行結果:

hello python
pythonLines = lines.filter(lambda line: "Python" in line)
pythonLines = lines.filter(lambda line: "Python" in line)
hello spark!

總結

以上是生活随笔為你收集整理的如何运行含spark的python脚本的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。