操作系統(tǒng)：Ubuntu20.04

所需軟件： Java 8 +，Python 3.5 +, Scala 2.11.12+

安裝Java 8 sudo apt-get updatesudo apt-get install openjdk-8-jdkjava -version

安裝scalasudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb sudo dpkg -i scala-2.12.8.deb scala -version

安裝pipsudo apt-get install pip

安裝py4jsudo pip install py4j

安裝Python3.6
默認(rèn)情況下，Ubuntu20.04附帶了Python2.7和Python3.5，如果沒(méi)有附帶或者想要安裝最新python3.6，可以使用"deadsnakes"團(tuán)隊(duì)PPA，它為Ubuntu打包了最新Python版本 sudo add-apt-repository ppa:deadsnakes/ppasudo apt updatesudo apt install python3.6

安裝sparksudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz

編輯系統(tǒng)變量vim ~/.bashrc SPARK_HOME路徑視自己安裝路徑?jīng)Q定。export SPARK_HOME=/opt/module/spark-2.4.8-bin-hadoop2.7 export PATH=${SPARK_HOME}/bin:$PATH source ~/.bashrc

啟動(dòng)pysparkpyspark

文章轉(zhuǎn)載于：鏈接
作者：Congqing He

總結(jié)

以上是生活随笔為你收集整理的Ubuntu 下PySpark安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。