操作系統：Ubuntu20.04

所需軟件： Java 8 +，Python 3.5 +, Scala 2.11.12+

安裝Java 8 sudo apt-get updatesudo apt-get install openjdk-8-jdkjava -version

安裝scalasudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb sudo dpkg -i scala-2.12.8.deb scala -version

安裝pipsudo apt-get install pip

安裝py4jsudo pip install py4j

安裝Python3.6
默認情況下，Ubuntu20.04附帶了Python2.7和Python3.5，如果沒有附帶或者想要安裝最新python3.6，可以使用"deadsnakes"團隊PPA，它為Ubuntu打包了最新Python版本 sudo add-apt-repository ppa:deadsnakes/ppasudo apt updatesudo apt install python3.6

安裝sparksudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz

編輯系統變量vim ~/.bashrc SPARK_HOME路徑視自己安裝路徑決定。export SPARK_HOME=/opt/module/spark-2.4.8-bin-hadoop2.7 export PATH=${SPARK_HOME}/bin:$PATH source ~/.bashrc

啟動pysparkpyspark

文章轉載于：鏈接
作者：Congqing He

總結

以上是生活随笔為你收集整理的Ubuntu 下PySpark安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。