java安裝

首先需要上oracle的網(wǎng)站下載

在lib目錄下建立一個jvm文件夾

sudo mkdir /usr/lib/jvm

然后解壓文件到這個文件夾

sudo tar zxvf jdk-8u40-linux-i586.tar.gz -C /usr/lib/jvm

進入解壓文件夾

cd /usr/lib/jvm

然后為了方便改個名字
sudo mv jdk1.8.0_40 java

打開配置文件

sudo gedit ~/.bashrc

加入以下設置

export JAVA_HOME=/usr/lib/jvm/java

export JRE_HOME=${JAVA_HOME}/jre ?

? ? export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib ?

? ? export PATH=${JAVA_HOME}/bin:$PATH

使之生效：

source ~/.bashrc

完成

安裝spark

下載prebuild的spark安裝包

解壓

tar -xzf spark-1.2.0-bin-hadoop2.4.tgz

然后其實這個時候spark的python模式就可以使用了。只要cd進去運行bin目錄下的pyspark就可以了。但是我們下面要做的就是鏈接和選擇一個好些的位置存放文件

鏈接

先把文件歲半換個地方放

sudo mv spark-1.2.1-bin-hadoop2.4 /srv/

然后設個鏈接

sudo ln -s /srv/spark-1.2.1-bin-hadoop2.4/ /srv/spark

再修改下~/.bash_profile就可以了

export SPARK_HOME=/srv/spark

export PATH=$SPARK_HOME/bin:$PATH

完成

命令行直接執(zhí)行pyspark

來自為知筆記(Wiz)

轉(zhuǎn)載于:https://www.cnblogs.com/MrLJC/p/4355417.html

總結(jié)

以上是生活随笔為你收集整理的ubuntu 14.04下spark简易安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。