前置條件

• spark安裝完畢
• Ancona安裝完畢

為了在jupyter notebook上編寫scala與spark需要安裝Jupyter-Spark與Jupyter-Scala兩個jupyter核心（kernel）
本人安裝順序為Jupyter-Spark，然后Jupyter-Scala，文檔編寫順序為本人安裝順序。

開始

此處使用Apache toree給notebook安裝scala kernel

第一步，安裝toree

下載toree，

pip install toree

第二步，安裝jupyter-scala，順便啟動spark

jupyter toree install --spark_opts='--master=spark://localhost:7077' --user --kernel_name=Spark2.3.2 --spark_home=/home/fonttian/spark-2.3.2-bin-hadoop2.7

此處–master spark地址 --spark_home spark 下載目錄
–kernel_name可以通過spark-shell 查看

第三步，檢測jupyter核心，檢測新建項目

第四步：創(chuàng)建scala項目并運行

在jupyter可以直接以腳本形式運行scala語句
也可以定義object，然后利用main函數(shù)運行。

注意的地方

假如使用jupyter-spark啟動scala即使沒有使用spark，jupyter也會默認(rèn)啟動spark，如果僅僅是想要練習(xí)scala的話建議使用jupyter-scala核心新建項目，下面是jupyter-scala的安裝方法

安裝scala核心

如果你對scala不熟悉的話，或許你還需要在jupyter上安裝scala核心（一般使用idea）

下載jupyter-scala-cli

請到https://oss.sonatype.org/content/repositories/snapshots/com/github/alexarchambault/jupyter/下載jupyter-scala-cli文件

此處博主使用的是最新的2.11.6版本

添加核心

首先解壓文件，然后按照圖中運行制定文件進行安裝

檢測核心

jupyter kernelspec list

檢測新添加的核心

創(chuàng)建Scala項目

如果想要創(chuàng)建object等，并運行，與上面描述方法一致，運行objectName.main(Array())即可

總結(jié)

以上是生活随笔為你收集整理的Jupyter notebook 编写scala与spark的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。