Databricks

databricks是使用Apache Spark?的原始創建者提供的Databricks統一分析平臺
它集成了Spark環境支持Scala、python、R語言進行開發。

databricks分商業版本和社區版本，學生以及個人可以使用社區版本。社區版本只需要注冊一下賬號，則就會擁有一臺配置為6G內存的Spark集群環境。
Spark初學者則不再為配置開發環境而煩惱·~~~~

接下來就展示一下注冊&使用教程

然后就是郵件驗證 以及手機號驗證。這里就不截圖了。

如何使用

設置集群名稱RoneDemo,Scala版本為2.10 、Spark版本為2.2.1，其它參數無傷大雅默認就好，最后就是直接點擊上方的CreateCluster創建集群

稍等片刻集群便會搭建起來

接下來我們導入文件數據并進行一些數據操作

導入準備好的數據文件
表的默認指定的字段類型為String，我們可以更改其類型

最后就是編寫Spark代碼了
這里的Notebook和JPuterNoteBook、以及Zeppelin大同小異

val productsDF = spark.sql("select * from products_datasetss") productsDF.show()

執行sparkSQL進行查詢，（Ctrl + Enter 進行快速執行）其它的快捷鍵上面都有。
這種編輯器支持聯想關鍵詞，Tab鍵可以給你提示信息。

import org.apache.spark.sql.functions._ productsDF.groupBy("product_category_name").count().orderBy(desc("count")).show()

如果想進行其它語句直接編寫執行就完事了，比如說統計共多少條數據etc

That’s All of This 謝謝觀看

總結

以上是生活随笔為你收集整理的databricks使用教程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。