Azure Databricks是一個可擴展的數據分析平臺，基于Apache Spark。Azure Databricks 工作區(Workspace)是一個交互式的環境，工作區把對象(notebook、library、dashboards、experiments)組織成文件夾，用于數據集成和數據分析。

一，Azure Databricks的基本概念

1，工作區是一個交互式的環境

工作區是一個交互式的環境，可以管理Databricks的集群、Notebook、Job等對象。

2，集群是運行Notebook和job的資源

在使用工作區中，要進行數據集成和數據分析，必須創建集群(Cluster)，Cluser代表運行notebook和job的計算資源，并用于存儲相應的配置信息。

Cluster有兩種類型：通用(All-purpose)和job，all-purpose集群是交互式的，用于通用的數據集成和數據分析任務，而job類型的集群用于定時運行job。

Job用于立即或按照計劃來運行notebook或library。job類型的集群在job開始時創建，在job完成時結束。

根據cluster的類型，把Azure Databricks的工作負載(workload)分為兩個類型：data engineering (job) 和 data analytics (all-purpose)。

• 數據工程：(自動)工作負載在Job群集上運行，Azure Databricks作業計劃程序為每個工作負載創建了一個工作群集。
• 數據分析：(交互式)工作負載在all-purpose集群上運行，交互式工作負載通常在Azure Databricks筆記本中運行命令，但是在現有的通用集群上運行作業也被視為交互式工作負載。

3，Notebook是一個基于Web的記事本

Notebook是一個包含可執行命令的記事本，用戶可以在Notebook中編寫Python命令，編輯命令，并執行命令，獲得輸出的結果，并可以對結果進行可視化處理，Notebook的功能和UI類似于Jupyter Notebook。

二，創建Workspace

通過Azure UI來創建工作區，從Azure Services中找到Azure Databricks。

創建工作區，選擇訂閱用于管理資源和成本，需要設置訂閱(Subscription)和資源組(Resource group)，選擇定價策略(Pricing Tier)。

選擇“Review + Create”，點擊Create 按鈕來創建工作區。等到工作區部署完成之后，打開Azure Databricks Service，點擊“Launch Workspace”登錄到工作區門戶。

三，創建Spark Cluster

Spark Cluster可以看作是Databricks的計算資源，因此必須創建集群。

1，登錄到工作區門戶

登錄(Launch)到新建的工作區門戶中，從“Common Tasks”列表中點擊“New Cluster”。

2，配置集群?

Cluster Mode：集群的模式共有三種，High concurrency(高并發)、Standard(標準)和Single Node(單節點)。標準模式是推薦模式，通常用于單用戶的集群。

Pool：Pool是一組空閑的隨時可用的實例，可減少集群啟動和自動縮放的時間。當連接到Pool的集群需要一個實例時，它首先嘗試分配Pool的中一個實例，如果該Pool沒有空閑的實例，那么該Pool將通過從實例提供者分配有ige新的實例來擴展，以滿足集群的需求。集群釋放實例后，它將返回到Pool中，并可以提供給其他集群使用。只有連接到Pool的集群才能使用該Pool的空閑實例。實例在Pool中處于空閑狀態時是免費的。

Databricks Runtime：運行時版本配置，選擇用于創建集群的image，運行時是在集群上運行的一組核心組件。

Enable autoscaling：勾選自動縮放，根據工作負載的不同，集群在最大節點數量和最小節點數量之間自動縮放。

Terminate after xx minutes of inactivity：當集群不活動時，延遲一定時間后，結束集群。

配置完成之后，點擊頂部的“Create Clustere” 按鈕創建集群。

四，創建Notebook

Notebook是一個包含可執行命令的記事本，用戶可以在Notebook中編寫Python命令，編輯命令，并執行命令，獲得輸出的結果，并可以對結果進行可視化處理。

從Common Tasks中選擇“New Notebook”，輸入Notebook的Name，選擇編程語言Python、選擇集群，點擊對話框底部的“Create”按鈕創建Notebook。

在新建的Notebook中輸入命令，打印"hello world"，點擊"Shift+Enter"，執行命令

參考文檔：

Quickstart: Run a Spark job on Azure Databricks Workspace using the Azure portal

總結

以上是生活随笔為你收集整理的Databricks 第1篇：初识Databricks，创建工作区、集群和Notebook的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。