本文屬于【Azure Data Platform】系列。
接上文：【Azure Data Platform】ETL工具(20)——創(chuàng)建Azure Databricks
本文演示如何通過Azure Databricks訪問Azure存儲

環(huán)境準(zhǔn)備

在前面的ADF章節(jié)，我們已經(jīng)創(chuàng)建過存儲賬戶，所以這里直接使用。但是對于Databricks，則需要使用額外配置，這里用notebook和Scala語言來實現(xiàn)。

創(chuàng)建Scala notebook前，先創(chuàng)建一個集群，使用前一篇的方式創(chuàng)建即可。然后按下圖創(chuàng)建notebook：

選擇語言和集群：

notebook 界面如下，另外可以看到方框處已經(jīng)標(biāo)識出語言。

配置訪問

要訪問存儲賬戶，可以使用專門的賬號，也可以使用【共享訪問簽名】，在存儲賬戶下選擇如下圖的配置，并點擊【生成SAS和連接字符串】：

我們需要SAS 令牌的值。

回到Databricks的notebook，按以下格式填寫信息并在notebook里面執(zhí)行“shift+回車”，替換前三行的信息：

val containerName = "test" val storageAccountName = "as4adf" val sas = "?sv=2020-08-04&ss=bfqt&srt=sco&sp=rwdlacupitfx&se=2022-03-12T19:57:37Z&st=2022-03-12T11:57:37Z&spr=https&sig=qeHK0A8%2FZ1j2bkDOPONO%2FOYrXWOyUwEwDDWyO%2BKc7Zs%3D" val config = "fs.azure.sas." + containerName+ "." + storageAccountName + ".blob.core.windows.net"

如下圖，這是訪問Azure Blob的第一層配置：

配置完畢之后，需要裝載容器，可以參考官方文檔：裝載 Azure Blob 存儲容器

本例根據(jù)格式，得出的Scala腳本如下：

dbutils.fs.mount(source = "wasbs://test@as4adf.blob.core.windows.net/DataflowDemo.txt",mountPoint = "/mnt/demo",extraConfigs = Map(config -> sas))

執(zhí)行成功：

前面的內(nèi)容配置好后，可以嘗試讀取數(shù)據(jù)內(nèi)容，因為我的文件是txt文件，所以選擇text參考鏈接。

val mydf = spark.read.text("/mnt/demo") display(mydf)

同時也可以用其他方式來查詢數(shù)據(jù)：

val selectdf = mydf.select("value") display(selectdf)

總結(jié)

本篇到此為止，主要是集中在對Blob上文件的訪問。

總結(jié)

以上是生活随笔為你收集整理的【Azure Data Platform】ETL工具(21)——Azure Databricks使用（1）——访问Azure Blob的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。