一、視圖與sql執行

SparkSession能夠以編程方式運行SQL查詢并返回結果Dataset<Row>

Dataset<Row> df = spark.read().json("hdfs://master:9000/test.json"); df.createOrReplaceTempView("man");Dataset<Row> sqlDF = spark.sql("SELECT * FROM man"); sqlDF.show();

?

二、會話臨時視圖

Spark SQL中的臨時視圖是會話作用域的，如果創建它的SparkSession會話終止，它將消失。

Dataset.createOrReplaceTempView()創建會話臨時視圖

df.createOrReplaceTempView("man"); Dataset<Row> sqlDF = spark.sql("SELECT * FROM man");

?

三、全局臨時視圖

如果要在所有會話之間共享一個臨時視圖并保持活動狀態，直到Spark應用程序終止，則可以創建一個全局臨時視圖。

全局臨時視圖與系統保留的數據庫相關聯global_temp，必須使用限定名稱來引用它

例如：SELECT * FROM global_temp.man。

Dataset.createGlobalTempView()創建全局臨時視圖

df.createGlobalTempView("man"); Dataset<Row> sqlDF = spark.sql("SELECT * FROM global_temp.man");

?

總結

以上是生活随笔為你收集整理的Spark SQL（三）之视图与执行SQL的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。