def main(args: Array[String]): Unit = {//創(chuàng)建配置對象val conf = new SparkConf().setAppName("SparkSQL01_demo").setMaster("local[*]")val session = SparkSession.builder().config(conf).getOrCreate()//創(chuàng)建RDD (session里包含sparkContext，因為DF底層包含RDD)val rdd1 = session.sparkContext.makeRDD(List(("chun",21),("chun1",23),("chun3",22)))//這里RDD轉(zhuǎn)換DF/DS需要引入隱式轉(zhuǎn)換（注意：Scala的import可以寫在函數(shù)內(nèi)部，session是sparksession對象）import session.implicits._//RDD轉(zhuǎn)換 成DFval df = rdd1.toDF("name","age")//創(chuàng)建全局臨時視圖df.createGlobalTempView("people")//sql語句session.sql("select * from global_temp.people").show//創(chuàng)建一個新的session看能不能使用當(dāng)前視圖session.newSession().sql("select name from global_temp.people").show()df.printSchema()df.select("age").show() //用方法的方式來代替sqldf.select($"age"+1).show()//想查詢年齡后加1，用$來引用當(dāng)前數(shù)據(jù)，要不然是字符串拼接查詢的是age1這個字段，會報錯df.filter($"age">22).show()//DF轉(zhuǎn)化成DS 先創(chuàng)建樣例類val ds:Dataset[User] = df.as[User]ds.select("*").show()ds.printSchema()//RDD直接轉(zhuǎn)換成DS（用樣例類）//val ds = rdd1.toDS()//session.stop()}//樣例類在DF結(jié)構(gòu)基礎(chǔ)上加上屬性case class User(name:String,age:Int)

總結(jié)

以上是生活随笔為你收集整理的SparkSQL练习+理解+详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。