spark用scala讀取hive表數據

spark1.6寫法：

? ? val conf = new SparkConf()?
? ? val sc = new SparkContext(conf)
? ? val hiveContext = new HiveContext(sc)

? ? // 指定hive中使用的數據庫;
? ? hiveContext.sql("use abc_hive_db")
? ? //執行hive查詢
? ? val rdd = hiveContext.sql("select name,productInfo from pro_table where date>='20170110' ")

spark2.x寫法：

val sparkConf = new SparkConf().setAppName("adver").setMaster("local[*]")

val sparkSession = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate()

sparkSession.sql("use abc_hive_db")?

val rdd = sparkSession.sql("select name,productInfo from pro_table where date>='20170110' ")

總結

以上是生活随笔為你收集整理的spark用scala读取hive表数据（不同版本区别）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。