spark用scala讀取hive表數(shù)據(jù)

spark1.6寫(xiě)法：

? ? val conf = new SparkConf()?
? ? val sc = new SparkContext(conf)
? ? val hiveContext = new HiveContext(sc)

? ? // 指定hive中使用的數(shù)據(jù)庫(kù);
? ? hiveContext.sql("use abc_hive_db")
? ? //執(zhí)行hive查詢
? ? val rdd = hiveContext.sql("select name,productInfo from pro_table where date>='20170110' ")

spark2.x寫(xiě)法：

val sparkConf = new SparkConf().setAppName("adver").setMaster("local[*]")

val sparkSession = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate()

sparkSession.sql("use abc_hive_db")?

val rdd = sparkSession.sql("select name,productInfo from pro_table where date>='20170110' ")

總結(jié)

以上是生活随笔為你收集整理的spark用scala读取hive表数据（不同版本区别）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。