Spark SQL之jdbc方式访问
生活随笔
收集整理的這篇文章主要介紹了
Spark SQL之jdbc方式访问
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
首先看thriftserver狀態
使用jps查看thriftserver運行狀態和端口。如果沒啟動則需要啟動thriftserver
添加依賴
pom.xml文件內容如下:
<!-- jdbc --><dependency><groupId>org.spark-project.hive</groupId><artifactId>hive-jdbc</artifactId><version>1.2.1.spark2</version></dependency>編寫jdbc代碼
package cn.ac.iie.sparkimport java.sql.DriverManager/*** 通過JDBC 方式*/ object SparkSQLThriftServerApp {def main(args: Array[String]): Unit = {Class.forName("org.apache.hive.jdbc.HiveDriver")val conn = DriverManager.getConnection("jdbc:hive2://manager:10000", "iie4bu", "")val pstmt = conn.prepareStatement("select transactionid, customerid from sal")val rs = pstmt.executeQuery()while(rs.next()) {println("transactionid:" + rs.getInt("transactionid") + ", customerid:" + rs.getString("customerid"))}rs.close()pstmt.close()}}輸出結果如下:
總結
以上是生活随笔為你收集整理的Spark SQL之jdbc方式访问的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 炸酱面
- 下一篇: Spark SQL之DataFrame概