如何将rdd导入数据库中【简单实例】
生活随笔
收集整理的這篇文章主要介紹了
如何将rdd导入数据库中【简单实例】
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
package com.henuimport java.sql.DriverManagerimport org.apache.spark.{SparkConf, SparkContext}
//將rdd導入數(shù)據(jù)庫中
object ToMysql {def main(args: Array[String]): Unit = {val conf = new SparkConf().setMaster("local[3]").setAppName("tm")val sc = new SparkContext(conf)sc.setLogLevel("error")val list = List(1,2,3,4,5)val data = sc.parallelize(list)data.foreachPartition(itor => {try{Class.forName("com.mysql.jdbc.Driver")val url="jdbc:mysql://henu1:3306/second?useSSL=false"val conn = DriverManager.getConnection(url,"root","123")val insert = "insert into data values(?)"val stmt = conn.prepareStatement(insert)itor.foreach(x=>{stmt.setInt(1,x)stmt.addBatch()//stmt.executeUpdate()})stmt.executeBatch()stmt.close()conn.close()}catch {case ex:Exception=>println(ex.getMessage)}})sc.stop()}
}
?
總結(jié)
以上是生活随笔為你收集整理的如何将rdd导入数据库中【简单实例】的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 解决创建maven项目后,不能创建sca
- 下一篇: SparkSQL读取hive中的数据,行