以下是本人做的測試，如果有錯誤請及時指正，有問題歡迎一起討論。

情景：

需要讀取HDFS上的數據，處理之后，寫入到MySQL數據庫里面去。

實現：

1、版本

spark版本：1.2.1

MySQL版本：5.6.21

2、數據準備

HDFS上：

MySQL里：

3、spark代碼

package sparkTest

import java.sql.{DriverManager, PreparedStatement, Connection}

import org.apache.spark.{SparkContext, SparkConf}

object sparkToMysql {

case class info(info1: String, info2: Int)

def toMySQL(iterator: Iterator[(String, Int)]): Unit = {

var conn: Connection = null

var ps: PreparedStatement = null

val sql = "insert into info(info1, info2) values (?, ?)"

try {

Class.forName("com.mysql.jdbc.Driver");

conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/spark_test", "root", "111111")

iterator.foreach(dataIn => {

ps = conn.prepareStatement(sql)

ps.setString(1, dataIn._1)

ps.setInt(2, dataIn._2)

ps.executeUpdate()

}

)

} catch {

case e: Exception => e.printStackTrace()

} finally {

if (ps != null) {

ps.close()

}

if (conn != null) {

conn.close()

}

}

}

def main(args: Array[String]) {

val conf = new SparkConf().setAppName("sparkToMysql").setMaster("local")

val sc = new SparkContext(conf)

val dataFromHDFS=sc.textFile(args(0)).map(_.split("\\^")).map(line => (line(0),line(1).toInt))

dataFromHDFS.foreachPartition(toMySQL)

}

}

4、運行

/home/lenovo/spark-1.2.1/bin/spark-submit \

--class sparkTest.sparkToMysql \

--driver-class-path /home/lenovo/mysql-connector-java-5.0.8.jar \

/home/lenovo/sparkTest/sparkToMysql.jar \

hdfs://master:9000/sparkToMysql

5、結果

總結

以上是生活随笔為你收集整理的spark保存到mysql_Spark写入数据到MySQL的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。