準備工作

我們準備使用sparksql數據庫，然后使用TBLS表，這個TBLS保存了表的元數據信息。

操作Mysql數據表TBL

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://swarm-manager:3306/sparksql").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "sparksql.TBLS").option("user", "root").option("password", "123456").load()

接下來就可以進行數據相關操作了：

之前使用大數據平臺的其他數據源時，需要先使用sqoop來導入數據平臺中，然后在計算。現在spark有了外部數據源之后，可以直接進行操作了。

第二種操作mysql的方式

import java.util.Propertiesval connectionProperties = new Properties(); connectionProperties.put("user", "root"); connectionProperties.put("password", "123456"); connectionProperties.put("driver", "com.mysql.jdbc.Driver"); val jdbcDF2 = spark.read.jdbc("jdbc:mysql://swarm-manager:3306/sparksql", "sparksql.TBLS", connectionProperties);

使用Spark SQL操作mysql

CREATE TEMPORARY VIEW jdbcTable USING org.apache.spark.sql.jdbc OPTIONS (url "jdbc:mysql://swarm-manager:3306/sparksql",dbtable "sparksql.TBLS",user 'root',password '123456',driver 'com.mysql.jdbc.Driver' ); show tables; select * from jdbcTable; 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的SparkSQL之操作Mysql的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。