在spark-default.conf文件中明明配置了mysql的數(shù)據(jù)源連接

隨后啟動spark-shell 執(zhí)行如下測試代碼：

import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveMode, DataFrame} import org.apache.spark.sql.hive.HiveContextval mySQLUrl = "jdbc:mysql://localhost:3306/yangsy?user=root&password=yangsiyi"val people_DDL = s"""CREATE TEMPORARY TABLE PEOPLEUSING org.apache.spark.sql.jdbcOPTIONS (url '${mySQLUrl}',dbtable 'person')""".stripMarginsqlContext.sql(people_DDL)val person = sql("SELECT * FROM PEOPLE").cache()val name = "name" val targets = person.filter("name ="+name).collect()

collect()的時候報找不到driver

這個問題就很詭異了。。數(shù)據(jù)源連接也沒錯啊，畢竟在hive的metastore也是用的這個啊。。最終只能在啟動spark-shell的時候同時引入jar包了= =

./spark-shell --jars?/usr/local/spark-1.4.0-bin-2.5.0-cdh5.2.1/lib/mysql-connector-java-5.1.30-bin.jar?

隨后再執(zhí)行就OK了。。詭異。。

或者在執(zhí)行collect()之前引入mysql的jar包也可以

sqlContext.sql("add jar /usr/local/spark-1.4.0-bin-2.5.0-cdh5.2.1/lib/mysql-connector-java-5.1.30-bin.jar")

不過總感覺不妥。。有解決辦法的求指導(dǎo)哈~

轉(zhuǎn)載于:https://www.cnblogs.com/yangsy0915/p/4910694.html

總結(jié)

以上是生活随笔為你收集整理的Spark 1.4连接mysql诡异的问题及解决的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。