日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 运维知识 > 数据库 >内容正文

数据库

spark写mysql优化简书_spark——通过jdbc连接数据库中遇到的问题

發(fā)布時(shí)間:2025/1/21 数据库 30 豆豆
生活随笔 收集整理的這篇文章主要介紹了 spark写mysql优化简书_spark——通过jdbc连接数据库中遇到的问题 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

在官網(wǎng)下載MySQL的JDBC驅(qū)動(dòng)時(shí),發(fā)現(xiàn)下載下來(lái)的對(duì)應(yīng)的安裝包與之前用的不同,是dbd格式的(mysql-connector-java_8.0.19-1ubuntu16.04_all.deb),上網(wǎng)搜索了好多不同的方法才最終將其解壓,找到對(duì)應(yīng)的驅(qū)動(dòng)。

一、deb、rpm、tar.gz三種不同linux安裝包下的區(qū)別

rpm包-在紅帽LINUX、SUSE、Fedora可以直接進(jìn)行安裝,但在Ubuntu中卻無(wú)法識(shí)別;

deb包-是Ubuntu的專(zhuān)利,在Ubuntu中雙擊deb包就可以進(jìn)入自動(dòng)安裝進(jìn)程;

tar.gz包-在所有的Linux版本中都能使用,但安裝過(guò)程也最麻煩,要先解壓縮,然后在“終端”里用cd命令進(jìn)入剛才解壓的目錄,再找到安裝鏈接文件安裝。

二、安裝deb格式的包

1.雙擊deb的包,出現(xiàn)如下界面,安裝即可。(但是我點(diǎn)擊安裝之后,并沒(méi)有安裝成功,搞不清狀況)

2.使用命令:dpkg -i 安裝包名字

但是,我弄了之后,也沒(méi)有安裝成功,出現(xiàn)的情況如下:

hadoop@hadoop-virtual-machine:/usr/local/spark/jars$ sudo dpkg -i mysql-connector-java_8.0.19-1ubuntu16.04_all.deb

[sudo] hadoop 的密碼:

正在選中未選擇的軟件包 mysql-connector-java。

(正在讀取數(shù)據(jù)庫(kù) ... 系統(tǒng)當(dāng)前共安裝有 209954 個(gè)文件和目錄。)

正準(zhǔn)備解包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb ...

正在解包 mysql-connector-java (8.0.19-1ubuntu16.04) ...

正在設(shè)置 mysql-connector-java (8.0.19-1ubuntu16.04) ...

再使用第一步?jīng)]有安成的情況下,不能直接進(jìn)行這一步,會(huì)出現(xiàn)如下情況。

dpkg:錯(cuò)誤:另外一個(gè)進(jìn)程已經(jīng)為 dpkg 狀態(tài)數(shù)據(jù)庫(kù) 加鎖

以下方式任選一個(gè)即可:

1、重啟系統(tǒng)

2、執(zhí)行(這種方式不要嘗試,系統(tǒng)很容易掛)

sudo rm /var/lib/dpkg/lock

然后執(zhí)行修復(fù)

sudo dpkg --configure -a

3.使用命令:dpkg -L 安裝包名字(不能帶版本信息,否則也會(huì)出錯(cuò))

hadoop@hadoop-virtual-machine:~/下載$ dpkg -L mysql-connector-java_8.0.19-1ubuntu16.04_all.deb

dpkg-query: 軟件包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb 沒(méi)有被安裝

使用 dpkg--info (= dpkg-deb --info) 來(lái)檢測(cè)打包好的文件,

還可以通過(guò) dpkg--contents (= dpkg-deb --contents) 來(lái)列出它們的內(nèi)容。

hadoop@hadoop-virtual-machine:~/下載$ mysql-connector-java

mysql-connector-java:未找到命令

hadoop@hadoop-virtual-machine:~/下載$ dpkg -L mysql-connector-java/./usr/usr/share/usr/share/java/usr/share/java/mysql-connector-java-8.0.19.jar/usr/share/doc/usr/share/doc/mysql-connector-java/usr/share/doc/mysql-connector-java/copyright/usr/share/doc/mysql-connector-java/INFO_SRC/usr/share/doc/mysql-connector-java/INFO_BIN/usr/share/doc/mysql-connector-java/LICENSE.gz/usr/share/doc/mysql-connector-java/README/usr/share/doc/mysql-connector-java/CHANGES.gz/usr/share/doc/mysql-connector-java/changelog.Debian.gz

然后在java文件夾中找到我想要的jar文件,放入spark文件夾下的jars文件夾中。

之后進(jìn)行后續(xù)操作連接成功。

與50位技術(shù)專(zhuān)家面對(duì)面20年技術(shù)見(jiàn)證,附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的spark写mysql优化简书_spark——通过jdbc连接数据库中遇到的问题的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。