spark写mysql优化简书_spark——通过jdbc连接数据库中遇到的问题
在官網(wǎng)下載MySQL的JDBC驅(qū)動(dòng)時(shí),發(fā)現(xiàn)下載下來(lái)的對(duì)應(yīng)的安裝包與之前用的不同,是dbd格式的(mysql-connector-java_8.0.19-1ubuntu16.04_all.deb),上網(wǎng)搜索了好多不同的方法才最終將其解壓,找到對(duì)應(yīng)的驅(qū)動(dòng)。
一、deb、rpm、tar.gz三種不同linux安裝包下的區(qū)別
rpm包-在紅帽LINUX、SUSE、Fedora可以直接進(jìn)行安裝,但在Ubuntu中卻無(wú)法識(shí)別;
deb包-是Ubuntu的專(zhuān)利,在Ubuntu中雙擊deb包就可以進(jìn)入自動(dòng)安裝進(jìn)程;
tar.gz包-在所有的Linux版本中都能使用,但安裝過(guò)程也最麻煩,要先解壓縮,然后在“終端”里用cd命令進(jìn)入剛才解壓的目錄,再找到安裝鏈接文件安裝。
二、安裝deb格式的包
1.雙擊deb的包,出現(xiàn)如下界面,安裝即可。(但是我點(diǎn)擊安裝之后,并沒(méi)有安裝成功,搞不清狀況)
2.使用命令:dpkg -i 安裝包名字
但是,我弄了之后,也沒(méi)有安裝成功,出現(xiàn)的情況如下:
hadoop@hadoop-virtual-machine:/usr/local/spark/jars$ sudo dpkg -i mysql-connector-java_8.0.19-1ubuntu16.04_all.deb
[sudo] hadoop 的密碼:
正在選中未選擇的軟件包 mysql-connector-java。
(正在讀取數(shù)據(jù)庫(kù) ... 系統(tǒng)當(dāng)前共安裝有 209954 個(gè)文件和目錄。)
正準(zhǔn)備解包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb ...
正在解包 mysql-connector-java (8.0.19-1ubuntu16.04) ...
正在設(shè)置 mysql-connector-java (8.0.19-1ubuntu16.04) ...
再使用第一步?jīng)]有安成的情況下,不能直接進(jìn)行這一步,會(huì)出現(xiàn)如下情況。
dpkg:錯(cuò)誤:另外一個(gè)進(jìn)程已經(jīng)為 dpkg 狀態(tài)數(shù)據(jù)庫(kù) 加鎖
以下方式任選一個(gè)即可:
1、重啟系統(tǒng)
2、執(zhí)行(這種方式不要嘗試,系統(tǒng)很容易掛)
sudo rm /var/lib/dpkg/lock
然后執(zhí)行修復(fù)
sudo dpkg --configure -a
3.使用命令:dpkg -L 安裝包名字(不能帶版本信息,否則也會(huì)出錯(cuò))
hadoop@hadoop-virtual-machine:~/下載$ dpkg -L mysql-connector-java_8.0.19-1ubuntu16.04_all.deb
dpkg-query: 軟件包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb 沒(méi)有被安裝
使用 dpkg--info (= dpkg-deb --info) 來(lái)檢測(cè)打包好的文件,
還可以通過(guò) dpkg--contents (= dpkg-deb --contents) 來(lái)列出它們的內(nèi)容。
hadoop@hadoop-virtual-machine:~/下載$ mysql-connector-java
mysql-connector-java:未找到命令
hadoop@hadoop-virtual-machine:~/下載$ dpkg -L mysql-connector-java/./usr/usr/share/usr/share/java/usr/share/java/mysql-connector-java-8.0.19.jar/usr/share/doc/usr/share/doc/mysql-connector-java/usr/share/doc/mysql-connector-java/copyright/usr/share/doc/mysql-connector-java/INFO_SRC/usr/share/doc/mysql-connector-java/INFO_BIN/usr/share/doc/mysql-connector-java/LICENSE.gz/usr/share/doc/mysql-connector-java/README/usr/share/doc/mysql-connector-java/CHANGES.gz/usr/share/doc/mysql-connector-java/changelog.Debian.gz
然后在java文件夾中找到我想要的jar文件,放入spark文件夾下的jars文件夾中。
之后進(jìn)行后續(xù)操作連接成功。
與50位技術(shù)專(zhuān)家面對(duì)面20年技術(shù)見(jiàn)證,附贈(zèng)技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的spark写mysql优化简书_spark——通过jdbc连接数据库中遇到的问题的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: mysql修改索引对交易影响吗_MySQ
- 下一篇: 软件测试mysql常用语句_测试中常用到