hive mysql 远程_Hive配置 远程连接MySQL
因?yàn)閔ive是Hadoop的一個(gè)組件,作為數(shù)據(jù)廠庫,hive的數(shù)據(jù)是存儲(chǔ)在Hadoop的文件系統(tǒng)中的,hive為Hadoop提供SQL語句,是Hadoop可以通過SQL語句操作文件系統(tǒng)中的數(shù)據(jù)。hive是依賴Hadoop而存在的。
因此hive的安裝詳解,請(qǐng)參考博客:http://blog.csdn.net/qq_38799155/article/details/77605615
在hadfs上創(chuàng)建目錄并修改權(quán)限
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod 777 /tmp
hadoop fs -chmod 777 /user/hive/warehouse
最重要的是對(duì)hive/conf/中的hive-site.xml文件進(jìn)行配置 ,配置如下:
javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.150.1:3306/hive_metadata?createDatabaseIfNotExsit=true&characterEncoding=UTF-8
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
mysql
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
datanucleus.schema.autoCreateAll
true
hive.metastore.schema.verification
false
這里需要注意有幾個(gè)問題,很重要!!!
1. 遠(yuǎn)程訪問mysql用在xml里配置上述代碼就夠了,其他教程里一直添加其他變量,實(shí)際上并不需要
2. jdbc:mysql://192.168.150.1:3306/hive? 這里必須是hive,我之前設(shè)置成其他數(shù)據(jù)庫名字,發(fā)現(xiàn)執(zhí)行時(shí)候一直報(bào)錯(cuò)。
3. 為了連接mysql需要在hive的lib中添加mysql connection的jar包
4. 同時(shí)啟動(dòng)時(shí)候可能會(huì)出現(xiàn)問題需要將/home/hadoop-2.7.3/share/hadoop/yarn/目錄下的jline jar包刪除
然后可以直接啟動(dòng)hive了;
啟動(dòng)hive后可以看到遠(yuǎn)程mysql下多了個(gè)hive數(shù)據(jù)庫
然后創(chuàng)建table譬如create table test(id int);
可以看到在hive的tbls表格TBL_Name下回多一個(gè)test表格
同時(shí)hdfs的/user/hive/warehouse下也會(huì)多一個(gè)test表格
總結(jié)
以上是生活随笔為你收集整理的hive mysql 远程_Hive配置 远程连接MySQL的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: sqlite 导入 mysql_SQLi
- 下一篇: mysql慢sql增加读写分离_MySQ