hadoop组件中的hive安装
生活随笔
收集整理的這篇文章主要介紹了
hadoop组件中的hive安装
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、hive安裝前提
1. 安裝好一臺純凈linux虛擬機 2. 安裝好hadoop,用于練習一臺就夠,不需要集群 3. 安裝好mysql二、linux虛擬機配置
1.配置靜態地址
vi /etc/sysconfig/network-scripts/ifcfg-ens332. 修改主機名
vi /etc/hostname3.修改hosts
vi /etc/hosts三、使用rpm安裝mysql
1. 查看系統中是否有數據庫
1.rpm -qa | grep mysql --查看是否存在mysql 2.rpm -qa | grep mariadb --查看存在mariadb2.如果存在進行卸載
rpm -e --nodeps 軟件名3.下載wget,銅鼓wget下載mysql的repo源
yum install -y wget --下載wget wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm --下載mysql的repo數據源,選擇好目錄下載。4.安裝mysql-community-release-el7-5.noarch.rpm包
rpm -ivh mysql-community-release-el7-5.noarch.rpm5.安裝mysql
yum install mysql-server -y6.對root用戶進行授權,才能正常登錄mysql
chown -R root:root /var/lib/mysql7.重新啟動MySQL服務
service mysqld restart8.登錄mysql,設置密碼
mysql > use mysql; mysql > update user set password=password('ok') where user='root';9.可以為root添加遠程連接的能力
GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "ok";10.推出mysql,重新用用戶密碼登錄
mysql -uroot -pok11.查詢編碼格式,并修改成utf8
- show variables like "%char%";
- mysql默認編碼格式為:latin1
- 修改編碼格式:vi /etc/my.cnf
修改完再查詢結果為
四、mysql連接sqlyg
點擊連接之后
五、安裝hive
1.hive安裝包
鏈接:hive安裝
提取碼:r093
2. 將安裝包放入linux系統相應位置
3. 解壓安裝包,并改名。
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz --解壓hive mv hive-1.1.0-cdh5.14.2 hive110 --改名4.進入配置文件,創建hive-site.xml文件
cd hive110/conf ---進入配置文件目錄 vi hive-site.xml ---創建hive-site.xml文件文件內容:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property><name>hive.metastore.warehouse.dir</name><value>hdfs://mycluster/hive/warehouse</value><description>管理表存儲的位置,可以是linux中的目錄,也可以是相對于fs.default.name有關的目錄</description></property><property><name>hive.metastore.local</name><value>true</value></property><!-- 指定hive元數據存儲的MySQL地址 --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://dag01:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value></property><!-- 元數據存儲數據庫的驅動 --><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><!-- 元數據存儲數據庫的用戶名 --><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><!-- 元數據存儲數據庫的密碼,(注:這里是mysql自己root用戶的密碼) --><property><name>javax.jdo.option.ConnectionPassword</name><value>ok</value></property><property><name>hive.server2.authentication</name><value>NONE</value></property><property><name>hive.server2.thrift.client.user</name><value>root</value></property><property><name>hive.server2.thrift.client.password</name><value>ok</value></property> </configuration>5.配置環境變量
vi /etc/profile代碼內容:
export JAVA_HOME=/opt/jdk1.8.0_221 export JRE_HOME=/opt/jdk1.8.0_221/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin export HADOOP_HOME=/opt/hadoop export HIVE_HOME=/opt/soft/hive110 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin里面有hadoop和Java的環境變量,自己可以根據自己情況做改變。
6.新建hive-env.sh文件: vi hive-env.sh,添加如下內容
export HADOOP_HOME=/opt/hadoop export HIVE_HOME=/opt/hive110 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HIVE_AUX_JARS_PATH=/opt/hive110/lib export JAVA_HOME=/opt/jdk1.8.0_221 export HIVE_CONF_DIR=/opt/soft/hive110/conf7.修改hive-log4j.properties,配置hive的日志
1. 先改名:mv hive-log4j.properties.template hive-log4j.properties 2. 進入:vi hive-log4j.properties 3. 在20添加內容`hive.log.dir=/opt/soft/hive110/logs`8.新建兩個配置文件中指定的目錄
mkdir /opt/soft/hive110/warehouse mkdir /opt/soft/hive110/logs9.將mysql-connector-java-5.1.48-bin.jar包拖到$HIVE_HOME/lib目錄下
10.給hive文件賦權
chmod 777 /opt/hive五、啟動hive(需要先啟動hdfs)
1.初始化mysql數據庫
schematool -initSchema -dbType mysql效果
連接mysql的sqlyg中會出現hive數據庫
2.啟動hive服務
hive --service hiveserver2 &
執行完不動,直接按回車就行。
3.啟動hive
hive4.啟動beeline
beeline -u jdbc:hive2://192.168.222.160:10000總結
以上是生活随笔為你收集整理的hadoop组件中的hive安装的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: db2 正则匹配_SQL正则表达式
- 下一篇: tsql 正则_sql 正则表达式匹配