一 ?hive安裝測試

1、下載解壓

tar -xf hive-x.y.z.tar.gz（本次安裝為hive-0.8.1.tar.gz） 將解壓后的hive-0.8.1文件放在系統的/home/hadooptest/中。 2、環境變量配置

在.bash_profile中添加： export HIVE_HOME=/home/hadooptest/hive-0.8.1 export PATH=$HIVE_HOME/bin:$PATH 另外環境變量中需要有JAVA_HOME，HADOOP_HOME 3、配置文件拷貝 ? ? ?復制conf目錄下的.template生成對應的.xml或.properties文件：
???? cp hive-default.xml.template hive-site.xml?
???? cp hive-log4j.properties.template hive-log4j.properties
4、修改配置文件

? ? ?將org.apache.hadoop.metrics.jvm.EventCounter改成：org.apache.hadoop.log.metrics.EventCounter?, 這樣將解決異常：

???? WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated.??
???? Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

5、啟動測試 $?$HIVE_HOME/bin/hive hive> show tables;? OK? Time taken: 3.496 seconds 執行成功。
二、hive元數據的三種存儲方式 ? ? Hive 將元數據存儲在 RDBMS 中，有三種模式可以連接到數據庫，其中1、2均屬于本地存儲，3屬于遠端存儲，對于使用外部數據庫存儲元數據的情況，我們在此將會以mysql舉例說明。 1、Single User Mode：
默認安裝hive，hive是使用derby內存數據庫保存hive的元數據，這樣是不可以并發調用hive的，
? 這種模式時hive默認的存儲模式，。 使用derby存儲方式時，運行hive會在當前目錄生成一個derby文件和一個metastore_db目錄。這種存儲方式的弊端是在同一個目錄下同時只能有一個hive客戶端能使用數據庫，配置文件中的“hive.metastore.warehouse.dir”指出了倉庫的存儲位置（注意對于hive來說，數據是存儲在hdfs上的，元數據存儲在數據庫），默認屬性值為/user/hive/warehouse，假如利用hive CLI創建表records,則在hdfs上會看到如下目錄：/user/hive/warehouse/records/ 此目錄下存放數據。命令：load data local inpath 'input/test.txt' overwrite into table records; 這一命令會告訴hive把指定的本地文件放到它的倉庫位置，此操作只是一個文件的移動操作，去掉local的load命令為把hdfs中的文件進行移動。

2、Multi User Mode： 通過網絡連接到一個數據庫中，是最經常使用到的模式。假設使用本機mysql服務器存儲元數據。這種存儲方式需要在本地運行一個mysql服務器，并作如下配置（需要將mysql的jar包拷貝到$HIVE_HOME/lib目錄下）。

（1）mysql配置 這種情況需要在mysql中配置對應的hive用戶，使用以下命令創建hadoop用戶并授予權限 create user 'hadoop'@'%' identified by 'hadoop'; grant all privileges on *.* to 'hadoop'@'%' with grant option； 通過以下命令可以查看mysql的所有用戶情況 SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;
（2）需要在hive_site.xml對應的配置進行修改，其中hive_remote是數據倉庫名 <property> ??<name>hive.metastore.warehouse.dir</name> ??<value>/user/hive_remote/warehouse</value> </property> <property> ??<name>hive.metastore.local</name> ??<value>true</value> </property> <property> ??<name>javax.jdo.option.ConnectionURL</name> ??<value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value> </property> <property> ??<name>javax.jdo.option.ConnectionDriverName</name> ??<value>com.mysql.jdbc.Driver</value> </property> <property> ??<name>javax.jdo.option.ConnectionUserName</name> ??<value>hadoop</value> </property> <property> ??<name>javax.jdo.option.ConnectionPassword</name> ??<value>hadoop</value> </property>
啟動hive 在cli命令行下創建表student，在mysql中通過 use hive_remote（切換到hive_remote數據庫），通過select * from TBLS 可以看到我們新創建的數據庫，這表明獨立mysql存儲元數據搭建成功。
3、Remote Server Mode： ? ? 在服務器端啟動一個 MetaStoreServer，客戶端利用 Thrift 協議通過 MetaStoreServer 訪問元數據庫。 ? ? ??
客戶端重要配置是hive.metastore.urls，用于通過thrift連接metastore，默認?metastore端口是9083（hadoop指南說可以通過設置METASTORE_PORT環境變量來修改metastore默認端口，但是我沒有連接成功）。 ? ? 這種方式要單獨啟動metastore，命令為hive --service metastore
?通過cli執行show tables，成功則表示remote server mode配置成功?
轉自：http://blog.csdn.net/yangyan19870319/article/details/8694571

總結

以上是生活随笔為你收集整理的hive安装测试及Hive 元数据的三种存储方式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。