Hive產(chǎn)生背景

MapReduce編程的不便性

傳統(tǒng)RDBMS人員的需要
HDFS上的文件并沒有Schema的概念

Hive是什么

由FaceBook開源，用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計問題。
構(gòu)建在Hadoop之上的數(shù)據(jù)倉庫。
Hive提供的SQL查詢語言：HQL
底層支持多種不同的執(zhí)行引擎：MR/Tez/Spark

為什么要使用Hive

容易、簡單上手
為超大數(shù)據(jù)集設計的計算/擴展能力
統(tǒng)一的元數(shù)據(jù)管理：Hive數(shù)據(jù)存放在HDFS中，元數(shù)據(jù)是記錄數(shù)據(jù)的數(shù)據(jù)。

Hive架構(gòu)

Client提交SQL到hive中，表信息(元數(shù)據(jù))存放在hive中自帶引擎（Derby）。通常情況下我們存放在Mysql中。Derby只能進行但客戶端操作，就是所謂的單session，即使在測試環(huán)境中，也不推薦使用Derby。我們往往使用Mysql存放元數(shù)據(jù)信息。而mysql一旦掛掉之后，丟掉元數(shù)據(jù)信息，雖然數(shù)據(jù)在HDFS中，但是沒有schema信息，數(shù)據(jù)就無法使用了，因此需要做主備。

Hive翻譯SQL成MapReduce提交到集群中運行，也就是提交到RM中

在Hadoop集群中，有很多節(jié)點，但是Hive是一個客戶端而已，并不涉及到集群的概念，也就是不需要Hive集群就可以。

Hive與RDBMS的區(qū)別

雖然HiveSQL 與SQL非常類似，但是他們有本質(zhì)區(qū)別的。雖然他們長得非常相似，但是他們之間沒有任何關系

Hive部署

下載hive-1.1.0-cdh5.15.1

將hive-1.1.0-cdh5.15.1解壓到~/app/目錄下

添加$HIVE_HOME到~/.bashrc環(huán)境變量

修改配置
修改配置文件hive-env.sh，內(nèi)容如下：HADOOP_HOME=/home/iie4bu/app/hadoop-2.6.0-cdh5.15.1
修改配置文件hive-site.xml，內(nèi)容如下：

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://swarm-manager:3306/hadoop_hive?createDatabaseIfNotExist=true</value> </property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value> </property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value> </property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value> </property> </configuration>

在jdbc:mysql://swarm-manager:3306/hadoop_hive?createDatabaseIfNotExist=true表示會生成一個hadoop_hive庫
5. 將mysql-connector-java-5.1.35.jar拷貝到hive-1.1.0-cdh5.15.1/lib路徑下。
6. 前提是要安裝一個數(shù)據(jù)庫。
7. 啟動hive：在hive-1.1.0-cdh5.15.1/bin下執(zhí)行hive

創(chuàng)建數(shù)據(jù)庫

在hive中創(chuàng)建一個數(shù)據(jù)庫，在mysql中查看數(shù)據(jù)庫：

可以看到生成了一個新的mysql數(shù)據(jù)庫hadoop_hive：

查看其中的DBS表:

其中第一條數(shù)據(jù)是默認的一條數(shù)據(jù)，第二條是我們創(chuàng)建的一條。
查看HDFS中的內(nèi)容：

創(chuàng)建數(shù)據(jù)表

hive> create table helloworld(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

導入數(shù)據(jù)

創(chuàng)建數(shù)據(jù)文件：

1 zhangsan 2 lisi 3 wangwu

查看導入的數(shù)據(jù)：

執(zhí)行MapReduce

統(tǒng)計一下這個helloworld表的數(shù)據(jù)：

可以看到開始執(zhí)行一個MapReduce，在YARN中查看，有一個正在運行的MR：

MapReduce運行成功之后：


因此可以直接通過SQL執(zhí)行MAPREDUCE。

總結(jié)

以上是生活随笔為你收集整理的Hive概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。