Hive 簡介

什么是Hive

1、Hive 由 Facebook 實現(xiàn)并開源

2、是基于 Hadoop 的一個數(shù)據(jù)倉庫工具

3、可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表

4、并提供 HQL(Hive SQL)查詢功能

5、底層數(shù)據(jù)是存儲在 HDFS 上

6、Hive的本質(zhì)是將 SQL 語句轉(zhuǎn)換為 MapReduce 任務(wù)運(yùn)行

7、使不熟悉 MapReduce 的用戶很方便地利用 HQL 處理和計算 HDFS 上的結(jié)構(gòu)化的數(shù)據(jù)，適用于離線的批量數(shù)據(jù)計算。

　　數(shù)據(jù)倉庫之父比爾·恩門（Bill Inmon）在 1991 年出版的“Building the Data Warehouse”（《建 立數(shù)據(jù)倉庫》）一書中所提出的定義被廣泛接受——數(shù)據(jù)倉庫（Data Warehouse）是一個面 向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史 變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策(Decision Making Support)。

　　Hive 依賴于 HDFS 存儲數(shù)據(jù)，Hive 將 HQL 轉(zhuǎn)換成 MapReduce 執(zhí)行，所以說 Hive 是基于 Hadoop 的一個數(shù)據(jù)倉庫工具，實質(zhì)就是一款基于 HDFS 的 MapReduce 計算框架，對存儲在 HDFS 中的數(shù)據(jù)進(jìn)行分析和管理

為什么使用 Hive

直接使用 MapReduce 所面臨的問題：

　　1、人員學(xué)習(xí)成本太高

　　2、項目周期要求太短

　　3、MapReduce實現(xiàn)復(fù)雜查詢邏輯開發(fā)難度太大

為什么要使用 Hive：

　　1、更友好的接口：操作接口采用類 SQL 的語法，提供快速開發(fā)的能力

　　2、更低的學(xué)習(xí)成本：避免了寫 MapReduce，減少開發(fā)人員的學(xué)習(xí)成本

　　3、更好的擴(kuò)展性：可自由擴(kuò)展集群規(guī)模而無需重啟服務(wù)，還支持用戶自定義函數(shù)

Hive 特點(diǎn)

優(yōu)點(diǎn)：

　　1、可擴(kuò)展性,橫向擴(kuò)展，Hive 可以自由的擴(kuò)展集群的規(guī)模，一般情況下不需要重啟服務(wù) 橫向擴(kuò)展：通過分擔(dān)壓力的方式擴(kuò)展集群的規(guī)模 縱向擴(kuò)展：一臺服務(wù)器cpu i7-6700k 4核心8線程，8核心16線程，內(nèi)存64G => 128G

　　2、延展性，Hive 支持自定義函數(shù)，用戶可以根據(jù)自己的需求來實現(xiàn)自己的函數(shù)

　　3、良好的容錯性，可以保障即使有節(jié)點(diǎn)出現(xiàn)問題，SQL 語句仍可完成執(zhí)行

缺點(diǎn)：

　　1、Hive 不支持記錄級別的增刪改操作，但是用戶可以通過查詢生成新表或者將查詢結(jié) 果導(dǎo)入到文件中（當(dāng)前選擇的 hive-2.3.2 的版本支持記錄級別的插入操作）

　　2、Hive 的查詢延時很嚴(yán)重，因為 MapReduce Job 的啟動過程消耗很長時間，所以不能 用在交互查詢系統(tǒng)中。

　　3、Hive 不支持事務(wù)（因為不沒有增刪改，所以主要用來做 OLAP（聯(lián)機(jī)分析處理），而 不是 OLTP（聯(lián)機(jī)事務(wù)處理），這就是數(shù)據(jù)處理的兩大級別）。

Hive 和 RDBMS 的對比

總結(jié)：

　　Hive 具有 SQL 數(shù)據(jù)庫的外表，但應(yīng)用場景完全不同，Hive 只適合用來做海量離線數(shù) 據(jù)統(tǒng)計分析，也就是數(shù)據(jù)倉庫。

Hive的架構(gòu)

從上圖看出hive的內(nèi)部架構(gòu)由四部分組成：

1、用戶接口: shell/CLI, jdbc/odbc, webui Command Line Interface

　　CLI，Shell 終端命令行（Command Line Interface），采用交互形式使用 Hive 命令行與 Hive 進(jìn)行交互，最常用（學(xué)習(xí)，調(diào)試，生產(chǎn)）

　　JDBC/ODBC，是 Hive 的基于 JDBC 操作提供的客戶端，用戶（開發(fā)員，運(yùn)維人員）通過 這連接至 Hive server 服務(wù)

　　Web UI，通過瀏覽器訪問 Hive

2、跨語言服務(wù) ： thrift server 提供了一種能力，讓用戶可以使用多種不同的語言來操縱hive

　　Thrift 是 Facebook 開發(fā)的一個軟件框架，可以用來進(jìn)行可擴(kuò)展且跨語言的服務(wù)的開發(fā)， Hive 集成了該服務(wù)，能讓不同的編程語言調(diào)用 Hive 的接口

3、底層的Driver： 驅(qū)動器Driver，編譯器Compiler，優(yōu)化器Optimizer，執(zhí)行器Executor

　　Driver 組件完成 HQL 查詢語句從詞法分析，語法分析，編譯，優(yōu)化，以及生成邏輯執(zhí)行 計劃的生成。生成的邏輯執(zhí)行計劃存儲在 HDFS 中，并隨后由 MapReduce 調(diào)用執(zhí)行

　　Hive 的核心是驅(qū)動引擎， 驅(qū)動引擎由四部分組成：

　　　　(1) 解釋器：解釋器的作用是將 HiveSQL 語句轉(zhuǎn)換為抽象語法樹（AST）

　　　　(2) 編譯器：編譯器是將語法樹編譯為邏輯執(zhí)行計劃

　　　　(3) 優(yōu)化器：優(yōu)化器是對邏輯執(zhí)行計劃進(jìn)行優(yōu)化

　　　　(4) 執(zhí)行器：執(zhí)行器是調(diào)用底層的運(yùn)行框架執(zhí)行邏輯執(zhí)行計劃

4、元數(shù)據(jù)存儲系統(tǒng) ： RDBMS MySQL

　　元數(shù)據(jù)，通俗的講，就是存儲在 Hive 中的數(shù)據(jù)的描述信息。

　　Hive 中的元數(shù)據(jù)通常包括：表的名字，表的列和分區(qū)及其屬性，表的屬性（內(nèi)部表和 外部表），表的數(shù)據(jù)所在目錄

　　Metastore 默認(rèn)存在自帶的 Derby 數(shù)據(jù)庫中。缺點(diǎn)就是不適合多用戶操作，并且數(shù)據(jù)存 儲目錄不固定。數(shù)據(jù)庫跟著 Hive 走，極度不方便管理

　　解決方案：通常存我們自己創(chuàng)建的 MySQL 庫（本地 或 遠(yuǎn)程）

　　Hive 和 MySQL 之間通過 MetaStore 服務(wù)交互

執(zhí)行流程

　　HiveQL 通過命令行或者客戶端提交，經(jīng)過 Compiler 編譯器，運(yùn)用 MetaStore 中的元數(shù) 據(jù)進(jìn)行類型檢測和語法分析，生成一個邏輯方案(Logical Plan)，然后通過的優(yōu)化處理，產(chǎn)生 一個 MapReduce 任務(wù)。

Hive的數(shù)據(jù)組織

1、Hive 的存儲結(jié)構(gòu)包括數(shù)據(jù)庫、表、視圖、分區(qū)和表數(shù)據(jù)等。數(shù)據(jù)庫，表，分區(qū)等等都對 應(yīng) HDFS 上的一個目錄。表數(shù)據(jù)對應(yīng) HDFS 對應(yīng)目錄下的文件。

2、Hive 中所有的數(shù)據(jù)都存儲在 HDFS 中，沒有專門的數(shù)據(jù)存儲格式，因為 Hive 是讀模式 （Schema On Read），可支持 TextFile，SequenceFile，RCFile 或者自定義格式等

3、 只需要在創(chuàng)建表的時候告訴 Hive 數(shù)據(jù)中的列分隔符和行分隔符，Hive 就可以解析數(shù)據(jù)

　　Hive 的默認(rèn)列分隔符：控制符 Ctrl + A，\x01 Hive 的

　　Hive 的默認(rèn)行分隔符：換行符 \n

4、Hive 中包含以下數(shù)據(jù)模型：

　　database：在 HDFS 中表現(xiàn)為${hive.metastore.warehouse.dir}目錄下一個文件夾

　　table：在 HDFS 中表現(xiàn)所屬 database 目錄下一個文件夾

　　external table：與 table 類似，不過其數(shù)據(jù)存放位置可以指定任意 HDFS 目錄路徑

　　partition：在 HDFS 中表現(xiàn)為 table 目錄下的子目錄

　　bucket：在 HDFS 中表現(xiàn)為同一個表目錄或者分區(qū)目錄下根據(jù)某個字段的值進(jìn)行 hash 散 列之后的多個文件

　　view：與傳統(tǒng)數(shù)據(jù)庫類似，只讀，基于基本表創(chuàng)建

5、Hive 的元數(shù)據(jù)存儲在 RDBMS 中，除元數(shù)據(jù)外的其它所有數(shù)據(jù)都基于 HDFS 存儲。默認(rèn)情 況下，Hive 元數(shù)據(jù)保存在內(nèi)嵌的 Derby 數(shù)據(jù)庫中，只能允許一個會話連接，只適合簡單的 測試。實際生產(chǎn)環(huán)境中不適用，為了支持多用戶會話，則需要一個獨(dú)立的元數(shù)據(jù)庫，使用 MySQL 作為元數(shù)據(jù)庫，Hive 內(nèi)部對 MySQL 提供了很好的支持。

6、Hive 中的表分為內(nèi)部表、外部表、分區(qū)表和 Bucket 表

內(nèi)部表和外部表的區(qū)別：

　　刪除內(nèi)部表，刪除表元數(shù)據(jù)和數(shù)據(jù)

　　刪除外部表，刪除元數(shù)據(jù)，不刪除數(shù)據(jù)

內(nèi)部表和外部表的使用選擇：

　　大多數(shù)情況，他們的區(qū)別不明顯，如果數(shù)據(jù)的所有處理都在 Hive 中進(jìn)行，那么傾向于 選擇內(nèi)部表，但是如果 Hive 和其他工具要針對相同的數(shù)據(jù)集進(jìn)行處理，外部表更合適。

　　使用外部表訪問存儲在 HDFS 上的初始數(shù)據(jù)，然后通過 Hive 轉(zhuǎn)換數(shù)據(jù)并存到內(nèi)部表中

　　使用外部表的場景是針對一個數(shù)據(jù)集有多個不同的 Schema

　　通過外部表和內(nèi)部表的區(qū)別和使用選擇的對比可以看出來，hive 其實僅僅只是對存儲在 HDFS 上的數(shù)據(jù)提供了一種新的抽象。而不是管理存儲在 HDFS 上的數(shù)據(jù)。所以不管創(chuàng)建內(nèi)部 表還是外部表，都可以對 hive 表的數(shù)據(jù)存儲目錄中的數(shù)據(jù)進(jìn)行增刪操作。

分區(qū)表和分桶表的區(qū)別：?

　　Hive 數(shù)據(jù)表可以根據(jù)某些字段進(jìn)行分區(qū)操作，細(xì)化數(shù)據(jù)管理，可以讓部分查詢更快。同 時表和分區(qū)也可以進(jìn)一步被劃分為 Buckets，分桶表的原理和 MapReduce 編程中的 HashPartitioner 的原理類似。

　　分區(qū)和分桶都是細(xì)化數(shù)據(jù)管理，但是分區(qū)表是手動添加區(qū)分，由于 Hive 是讀模式，所 以對添加進(jìn)分區(qū)的數(shù)據(jù)不做模式校驗，分桶表中的數(shù)據(jù)是按照某些分桶字段進(jìn)行 hash 散列 形成的多個文件，所以數(shù)據(jù)的準(zhǔn)確性也高很多

?

轉(zhuǎn)載于:https://www.cnblogs.com/qingyunzong/p/8707885.html

總結(jié)

以上是生活随笔為你收集整理的Hive学习之路 （一）Hive初识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。