Hive基本概念

---

目錄

什么是Hive

Hive的優缺點

Hive架構原理

Hive和數據庫比較

---

1. 什么是Hive

Hive：由 Facebook 開源用于解決海量結構化日志的數據統計框架。

Hive 是基于 Hadoop 的一個數據倉庫工具，可以將結構化的數據文件映射為一張表，并提供了類 SQL 查詢功能。

本質是：將 HQL 轉化成 MapReduce 程序。

• Hive 處理的數據存儲在 HDFS。
• Hive 分析數據底層的實現是 MapReduce。
• 執行程序運行在 Yarn 上。

---

2. Hive的優缺點

1. 優點

操作接口采用類 SQL 語法，提供快速開發的能力（簡單，容易上手）。

避免了去寫 MapReduce，減少開發人員的學習成本。

Hive 的執行延遲比較高，因此 Hive 常用于數據分析，對實時性要求不高的場合。

Hive 的優勢在于處理大數據，對于處理小數據沒有優勢，因為 Hive 的執行延遲比較高。

Hive 支持用戶自定義函數，用戶可以根據自己的需求實現自己的函數。

2. 缺點

Hive 的 HQL 的表達能力有限。

迭代式算法無法表達。

數據挖掘方面不擅長，由于 MapReduce 數據處理流程的限制，效率更高的算法卻無法實現。

Hive 的效率比較低

Hive 自動生成的 MapReduce 作業，通常情況下不夠智能化。

Hive 調優比較困難，粒度較粗。

---

3. Hive架構原理

用戶接口：Client
CLI(command-line interface)、JDBC/ODBC(jdbc 訪問 hive)、WEBUI(游覽器訪問 hive)

元數據：Matestore
元數據包括：表名、表所屬的數據庫（默認為default）、表的擁有者、列/分區字段、表的類型（是否為外部表）、表的數據所在目錄等。
默認存儲在自帶的 derby 數據庫中，推薦使用 MySQL 存儲 Metastore。

Hadoop
使用 HDFS 進行存儲，使用 MapReduce 進行計算。

驅動器：Driver

解析器（SQL Parser）：將 SQL 字符串轉換成抽象語法樹 AST，這一步一般都用第三方工具庫完成，比如 antlr；對 AST 進行語法分析，比如表是否存在、字段是否存在、SQL語義是否有誤。

編譯器（Physical Plan）：將 AST 編譯生成邏輯執行計算。

優化器（Query Optimizer）：對邏輯執行計劃進行優化。

執行器（Execution）：把邏輯執行計算轉換成可以運行的物理計劃。對于 Hive 來說，就是MR/Spark。

Hive通過給用戶提供的一系列交互接口，接收到用戶的指令(SQL)，使用自己的Driver，結合元數據(MetaStore)，將這些指令翻譯成MapReduce，提交到Hadoop中執行，最后，將執行返回的結果輸出到用戶交互接口。

---

4. Hive和數據庫比較

由于 Hive 采用了類似SQL 的查詢語言 HQL(Hive Query Language)，因此很容易將 Hive 理解為數據庫。其實從結構上來看，Hive 和數據庫除了擁有類似的查詢語言，再無類似之處。本文將從多個方面來闡述 Hive 和數據庫的差異。數據庫可以用在 Online 的應用中，但是Hive 是為數據倉庫而設計的，清楚這一點，有助于從應用角度理解 Hive 的特性。

查詢語言
由于SQL被廣泛的應用在數據倉庫中，因此，專門針對Hive的特性設計了類SQL的查詢語言HQL。熟悉SQL開發的開發者可以很方便的使用Hive進行開發。

數據存儲位置
Hive 是建立在 Hadoop 之上的，所有 Hive 的數據都是存儲在 HDFS 中的。而數據庫則可以將數據保存在塊設備或者本地文件系統中。

數據更新
由于Hive是針對數據倉庫應用設計的，而數據倉庫的內容是讀多寫少的。因此，Hive中不建議對數據的改寫，所有的數據都是在加載的時候確定好的。而數據庫中的數據通常是需要經常進行修改的，因此可以使用 INSERT INTO … VALUES 添加數據，使用 UPDATE … SET修改數據。

執行
Hive中大多數查詢的執行是通過 Hadoop 提供的 MapReduce 來實現的。而數據庫通常有自己的執行引擎。

執行延遲
Hive 在查詢數據的時候，由于沒有索引，需要掃描整個表，因此延遲較高。另外一個導致 Hive 執行延遲高的因素是 MapReduce框架。由于MapReduce 本身具有較高的延遲，因此在利用MapReduce 執行Hive查詢時，也會有較高的延遲。相對的，數據庫的執行延遲較低。當然，這個低是有條件的，即數據規模較小，當數據規模大到超過數據庫的處理能力的時候，Hive的并行計算顯然能體現出優勢。

可擴展性
由于Hive是建立在Hadoop之上的，因此Hive的可擴展性是和Hadoop的可擴展性是一致的（世界上最大的Hadoop 集群在 Yahoo!，2009年的規模在4000 臺節點左右）。而數據庫由于 ACID 語義的嚴格限制，擴展性非常有限。目前最先進的并行數據庫 Oracle 在理論上的擴展能力也只有100臺左右。

數據規模
由于Hive建立在集群上并可以利用MapReduce進行并行計算，因此可以支持很大規模的數據；對應的，數據庫可以支持的數據規模較小。

總結

以上是生活随笔為你收集整理的Hive基本概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。