引言

查詢(xún)分析是大數(shù)據(jù)要解決的核心問(wèn)題之一，而SQL作為查詢(xún)分析中使用最簡(jiǎn)單、最廣泛的的語(yǔ)言之一，必然而然的催生了許多支持在Hadoop上使用SQL的系統(tǒng)，這就是所謂的SQL-on-Hadoop系統(tǒng)，其中大眾熟知的Hive就是最早的SQL-on-Hadoop系統(tǒng)。

經(jīng)過(guò)若干年的發(fā)展，SQL-on-Hadoop系統(tǒng)已經(jīng)百花齊放，按照架構(gòu)劃分這些系統(tǒng)大致可以分為以下幾類(lèi)：

• MapReduce架構(gòu)系統(tǒng)：如Hive，這類(lèi)系統(tǒng)是在MapReduce計(jì)算框架上封裝了一個(gè)SQL語(yǔ)義層，在運(yùn)行過(guò)程中把SQL轉(zhuǎn)換為MapReduce程序來(lái)執(zhí)行
• MPP架構(gòu)系統(tǒng)：如Impala、Presto、Drill等，這類(lèi)系統(tǒng)采用MPP(Massively Parallel Processing)架構(gòu)，而非MapReduce
• 預(yù)計(jì)算系統(tǒng)：如Druid、Kylin等，這類(lèi)系統(tǒng)主要特點(diǎn)是對(duì)數(shù)據(jù)進(jìn)行預(yù)計(jì)算，并將結(jié)果保存，而在查詢(xún)時(shí)直接獲取相應(yīng)結(jié)果值

本文主要是對(duì)這些系統(tǒng)做了一個(gè)基本總結(jié)，并簡(jiǎn)單介紹了一些主流系統(tǒng)的架構(gòu)以及處理流程。下表是按照時(shí)間順序，對(duì)這些系統(tǒng)的一個(gè)概述，包括技術(shù)特點(diǎn)和主導(dǎo)公司等。

項(xiàng)目名稱(chēng)時(shí)間點(diǎn)技術(shù)特點(diǎn)主導(dǎo)公司

Apache Hive	2008年進(jìn)入Apache，2010年畢業(yè)	一款基于HDFS的MapReduce計(jì)算框架，提供類(lèi)SQL的數(shù)據(jù)查詢(xún)功能，本質(zhì)是將SQL轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行	初期由Facebook開(kāi)發(fā)，后被各大公司廣泛接受
Apache Spark	2010年進(jìn)入Apache，2014年畢業(yè)	數(shù)據(jù)在內(nèi)存中以RDD（Resilient Distributed Datasets）表示，DataFrame是其核心編程抽象，同時(shí)也支持交互式查詢(xún)和流計(jì)算	Databricks
Cloudera Impala	2012年進(jìn)入Apache，2017年11月畢業(yè)	一款使用C/C++實(shí)現(xiàn)的MPP SQL查詢(xún)引擎，使用HDFS作為存儲(chǔ)，并支持列存	Cloudera
Apache Drill	2012年進(jìn)入Apache，2014年畢業(yè)	以Google Dremel論文為基礎(chǔ)，一個(gè)MPP數(shù)據(jù)查詢(xún)引擎，支持schema free的交互式數(shù)據(jù)查詢(xún)	MapR
Presto	2013年開(kāi)源	基于內(nèi)存的計(jì)算引擎，本身并不存儲(chǔ)數(shù)據(jù)，支持跨數(shù)據(jù)源的級(jí)聯(lián)查詢(xún)	Facebook
Stinger Initiative	2013年	對(duì)Hive的性能優(yōu)化和提升	Hortonworks
Apache Phoenix	2013年進(jìn)入Apache，2014年5月畢業(yè)	構(gòu)建在HBase上的一個(gè)SQL層	初期由Salesforce開(kāi)發(fā)
Apache Tajo	2013年進(jìn)入Apache，2014年5月畢業(yè)	基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)和SQL數(shù)據(jù)查詢(xún)執(zhí)行引擎	由Database Lab., Korea University開(kāi)發(fā)
Apache Flink	2014年4月進(jìn)入Apache，2014年12月畢業(yè)	流式的數(shù)據(jù)流執(zhí)行引擎，基于流計(jì)算來(lái)模擬批計(jì)算，分別提供了流處理和批處理API	Data Artisans
Apache Kylin	2014年11月進(jìn)入Apache，2015年11月畢業(yè)	使用CUBE技術(shù)做多維數(shù)據(jù)預(yù)計(jì)算和聚合	初期由ebay開(kāi)發(fā)，現(xiàn)由Kyligence主導(dǎo)
Apache HAWQ	2015年進(jìn)入Apache，2018年5月畢業(yè)	Hadoop原始大規(guī)模并行SQL分析引擎，支持ACID事物特性	Hortonworks
Apache Trafodion	2015年進(jìn)入Apache，孵化中	構(gòu)建在HBase上的一個(gè)SQL層	HP實(shí)驗(yàn)室

Apache Hive

Apache Hive是Hadoop生態(tài)系統(tǒng)中最早的SQL引擎，它可以將結(jié)構(gòu)化數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供類(lèi)SQL查詢(xún)功能。Hive本質(zhì)上是在MapReduce計(jì)算框架上封裝了一個(gè)SQL語(yǔ)義層，并在運(yùn)行過(guò)程中把SQL轉(zhuǎn)換為MapReduce程序來(lái)執(zhí)行。

Hive通過(guò)用戶(hù)交互接口接收SQL后，其Driver結(jié)合元數(shù)據(jù)將SQL翻譯成MapReduce程序，并提交到Hadoop中執(zhí)行，最后將執(zhí)行結(jié)果輸出，其架構(gòu)如下圖所示：

主要組成部分包括：

• user interface：即用戶(hù)接口，包含CLI(命令行)，JDBC/ODBC等
• Metastore：即元數(shù)據(jù)，包括表名、表的數(shù)據(jù)所在目錄等；默認(rèn)元數(shù)據(jù)存儲(chǔ)在自帶的derby數(shù)據(jù)庫(kù)中，推薦使用MySQL

• Driver：即驅(qū)動(dòng)器，包含以下幾個(gè)組件：

  • 解析器(SQL Parser)：將SQL轉(zhuǎn)換成抽象語(yǔ)法樹(shù)(AST)，并對(duì)AST進(jìn)行語(yǔ)法分析
  • 編譯器(Compiler)：將AST編譯生成邏輯執(zhí)行計(jì)劃
  • 優(yōu)化器(Query Optimizer)：對(duì)邏輯執(zhí)行計(jì)劃進(jìn)行優(yōu)化
  • 執(zhí)行器(Execution)：把邏輯執(zhí)行計(jì)劃轉(zhuǎn)換成可以運(yùn)行的物理計(jì)劃

Hive提供的類(lèi)SQL查詢(xún)功能避免了開(kāi)發(fā)人員書(shū)寫(xiě)復(fù)雜的MapReduce程序,極大的簡(jiǎn)化了MapReduce程序的開(kāi)發(fā)，大大減少了相應(yīng)的學(xué)習(xí)成本。隨著技術(shù)的不斷進(jìn)步，Hive的執(zhí)行引擎也不斷發(fā)展，尤其是有了Tez之后，其性能有了很大的改進(jìn)。不過(guò)，其不足依舊很明顯，即處理速度慢，因而比較適合運(yùn)行在批處理場(chǎng)景中，而不適合交互式查詢(xún)等對(duì)時(shí)延要求高的場(chǎng)景中。

Apache Spark

Spark是一個(gè)通用的大數(shù)據(jù)計(jì)算框架，期望使用一個(gè)技術(shù)棧來(lái)解決大數(shù)據(jù)領(lǐng)域包括批處理、流計(jì)算、交互式查詢(xún)、圖計(jì)算和機(jī)器學(xué)習(xí)在內(nèi)的各種計(jì)算任務(wù)，其軟件棧如下圖所示：

其中的Spark SQL組件是一個(gè)用于處理結(jié)構(gòu)化數(shù)據(jù)的組件，它吸收了一個(gè)叫Shark（Hive-on-Spark）的項(xiàng)目。Spark SQL中最重要的一個(gè)概念就是DataFrame，它是帶有Shema信息的RDD，類(lèi)似于傳統(tǒng)數(shù)據(jù)庫(kù)中的二維表格。Spark SQL支持將多種外部數(shù)據(jù)源的數(shù)據(jù)轉(zhuǎn)化為DataFrame，包括Json、Parquet等，并可以通過(guò)將其注冊(cè)為臨時(shí)表，然后使用SQL來(lái)處理和分析這些數(shù)據(jù)。Spark SQL的運(yùn)行流程包含以下幾步，如圖所示：

包含以下幾個(gè)步驟：

SQL語(yǔ)句經(jīng)過(guò)SqlParser解析成UnresolvedLogicalPlan

Analyzer結(jié)合catalog進(jìn)行綁定,生成LogicalPlan

Optimizer對(duì)LogicalPlan優(yōu)化,生成OptimizedLogicalPlan

SparkPlan將OptimizedLogicalPlan轉(zhuǎn)換成PhysicalPlan

prepareForExecution()將PhysicalPlan轉(zhuǎn)換成executedPhysicalPlan

PhysicalPlan執(zhí)行得到最終結(jié)果RDD

傳統(tǒng)的MapReduce程序中Map和Reduce階段的結(jié)果都要寫(xiě)磁盤(pán)，這大大降低了系統(tǒng)性能。Spark使用RDD作為基本數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)常駐內(nèi)存，所以計(jì)算速度得到了很大提高。但是當(dāng)內(nèi)存不足時(shí)，其計(jì)算速度會(huì)大大降低，甚至容易出現(xiàn)OOM錯(cuò)誤。

Apache Impala

Apache Impala是一款基于HDFS/HBase的MPP查詢(xún)引擎，其架構(gòu)如下圖所示：

主要組成部分包括：

• Impalad: 即Impala Daemon（Impala守護(hù)進(jìn)程）；它運(yùn)行在集群的每個(gè)node上，負(fù)責(zé)接收客戶(hù)端的查詢(xún)請(qǐng)求，對(duì)查詢(xún)進(jìn)行并行化處理。其中接收查詢(xún)請(qǐng)求的Impalad為Coordinator，Coordinator對(duì)查詢(xún)語(yǔ)句處理后生成執(zhí)行計(jì)劃，再把執(zhí)行計(jì)劃分發(fā)給具有相應(yīng)數(shù)據(jù)的其它Impalad執(zhí)行，其他Impalad執(zhí)行完成后，把結(jié)果發(fā)送回
  Coordinator，由Coordinator構(gòu)建最終結(jié)果，并返回給客戶(hù)端。另外，Impalad進(jìn)程也會(huì)和Statusstore通信以確認(rèn)哪些Impalad是可以正常工作的
• Statestore: 負(fù)責(zé)跟蹤和檢查Impalad健康狀態(tài)的進(jìn)程，由statestored進(jìn)程表示；它負(fù)責(zé)處理Impalad的注冊(cè)訂閱，并且和各個(gè)Impalad進(jìn)程保持心跳鏈接
• CLI: 提供給用戶(hù)查詢(xún)使用的命令行工具（Impala Shell使用python實(shí)現(xiàn)），同時(shí)Impala還提供了Hue，JDBC， ODBC使用接口

Impala沒(méi)有使用MapReduce計(jì)算框架，而是使用與商用并行關(guān)系數(shù)據(jù)庫(kù)中類(lèi)似的分布式查詢(xún)引擎，并且Impala的中間結(jié)果不寫(xiě)入磁盤(pán)，而是通過(guò)網(wǎng)絡(luò)以流的形式傳遞，這大大降低了IO開(kāi)銷(xiāo)，因而Impala的查詢(xún)速度非常快。但是Impala缺點(diǎn)也很明顯，如對(duì)用戶(hù)自定義函數(shù)支持不好、不支持Transforms、不支持查詢(xún)期的容錯(cuò)等。

Apache Drill

Apache Drill是一個(gè)分布式的MPP SQL引擎，是開(kāi)源版本的Google Dremel。它支持對(duì)本地文件、HDFS、HBASE等數(shù)據(jù)進(jìn)行數(shù)據(jù)查詢(xún)，也支持對(duì)如JSON等schema-free的數(shù)據(jù)進(jìn)行查詢(xún)，其架構(gòu)如下圖所示：

從上圖可以看到，Drill的核心是DrillBit，它主要負(fù)責(zé)接收客戶(hù)端的請(qǐng)求，處理查詢(xún)，并將結(jié)果返回給客戶(hù)端。 Drill的查詢(xún)流程包括以下步驟：

drill客戶(hù)端發(fā)起查詢(xún)，任意DrilBit都可以接受來(lái)自客戶(hù)端的查詢(xún)

收到請(qǐng)求的DrillBit成為驅(qū)動(dòng)節(jié)點(diǎn)（Foreman），對(duì)查詢(xún)進(jìn)行分析優(yōu)化生成執(zhí)行計(jì)劃，之后將執(zhí)行計(jì)劃劃分成各個(gè)片段，并確定合適的節(jié)點(diǎn)來(lái)執(zhí)行

各個(gè)節(jié)點(diǎn)執(zhí)行查詢(xún)片段，并將結(jié)果返回給驅(qū)動(dòng)節(jié)點(diǎn)

驅(qū)動(dòng)節(jié)點(diǎn)將結(jié)果返回給客戶(hù)端

Presto

Presto是一個(gè)分布式的MPP查詢(xún)引擎，支持多種數(shù)據(jù)源，包括Hive、RDBMS、Redis等，并且可以跨數(shù)據(jù)源查詢(xún)。Presto的基本架構(gòu)如下圖所示：

主要組成部分包括：

• coodinator：用于解析查詢(xún)SQL，生成執(zhí)行計(jì)劃，并分發(fā)給worker執(zhí)行
• discovery server：worker上線(xiàn)后，向discovery server注冊(cè)。coodinator分發(fā)任務(wù)前，需要向discovery server獲取可以正常工作worker列表
• worker：具體執(zhí)行任務(wù)的工作節(jié)點(diǎn)

Apache Phoenix

Apache Phoenix是一個(gè)運(yùn)行在HBase上的SQL框架，其本質(zhì)是用Java寫(xiě)的基于JDBC API操作HBase的開(kāi)源SQL引擎，通過(guò)Phoenix可以像使用MySQL等關(guān)系型數(shù)據(jù)庫(kù)一樣操作HBase中的表。Apache Phoenix支持ACID事務(wù)功能的標(biāo)準(zhǔn)SQL，它將SQL編譯成原生HBase的scan語(yǔ)句，其架構(gòu)如下圖所示：

從上圖可以看到：

• Phoenix的JDBC driver是在HBase的client端
• Phoenix在HBase的RegionServer上

Apache Kylin

Apache Kylin是一個(gè)開(kāi)源的分布式分析引擎，提供Hadoop/Spark之上的SQL查詢(xún)接口及多維分析（OLAP）能力。Kylin的核心是預(yù)計(jì)算，即對(duì)可能用到的度量進(jìn)行預(yù)計(jì)算，并將結(jié)果保存為Cube以便查詢(xún)時(shí)直接訪(fǎng)問(wèn)。Kylin的架構(gòu)如下圖所示：

主要組成部分包括：

• 離線(xiàn)構(gòu)建部分：根據(jù)元數(shù)據(jù)的定義，從數(shù)據(jù)源（如Hive）抽取數(shù)據(jù)，并通過(guò)MapReduce Job構(gòu)建Cube，構(gòu)建后的Cube保存在HBase中
• 在線(xiàn)查詢(xún)部分：用戶(hù)通過(guò)RESTful API、JDBC/ODBC等接口提交SQL，REST服務(wù)把SQL交給查詢(xún)引擎處理。查詢(xún)引擎解析SQL，生成邏輯執(zhí)行計(jì)劃，之后將其轉(zhuǎn)化為基于Cube的物理執(zhí)行計(jì)劃，最后讀取預(yù)計(jì)算生成的Cube并返回結(jié)果

Apache Flink

Apache Flink是一個(gè)面向分布式數(shù)據(jù)流處理和批量數(shù)據(jù)處理的開(kāi)源計(jì)算平臺(tái)，它能夠基于同一個(gè)Flink運(yùn)行時(shí)提供流處理和批處理兩種類(lèi)型應(yīng)用的功能。區(qū)別于其他流處理系統(tǒng)，Flink作為流處理時(shí)，把輸入數(shù)據(jù)流看做是無(wú)界的，而批處理被作為一種特殊的流處理，只是它的輸入數(shù)據(jù)流被定義為有界的。

基于同一個(gè)Flink運(yùn)行時(shí)（Flink Runtime），Flink分別提供了流處理和批處理API，為了實(shí)現(xiàn)API層流與批的統(tǒng)一，Flink提供了一種關(guān)系型API，即Table & SQL API。

Apache HAWQ

Apache HAWQ的全稱(chēng)是Hadoop With Query，是一個(gè)Hadoop原生的MPP SQL引擎。HAWQ能直接在HDFS上讀寫(xiě)數(shù)據(jù)，而不需要connector，并支持ACID事務(wù)特性，其架構(gòu)如下圖所示：

主要組成部分包括：

• HAWQ master：負(fù)責(zé)處理客戶(hù)端提交的SQL，解析優(yōu)化后向集群Segment節(jié)點(diǎn)下發(fā)查詢(xún)，合并從各Segemt節(jié)點(diǎn)返回的結(jié)果，并返回最終結(jié)果給客戶(hù)端。HAWQ master內(nèi)部由HAWQ Resource Manager，HAWQ Catalog Service，HAWQ Fault Tolerance Service，HAWQ Dispatcher等組件組成。HAWQ master還需要維護(hù)global system catalog，global system catalog是系統(tǒng)表的集合，其中包含了HAWQ集群的元數(shù)據(jù)信息
• HAWQ segment：集群的計(jì)算節(jié)點(diǎn)，本身不存儲(chǔ)任何數(shù)據(jù)，所有數(shù)據(jù)都存儲(chǔ)在HDFS上。HAWQ master在分派SQL請(qǐng)求給Segment時(shí)會(huì)附帶相關(guān)的元數(shù)據(jù)信息，元數(shù)據(jù)信息包含了表的HDFS URL，Segment通過(guò)HDFS URL訪(fǎng)問(wèn)需要處理的數(shù)據(jù)
• PXF agent：PXF(Pivotal eXtension Framework)的服務(wù)。PXF是一個(gè)允許HAWQ訪(fǎng)問(wèn)外部系統(tǒng)數(shù)據(jù)的可擴(kuò)展框架，其中內(nèi)置了訪(fǎng)問(wèn)HDFS文件，HBase表以及Hive表的連接器，PXF還可以通過(guò)和HCatalog集成來(lái)直接訪(fǎng)問(wèn)Hive表

結(jié)束語(yǔ)

SQL-on-Hadoop系統(tǒng)經(jīng)過(guò)了若干年的發(fā)展，已經(jīng)有了很大的提高，但是目前各個(gè)系統(tǒng)仍然在不斷完善提高，例如：

• 執(zhí)行計(jì)劃方面：更強(qiáng)的優(yōu)化器
• 執(zhí)行效率方面：支持code generation、vectorization等
• 存儲(chǔ)格式方面：支持更高效列存等

未來(lái)也會(huì)出現(xiàn)更多技術(shù)、更多系統(tǒng)。本文主要介紹了目前幾大開(kāi)源的SQL-on-Hadoop系統(tǒng)及其架構(gòu)，包括Hive、Spark、Presto、Drill等。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的开源SQL-on-Hadoop系统一览的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。