• 認(rèn)識(shí)Hive

??? 對(duì)十Hadoop的出現(xiàn)，無(wú)論是業(yè)界還是學(xué)術(shù)界對(duì)其都給予了極高的關(guān)注度，Hadoop及其生態(tài)圈提供了一個(gè)成熟高效的處理海量數(shù)據(jù)集的解決方案。隨著Hadoop越來(lái)越流行，一個(gè)問(wèn)題也隨之產(chǎn)生:用戶如何從現(xiàn)有的數(shù)據(jù)基礎(chǔ)架構(gòu)轉(zhuǎn)移到Hadoop上，而所謂的數(shù)據(jù)基礎(chǔ)架構(gòu)大都基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)(RMDBS )和結(jié)構(gòu)化查詢語(yǔ)言(SQL )。這就是Hive出現(xiàn)的原因，Hive的設(shè)訓(xùn)目的是為了讓那些精通SQL技能而Java技能較弱的數(shù)據(jù)分析師能夠利用Hadoop進(jìn)行各種數(shù)據(jù)分析，對(duì)于前文的WordCount例子，Java代碼大概在80行左右，這對(duì)于經(jīng)驗(yàn)豐富的Java開(kāi)發(fā)工程師來(lái)說(shuō)也不是易事，但如果用Hive的查詢語(yǔ)言(即HiveQL)來(lái)完成的話，只有區(qū)區(qū)幾行代碼：

CREATE TABLE text (line STRING); LOAD DATA INPATH’a.txt’OVERWRITE INTO TABLE text; CREATE TABLE word_count AS SELECT word,COUNT(1) AS count FROM (SELECT EXPLODE (SPLIT(line,’\s’)))AS word FROM text) w GROUP BY word ORDER BY word;
??? 可以看出HiveQL的語(yǔ)法和SQL常類似，實(shí)際上HiveQL是基本實(shí)現(xiàn)了SQL-92標(biāo)準(zhǔn)的。
??? Hive是由Facebook開(kāi)發(fā)的海量數(shù)據(jù)查詢工具，目前己經(jīng)捐獻(xiàn)給Apache軟件基金會(huì)，是Apache的頂級(jí)項(xiàng)目。
??? 在實(shí)際開(kāi)發(fā)中，80%的操作都不會(huì)由MapReduce程序直接完成，而是由Hive來(lái)完成，所以說(shuō)Hive本身實(shí)踐性非常強(qiáng)，并,1.使用頻率}I常高，它沒(méi)有高深的原理，只需要用戶對(duì)SQL熟練即可。掌握Hive對(duì)于使用Hadoop來(lái)說(shuō)非常重要。

• 從MapReduce到SQL

??? Hive顯著地降低了使用Hadoop來(lái)做數(shù)據(jù)分析的學(xué)習(xí)成本，對(duì)于那些精通Java的人來(lái)說(shuō)，Hive仍然是首選，因?yàn)镠ive穩(wěn)定，代碼精簡(jiǎn)并且易于維護(hù)。
??? 從前面介紹的MapReduce編程實(shí)例可以看出，常見(jiàn)的count,? group by,? order by,? join等SQL操作都可以由MapReduce來(lái)完成，在某種意義上，Hive可以說(shuō)是HiveQL ( SQL)到MapReduce的映射器，如下圖所示。

??? Hive可以將用戶輸入的HiveQL腳本轉(zhuǎn)化為一個(gè)或多個(gè)MapReduce作業(yè)并在集群上運(yùn)行。同樣的，Hadoop生態(tài)圈里還有一個(gè)叫Pig的組件，它的作用和Hive類似，但Pig提供的不是SQL接口而是一種叫做Pig Latin的語(yǔ)言接口，如下圖所示。

??? 和SQL相比，Pig Latin更加靈活但是學(xué)習(xí)成本更高，在生產(chǎn)環(huán)境下沒(méi)有Hive普遍。Pig Latin和HiveQL都是對(duì)MapReduce進(jìn)行了一種封裝，使用戶不必直接編寫(xiě)MapReduce程序，所以它們可以說(shuō)是Hadoop的“高級(jí)語(yǔ)言”。

可以在Hive安裝的節(jié)點(diǎn)輸入hive進(jìn)入Hive命令行:

Hive history file=/tmp/hadoop/hive_job_log_hadoop_201407010908_503992358.txt hive>
可以對(duì)己有的表進(jìn)行查詢操作:

hive> select count(*)from test;
這時(shí)控制臺(tái)會(huì)輸出日志:

Total MapReduce jobs=1 Launching Job 1 out of 1 Number of reduce tasks determined atcompile time:1 In order to change the average load for a reducer (in bytes):set hive .exec.reducers.bytes.per.reducer=<number>In orderto limit the maximum number of reducers:set hive.exec.reducers.max=<number>In order to set a constant number of reducers:set mapred.reduce.tasks=<number>Starting Job=job-201407010902_0002，Tracking ORL=http://master:50030/jobdetails. jsp?jobid=job-201907010902_0002Kill Command=/home/hadoop/hadoop-0.20.2一cdh3u6/bin/hadoop job一Dmapred.job.tracker=master:9001-kill job_201407010902_00022019一07一01 09:11:91,334 Stage-1 map=0%, reduce = 0%.2019一07一01 09:11:97,370 Stage-1 map=0%, reduce=100%.2014一07一01 09:11:50,397 Stage一1 map=100%, reduce=100%Ended Job=job_ 201907010902_ 0002OK0Time taken:14 .889 seconds
??? 從日志可以發(fā)現(xiàn)該條HiveQL(以下簡(jiǎn)稱HQL)被轉(zhuǎn)化為一個(gè)MapReduce作業(yè)執(zhí)行，執(zhí)行時(shí)與普通MapReduce作業(yè)一樣，也是分為map和reduce部分，還可以通過(guò)Hadoop的Web UI查看作業(yè)，日志已經(jīng)將作業(yè)鏈接打印出來(lái):

通過(guò)鏈接可以看到該作業(yè)的詳細(xì)信息，如圖所示。

值得一提的是，并不是所有HQL 都會(huì)轉(zhuǎn)化為MapReduce任務(wù)，例如下面這種查詢操作。
hive> select*from test:
??? 這種HQL是不會(huì)被Hive轉(zhuǎn)化為MapReduce作業(yè)執(zhí)行的，Hive只會(huì)將該表所分布在各個(gè)，DataNode的數(shù)據(jù)拉到Hive所在節(jié)點(diǎn)并依次輸出。

本文參考書(shū)籍------Hadoop海量數(shù)據(jù)處理 技術(shù)詳解與項(xiàng)目實(shí)戰(zhàn)

轉(zhuǎn)載于:https://www.cnblogs.com/DeepRunning/p/9205984.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop最常用的工具（SQL on Hadoop）：Hive的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。