• 認識Hive

??? 對十Hadoop的出現，無論是業界還是學術界對其都給予了極高的關注度，Hadoop及其生態圈提供了一個成熟高效的處理海量數據集的解決方案。隨著Hadoop越來越流行，一個問題也隨之產生:用戶如何從現有的數據基礎架構轉移到Hadoop上，而所謂的數據基礎架構大都基于傳統關系型數據庫(RMDBS )和結構化查詢語言(SQL )。這就是Hive出現的原因，Hive的設訓目的是為了讓那些精通SQL技能而Java技能較弱的數據分析師能夠利用Hadoop進行各種數據分析，對于前文的WordCount例子，Java代碼大概在80行左右，這對于經驗豐富的Java開發工程師來說也不是易事，但如果用Hive的查詢語言(即HiveQL)來完成的話，只有區區幾行代碼：

CREATE TABLE text (line STRING); LOAD DATA INPATH’a.txt’OVERWRITE INTO TABLE text; CREATE TABLE word_count AS SELECT word,COUNT(1) AS count FROM (SELECT EXPLODE (SPLIT(line,’\s’)))AS word FROM text) w GROUP BY word ORDER BY word;
??? 可以看出HiveQL的語法和SQL常類似，實際上HiveQL是基本實現了SQL-92標準的。
??? Hive是由Facebook開發的海量數據查詢工具，目前己經捐獻給Apache軟件基金會，是Apache的頂級項目。
??? 在實際開發中，80%的操作都不會由MapReduce程序直接完成，而是由Hive來完成，所以說Hive本身實踐性非常強，并,1.使用頻率}I常高，它沒有高深的原理，只需要用戶對SQL熟練即可。掌握Hive對于使用Hadoop來說非常重要。

• 從MapReduce到SQL

??? Hive顯著地降低了使用Hadoop來做數據分析的學習成本，對于那些精通Java的人來說，Hive仍然是首選，因為Hive穩定，代碼精簡并且易于維護。
??? 從前面介紹的MapReduce編程實例可以看出，常見的count,? group by,? order by,? join等SQL操作都可以由MapReduce來完成，在某種意義上，Hive可以說是HiveQL ( SQL)到MapReduce的映射器，如下圖所示。

??? Hive可以將用戶輸入的HiveQL腳本轉化為一個或多個MapReduce作業并在集群上運行。同樣的，Hadoop生態圈里還有一個叫Pig的組件，它的作用和Hive類似，但Pig提供的不是SQL接口而是一種叫做Pig Latin的語言接口，如下圖所示。

??? 和SQL相比，Pig Latin更加靈活但是學習成本更高，在生產環境下沒有Hive普遍。Pig Latin和HiveQL都是對MapReduce進行了一種封裝，使用戶不必直接編寫MapReduce程序，所以它們可以說是Hadoop的“高級語言”。

可以在Hive安裝的節點輸入hive進入Hive命令行:

Hive history file=/tmp/hadoop/hive_job_log_hadoop_201407010908_503992358.txt hive>
可以對己有的表進行查詢操作:

hive> select count(*)from test;
這時控制臺會輸出日志:

Total MapReduce jobs=1 Launching Job 1 out of 1 Number of reduce tasks determined atcompile time:1 In order to change the average load for a reducer (in bytes):set hive .exec.reducers.bytes.per.reducer=<number>In orderto limit the maximum number of reducers:set hive.exec.reducers.max=<number>In order to set a constant number of reducers:set mapred.reduce.tasks=<number>Starting Job=job-201407010902_0002，Tracking ORL=http://master:50030/jobdetails. jsp?jobid=job-201907010902_0002Kill Command=/home/hadoop/hadoop-0.20.2一cdh3u6/bin/hadoop job一Dmapred.job.tracker=master:9001-kill job_201407010902_00022019一07一01 09:11:91,334 Stage-1 map=0%, reduce = 0%.2019一07一01 09:11:97,370 Stage-1 map=0%, reduce=100%.2014一07一01 09:11:50,397 Stage一1 map=100%, reduce=100%Ended Job=job_ 201907010902_ 0002OK0Time taken:14 .889 seconds
??? 從日志可以發現該條HiveQL(以下簡稱HQL)被轉化為一個MapReduce作業執行，執行時與普通MapReduce作業一樣，也是分為map和reduce部分，還可以通過Hadoop的Web UI查看作業，日志已經將作業鏈接打印出來:

通過鏈接可以看到該作業的詳細信息，如圖所示。

值得一提的是，并不是所有HQL 都會轉化為MapReduce任務，例如下面這種查詢操作。
hive> select*from test:
??? 這種HQL是不會被Hive轉化為MapReduce作業執行的，Hive只會將該表所分布在各個，DataNode的數據拉到Hive所在節點并依次輸出。

本文參考書籍------Hadoop海量數據處理 技術詳解與項目實戰

轉載于:https://www.cnblogs.com/DeepRunning/p/9205984.html

總結

以上是生活随笔為你收集整理的Hadoop最常用的工具（SQL on Hadoop）：Hive的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。