Hive 的官方文檔中對查詢語言有了很詳細的描述，請參考：http://wiki.apache.org/hadoop/Hive/LanguageManual ，本文的內(nèi)容大部分翻譯自該頁面，期間加入了一些在使用過程中需要注意到的事項。

Create Table

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type[COMMENT col_comment], ...)][CLUSTERED BY (col_name, col_name, ...)[SORTED BY (col_name [ASC|DESC], ...)]INTO num_buckets BUCKETS][ROW FORMAT row_format][STORED AS file_format][LOCATION hdfs_path]

CREATE TABLE 創(chuàng)建一個指定名字的表。如果相同名字的表已經(jīng)存在，則拋出異常；用戶可以用 IF NOT EXIST 選項來忽略這個異常。

EXTERNAL 關(guān)鍵字可以讓用戶創(chuàng)建一個外部表，在建表的同時指定一個指向?qū)嶋H數(shù)據(jù)的路徑（LOCATION），Hive 創(chuàng)建內(nèi)部表時，會將數(shù)據(jù)移動到數(shù)據(jù)倉庫指向的路徑；若創(chuàng)建外部表，僅記錄數(shù)據(jù)所在的路徑，不對數(shù)據(jù)的位置做任何改變。在刪除表的時候，內(nèi)部表的元數(shù)據(jù)和數(shù)據(jù)會被一起刪除，而外部表只刪除元數(shù)據(jù)，不刪除數(shù)據(jù)。

LIKE 允許用戶復(fù)制現(xiàn)有的表結(jié)構(gòu)，但是不復(fù)制數(shù)據(jù)。

用戶在建表的時候可以自定義 SerDe 或者使用自帶的 SerDe。如果沒有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，將會使用自帶的 SerDe。在建表的時候，用戶還需要為表指定列，用戶在指定表的列的同時也會指定自定義的 SerDe，Hive 通過 SerDe 確定表的具體的列的數(shù)據(jù)。

如果文件數(shù)據(jù)是純文本，可以使用 STORED AS TEXTFILE。如果數(shù)據(jù)需要壓縮，使用 STORED AS SEQUENCE 。

有分區(qū)的表可以在創(chuàng)建的時候使用 PARTITIONED BY 語句。一個表可以擁有一個或者多個分區(qū)，每一個分區(qū)單獨存在一個目錄下。而且，表和分區(qū)都可以對某個列進行?CLUSTERED BY 操作，將若干個列放入一個桶（bucket）中。也可以利用SORT BY 對數(shù)據(jù)進行排序。這樣可以為特定應(yīng)用提高性能。

表名和列名不區(qū)分大小寫，SerDe 和屬性名區(qū)分大小寫。表和列的注釋是字符串。

Drop Table

刪除一個內(nèi)部表的同時會同時刪除表的元數(shù)據(jù)和數(shù)據(jù)。刪除一個外部表，只刪除元數(shù)據(jù)而保留數(shù)據(jù)。

Alter Table

Alter table 語句允許用戶改變現(xiàn)有表的結(jié)構(gòu)。用戶可以增加列/分區(qū)，改變serde，增加表和 serde 熟悉，表本身重命名。

Add Partitions

ALTER TABLE table_name ADDpartition_spec [ LOCATION 'location1' ]partition_spec [ LOCATION 'location2' ] ...partition_spec:: PARTITION (partition_col = partition_col_value,partition_col = partiton_col_value, ...)

用戶可以用 ALTER TABLE ADD PARTITION 來向一個表中增加分區(qū)。當(dāng)分區(qū)名是字符串時加引號。

ALTER TABLE page_view ADDPARTITION (dt='2008-08-08', country='us')location '/path/to/us/part080808'PARTITION (dt='2008-08-09', country='us')location '/path/to/us/part080809';

DROP PARTITION

ALTER TABLE table_name DROPpartition_spec, partition_spec,...

用戶可以用 ALTER TABLE DROP PARTITION 來刪除分區(qū)。分區(qū)的元數(shù)據(jù)和數(shù)據(jù)將被一并刪除。

ALTER TABLE page_viewDROP PARTITION (dt='2008-08-08', country='us');

RENAME TABLE

ALTER TABLE table_name RENAME TO new_table_name

這個命令可以讓用戶為表更名。數(shù)據(jù)所在的位置和分區(qū)名并不改變。換而言之，老的表名并未“釋放”，對老表的更改會改變新表的數(shù)據(jù)。

Change?Column Name/Type/Position/Comment

ALTER TABLE table_name CHANGE [COLUMN]col_old_name col_new_name column_type[COMMENT col_comment][FIRST|AFTER column_name]

這個命令可以允許用戶修改一個列的名稱、數(shù)據(jù)類型、注釋或者位置。

比如：

CREATE TABLE test_change?(a int, b int,?c?int);

ALTER TABLE test_change?CHANGE?a a1 INT;?將 a 列的名字改為 a1.

ALTER TABLE test_change?CHANGE?a a1 STRING AFTER b;?將 a 列的名字改為 a1，a 列的數(shù)據(jù)類型改為 string，并將它放置在列 b 之后。新的表結(jié)構(gòu)為： b int, a1 string,?c?int.

ALTER TABLE test_change?CHANGE?b b1 INT FIRST;?會將 b 列的名字修改為 b1, 并將它放在第一列。新表的結(jié)構(gòu)為： b1 int, a string,?c?int.

注意：對列的改變只會修改 Hive 的元數(shù)據(jù)，而不會改變實際數(shù)據(jù)。用戶應(yīng)該確定保證元數(shù)據(jù)定義和實際數(shù)據(jù)結(jié)構(gòu)的一致性。

Add/Replace?Columns

ALTER TABLE table_name ADD|REPLACECOLUMNS (col_name data_type [COMMENT col_comment], ...)

ADD?COLUMNS 允許用戶在當(dāng)前列的末尾增加新的列，但是在分區(qū)列之前。

REPLACE?COLUMNS 刪除以后的列，加入新的列。只有在使用 native 的 SerDE（DynamicSerDe or MetadataTypeColumnsetSerDe）的時候才可以這么做。

Alter Table Properties

ALTER TABLE table_name SET TBLPROPERTIES table_properties table_properties:: (property_name = property_value, property_name = property_value, ... )

用戶可以用這個命令向表中增加 metadata，目前 last_modified_user，last_modified_time 屬性都是由 Hive 自動管理的。用戶可以向列表中增加自己的屬性。可以使用 DESCRIBE EXTENDED TABLE 來獲得這些信息。

Add Serde Properties

ALTER TABLE table_nameSET SERDE serde_class_name[WITH SERDEPROPERTIES serde_properties]ALTER TABLE table_nameSET SERDEPROPERTIES serde_propertiesserde_properties:: (property_name = property_value,property_name = property_value, ... )

這個命令允許用戶向 SerDe 對象增加用戶定義的元數(shù)據(jù)。Hive 為了序列化和反序列化數(shù)據(jù)，將會初始化 SerDe 屬性，并將屬性傳給表的 SerDe。如此，用戶可以為自定義的 SerDe 存儲屬性。

Alter Table File Format and Organization

ALTER TABLE table_name SET FILEFORMAT file_format ALTER TABLE table_name CLUSTERED BY (col_name, col_name, ...)[SORTED BY (col_name, ...)] INTO num_buckets BUCKETS

這個命令修改了表的物理存儲屬性。

Loading files into table

當(dāng)數(shù)據(jù)被加載至表中時，不會對數(shù)據(jù)進行任何轉(zhuǎn)換。Load 操作只是將數(shù)據(jù)復(fù)制/移動至 Hive 表對應(yīng)的位置。

Syntax:

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename[PARTITION (partcol1=val1, partcol2=val2 ...)]

Synopsis:

Load 操作只是單純的復(fù)制/移動操作，將數(shù)據(jù)文件移動到 Hive 表對應(yīng)的位置。

• filepath 可以是：
  • 相對路徑，例如：project/data1
  • 絕對路徑，例如： /user/hive/project/data1
  • 包含模式的完整 URI，例如：hdfs://namenode:9000/user/hive/project/data1
• 加載的目標(biāo)可以是一個表或者分區(qū)。如果表包含分區(qū)，必須指定每一個分區(qū)的分區(qū)名。
• filepath 可以引用一個文件（這種情況下，Hive 會將文件移動到表所對應(yīng)的目錄中）或者是一個目錄（在這種情況下，Hive 會將目錄中的所有文件移動至表所對應(yīng)的目錄中）。
• 如果指定了 LOCAL，那么：
  • load 命令會去查找本地文件系統(tǒng)中的 filepath。如果發(fā)現(xiàn)是相對路徑，則路徑會被解釋為相對于當(dāng)前用戶的當(dāng)前路徑。用戶也可以為本地文件指定一個完整的 URI，比如：file:///user/hive/project/data1.
  • load 命令會將 filepath 中的文件復(fù)制到目標(biāo)文件系統(tǒng)中。目標(biāo)文件系統(tǒng)由表的位置屬性決定。被復(fù)制的數(shù)據(jù)文件移動到表的數(shù)據(jù)對應(yīng)的位置。
• 如果沒有指定 LOCAL 關(guān)鍵字，如果 filepath 指向的是一個完整的 URI，hive 會直接使用這個 URI。 否則：
  • 如果沒有指定 schema 或者 authority，Hive 會使用在 hadoop 配置文件中定義的 schema 和 authority，fs.default.name 指定了 Namenode 的 URI。
  • 如果路徑不是絕對的，Hive 相對于 /user/ 進行解釋。
  • Hive 會將 filepath 中指定的文件內(nèi)容移動到 table （或者 partition）所指定的路徑中。
• 如果使用了 OVERWRITE 關(guān)鍵字，則目標(biāo)表（或者分區(qū)）中的內(nèi)容（如果有）會被刪除，然后再將 filepath 指向的文件/目錄中的內(nèi)容添加到表/分區(qū)中。
• 如果目標(biāo)表（分區(qū)）已經(jīng)有一個文件，并且文件名和 filepath 中的文件名沖突，那么現(xiàn)有的文件會被新文件所替代。

SELECT

Syntax

SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list][CLUSTER BY col_list| [DISTRIBUTE BY col_list][SORT BY col_list]] [LIMIT number]

• 一個SELECT語句可以是一個union查詢或一個子查詢的一部分。
• table_reference是查詢的輸入，可以是一個普通表、一個視圖、一個join或一個子查詢
• 簡單查詢。例如，下面這一語句從t1表中查詢所有列的信息。

SELECT * FROM t1

WHERE?Clause

where?condition 是一個布爾表達式。例如，下面的查詢語句只返回銷售記錄大于 10，且歸屬地屬于美國的銷售代表。Hive 不支持在WHERE 子句中的 IN，EXIST 或子查詢。

SELECT * FROM sales WHERE amount > 10 AND region = "US"

ALL and DISTINCT?Clauses

使用ALL和DISTINCT選項區(qū)分對重復(fù)記錄的處理。默認是ALL，表示查詢所有記錄。DISTINCT表示去掉重復(fù)的記錄。

hive> SELECT col1, col2 FROM t11 31 31 42 5 hive> SELECT DISTINCT col1, col2 FROM t11 31 42 5 hive> SELECT DISTINCT col1 FROM t112

基于Partition的查詢

一般 SELECT 查詢會掃描整個表（除非是為了抽樣查詢）。但是如果一個表使用 PARTITIONED BY 子句建表，查詢就可以利用分區(qū)剪枝（input pruning）的特性，只掃描一個表中它關(guān)心的那一部分。Hive 當(dāng)前的實現(xiàn)是，只有分區(qū)斷言出現(xiàn)在離 FROM 子句最近的那個WHERE 子句中，才會啟用分區(qū)剪枝。例如，如果 page_views 表使用 date 列分區(qū)，以下語句只會讀取分區(qū)為‘2008-03-01’的數(shù)據(jù)。

SELECT page_views.*FROM page_viewsWHERE page_views.date >= '2008-03-01'AND page_views.date <= '2008-03-31';

HAVING?Clause

Hive 現(xiàn)在不支持 HAVING 子句。可以將 HAVING 子句轉(zhuǎn)化為一個字查詢，例如：

SELECT col1 FROM t1 GROUP BY col1 HAVING SUM(col2) > 10

可以用以下查詢來表達：

SELECT col1 FROM (SELECT col1, SUM(col2) AS col2sumFROM t1 GROUP BY col1) t2WHERE t2.col2sum > 10

LIMIT?Clause

Limit 可以限制查詢的記錄數(shù)。查詢的結(jié)果是隨機選擇的。下面的查詢語句從 t1 表中隨機查詢5條記錄：

SELECT * FROM t1 LIMIT 5

Top k 查詢。下面的查詢語句查詢銷售記錄最大的 5 個銷售代表。

SET mapred.reduce.tasks = 1SELECT * FROM sales SORT BY amount DESC LIMIT 5

REGEX?Column Specification

SELECT 語句可以使用正則表達式做列選擇，下面的語句查詢除了 ds 和 hr 之外的所有列：

SELECT `(ds|hr)?+.+` FROM sales

Join

Syntax

join_table:table_reference JOIN table_factor [join_condition]| table_reference {LEFT|RIGHT|FULL} [OUTER]JOIN table_reference join_condition| table_reference LEFT SEMI JOINtable_reference join_conditiontable_reference:table_factor| join_tabletable_factor:tbl_name [alias]| table_subquery alias| ( table_references )join_condition:ON equality_expression ( AND equality_expression )*equality_expression:expression = expression

Hive 只支持等值連接（equality joins）、外連接（outer joins）和（left semi joins???）。Hive 不支持所有非等值的連接，因為非等值連接非常難轉(zhuǎn)化到 map/reduce 任務(wù)。另外，Hive 支持多于 2 個表的連接。

寫 join 查詢時，需要注意幾個關(guān)鍵點：
1. 只支持等值join，例如：

SELECT a.* FROM a JOIN b ON (a.id = b.id)SELECT a.* FROM a JOIN bON (a.id = b.id AND a.department = b.department)

是正確的，然而:

SELECT a.* FROM a JOIN b ON (a.id b.id)

是錯誤的。

2. 可以 join 多于 2 個表，例如

SELECT a.val, b.val, c.val FROM a JOIN bON (a.key = b.key1) JOIN c ON (c.key = b.key2)

如果join中多個表的 join key 是同一個，則 join 會被轉(zhuǎn)化為單個 map/reduce 任務(wù)，例如：

SELECT a.val, b.val, c.val FROM a JOIN bON (a.key = b.key1) JOIN cON (c.key = b.key1)

被轉(zhuǎn)化為單個 map/reduce 任務(wù)，因為 join 中只使用了 b.key1 作為 join key。

SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1)JOIN c ON (c.key = b.key2)

而這一 join 被轉(zhuǎn)化為 2 個 map/reduce 任務(wù)。因為 b.key1 用于第一次 join 條件，而 b.key2 用于第二次 join。

join 時，每次 map/reduce 任務(wù)的邏輯是這樣的：reducer 會緩存 join 序列中除了最后一個表的所有表的記錄，再通過最后一個表將結(jié)果序列化到文件系統(tǒng)。這一實現(xiàn)有助于在 reduce 端減少內(nèi)存的使用量。實踐中，應(yīng)該把最大的那個表寫在最后（否則會因為緩存浪費大量內(nèi)存）。例如：

SELECT a.val, b.val, c.val FROM aJOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)

所有表都使用同一個 join key（使用 1 次 map/reduce 任務(wù)計算）。Reduce 端會緩存 a 表和 b 表的記錄，然后每次取得一個?c?表的記錄就計算一次 join 結(jié)果，類似的還有：

SELECT a.val, b.val, c.val FROM aJOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)

這里用了 2 次 map/reduce 任務(wù)。第一次緩存 a 表，用 b 表序列化；第二次緩存第一次 map/reduce 任務(wù)的結(jié)果，然后用?c?表序列化。

LEFT，RIGHT 和 FULL OUTER 關(guān)鍵字用于處理 join 中空記錄的情況，例如：

SELECT a.val, b.val FROM a LEFT OUTERJOIN b ON (a.key=b.key)

對應(yīng)所有 a 表中的記錄都有一條記錄輸出。輸出的結(jié)果應(yīng)該是 a.val, b.val，當(dāng) a.key=b.key 時，而當(dāng) b.key 中找不到等值的 a.key 記錄時也會輸出 a.val, NULL。“FROM a LEFT OUTER JOIN b”這句一定要寫在同一行——意思是 a 表在 b 表的左邊，所以 a 表中的所有記錄都被保留了；“a RIGHT OUTER JOIN b”會保留所有 b 表的記錄。OUTER JOIN 語義應(yīng)該是遵循標(biāo)準(zhǔn) SQL spec的。

Join 發(fā)生在 WHERE 子句之前。如果你想限制 join 的輸出，應(yīng)該在 WHERE 子句中寫過濾條件——或是在 join 子句中寫。這里面一個容易混淆的問題是表分區(qū)的情況：

SELECT a.val, b.val FROM aLEFT OUTER JOIN b ON (a.key=b.key)WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'

會 join a 表到 b 表（OUTER JOIN），列出 a.val 和 b.val 的記錄。WHERE 從句中可以使用其他列作為過濾條件。但是，如前所述，如果 b 表中找不到對應(yīng) a 表的記錄，b 表的所有列都會列出 NULL，包括 ds 列。也就是說，join 會過濾 b 表中不能找到匹配 a 表 join key 的所有記錄。這樣的話，LEFT OUTER 就使得查詢結(jié)果與 WHERE 子句無關(guān)了。解決的辦法是在 OUTER JOIN 時使用以下語法：

SELECT a.val, b.val FROM a LEFT OUTER JOIN bON (a.key=b.key ANDb.ds='2009-07-07' ANDa.ds='2009-07-07')

這一查詢的結(jié)果是預(yù)先在 join 階段過濾過的，所以不會存在上述問題。這一邏輯也可以應(yīng)用于 RIGHT 和 FULL 類型的 join 中。

Join 是不能交換位置的。無論是 LEFT 還是 RIGHT join，都是左連接的。

SELECT a.val1, a.val2, b.val, c.valFROM aJOIN b ON (a.key = b.key)LEFT OUTER JOIN c ON (a.key = c.key)

先 join a 表到 b 表，丟棄掉所有 join key 中不匹配的記錄，然后用這一中間結(jié)果和?c?表做 join。這一表述有一個不太明顯的問題，就是當(dāng)一個 key 在 a 表和?c?表都存在，但是 b 表中不存在的時候：整個記錄在第一次 join，即 a JOIN b 的時候都被丟掉了（包括a.val1，a.val2和a.key），然后我們再和?c?表 join 的時候，如果?c.key 與 a.key 或 b.key 相等，就會得到這樣的結(jié)果：NULL, NULL, NULL,?c.val。

LEFT SEMI JOIN 是 IN/EXISTS 子查詢的一種更高效的實現(xiàn)。Hive 當(dāng)前沒有實現(xiàn) IN/EXISTS 子查詢，所以你可以用 LEFT SEMI JOIN 重寫你的子查詢語句。LEFT SEMI JOIN 的限制是， JOIN 子句中右邊的表只能在 ON 子句中設(shè)置過濾條件，在 WHERE 子句、SELECT 子句或其他地方過濾都不行。

SELECT a.key, a.valueFROM aWHERE a.key in(SELECT b.keyFROM B);

可以被重寫為：

SELECT a.key, a.valFROM a LEFT SEMI JOIN b on (a.key = b.key)

http://www.cnblogs.com/tangtianfly/archive/2012/06/29/2569944.html

本文轉(zhuǎn)自茄子_2008博客園博客，原文鏈接：http://www.cnblogs.com/xd502djj/archive/2013/01/16/2863053.html，如需轉(zhuǎn)載請自行聯(lián)系原作者。

總結(jié)

以上是生活随笔為你收集整理的hive操作create，alter等的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。