hive 自定义元数据表_[一起学Hive]之十四-Hive的元数据表结构详解
關(guān)鍵字：Hive元數(shù)據(jù)、Hive元數(shù)據(jù)表結(jié)構(gòu)
之前在 “[一起學Hive]之一–Hive概述，Hive是什么”中介紹過，Hive自己維護了一套元數(shù)據(jù)，用戶通過HQL查詢時候，Hive首先需要結(jié)合元數(shù)據(jù)，將HQL翻譯成MapReduce去執(zhí)行。
本文介紹一下Hive元數(shù)據(jù)中重要的一些表結(jié)構(gòu)及用途，以Hive0.13為例。
文章最后面，會以一個示例來全面了解一下，Hive的元數(shù)據(jù)是怎么生成和存儲的。
13.1 存儲Hive版本的元數(shù)據(jù)表(VERSION)
該表比較簡單，但很重要。
VER_ID
SCHEMA_VERSION
VERSION_COMMENT
ID主鍵
Hive版本
版本說明
1
0.13.0
Set by MetaStore
如果該表出現(xiàn)問題，根本進入不了Hive-Cli。
比如該表不存在，當啟動Hive-Cli時候，就會報錯”Table ‘hive.version’ doesn’t exist”。
13.2 Hive數(shù)據(jù)庫相關(guān)的元數(shù)據(jù)表(DBS、DATABASE_PARAMS)
DBS
該表存儲Hive中所有數(shù)據(jù)庫的基本信息，字段如下：
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
DB_ID
數(shù)據(jù)庫ID
2
DESC
數(shù)據(jù)庫描述
測試庫
DB_LOCATION_URI
數(shù)據(jù)庫HDFS路徑
hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME
數(shù)據(jù)庫名
lxw1234
OWNER_NAME
數(shù)據(jù)庫所有者用戶名
lxw1234
OWNER_TYPE
所有者角色
USER
DATABASE_PARAMS
該表存儲數(shù)據(jù)庫的相關(guān)參數(shù)，在CREATE DATABASE時候用
WITH DBPROPERTIES (property_name=property_value, …)指定的參數(shù)。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
DB_ID
數(shù)據(jù)庫ID
2
PARAM_KEY
參數(shù)名
createdby
PARAM_VALUE
參數(shù)值
lxw1234
DBS和DATABASE_PARAMS這兩張表通過DB_ID字段關(guān)聯(lián)。
13.3 Hive表和視圖相關(guān)的元數(shù)據(jù)表
主要有TBLS、TABLE_PARAMS、TBL_PRIVS，這三張表通過TBL_ID關(guān)聯(lián)。
TBLS
該表中存儲Hive表、視圖、索引表的基本信息。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
TBL_ID
表ID
1
CREATE_TIME
創(chuàng)建時間
1436317071
DB_ID
數(shù)據(jù)庫ID
2，對應DBS中的DB_ID
LAST_ACCESS_TIME
上次訪問時間
1436317071
OWNER
所有者
liuxiaowen
RETENTION
保留字段
0
SD_ID
序列化配置信息
86，對應SDS表中的SD_ID
TBL_NAME
表名
lxw1234
TBL_TYPE
表類型
MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT
視圖的詳細HQL語句
select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT
視圖的原始HQL語句
select * from lxw1234
TABLE_PARAMS
該表存儲表/視圖的屬性信息。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
TBL_ID
表ID
1
PARAM_KEY
屬性名
totalSize、numRows、EXTERNAL
PARAM_VALUE
屬性值
970107336、21231028、TRUE
TBL_PRIVS
該表存儲表/視圖的授權(quán)信息
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
TBL_GRANT_ID
授權(quán)ID
1
CREATE_TIME
授權(quán)時間
1436320455
GRANT_OPTION
0
GRANTOR
授權(quán)執(zhí)行用戶
liuxiaowen
GRANTOR_TYPE
授權(quán)者類型
USER
PRINCIPAL_NAME
被授權(quán)用戶
username
PRINCIPAL_TYPE
被授權(quán)用戶類型
USER
TBL_PRIV
權(quán)限
Select、Alter
TBL_ID
表ID
22，對應TBLS表中的TBL_ID
13.4 Hive文件存儲信息相關(guān)的元數(shù)據(jù)表
主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS
由于HDFS支持的文件格式很多，而建Hive表時候也可以指定各種文件格式，Hive在將HQL解析成MapReduce時候，需要知道去哪里，使用哪種格式去讀寫HDFS文件，而這些信息就保存在這幾張表中。
SDS
該表保存文件存儲的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否壓縮等。
TBLS表中的SD_ID與該表關(guān)聯(lián)，可以獲取Hive表的存儲信息。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
SD_ID
存儲信息ID
1
CD_ID
字段信息ID
21，對應CDS表
INPUT_FORMAT
文件輸入格式
org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED
是否壓縮
0
IS_STOREDASSUBDIRECTORIES
是否以子目錄存儲
0
LOCATION
HDFS路徑
hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS
分桶數(shù)量
5
OUTPUT_FORMAT
文件輸出格式
org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID
序列化類ID
3，對應SERDES表
SD_PARAMS
該表存儲Hive存儲的屬性信息，在創(chuàng)建表時候使用
STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
SD_ID
存儲配置ID
1
PARAM_KEY
存儲屬性名
PARAM_VALUE
存儲屬性值
SERDES
該表存儲序列化使用的類信息
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
SERDE_ID
序列化類配置ID
1
NAME
序列化類別名
SLIB
序列化類
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
SERDE_PARAMS
該表存儲序列化的一些屬性、格式信息,比如：行、列分隔符
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
SERDE_ID
序列化類配置ID
1
PARAM_KEY
屬性名
field.delim
PARAM_VALUE
屬性值
,
13.5 Hive表字段相關(guān)的元數(shù)據(jù)表
主要涉及COLUMNS_V2
COLUMNS_V2
該表存儲表對應的字段信息。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
CD_ID
字段信息ID
1
COMMENT
字段注釋
COLUMN_NAME
字段名
pt
TYPE_NAME
字段類型
string
INTEGER_IDX
字段順序
2
13.6 Hive表分區(qū)相關(guān)的元數(shù)據(jù)表
主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
PARTITIONS
該表存儲表分區(qū)的基本信息。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
PART_ID
分區(qū)ID
1
CREATE_TIME
分區(qū)創(chuàng)建時間
LAST_ACCESS_TIME
最后一次訪問時間
PART_NAME
分區(qū)名
pt=2015-06-12
SD_ID
分區(qū)存儲ID
21
TBL_ID
表ID
2
PARTITION_KEYS
該表存儲分區(qū)的字段信息。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
TBL_ID
表ID
2
PKEY_COMMENT
分區(qū)字段說明
PKEY_NAME
分區(qū)字段名
pt
PKEY_TYPE
分區(qū)字段類型
string
INTEGER_IDX
分區(qū)字段順序
1
PARTITION_KEY_VALS
該表存儲分區(qū)字段值。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
PART_ID
分區(qū)ID
2
PART_KEY_VAL
分區(qū)字段值
2015-06-12
INTEGER_IDX
分區(qū)字段值順序
0
PARTITION_PARAMS
該表存儲分區(qū)的屬性信息。
元數(shù)據(jù)表字段
說明
示例數(shù)據(jù)
PART_ID
分區(qū)ID
2
PARAM_KEY
分區(qū)屬性名
numFiles、numRows
PARAM_VALUE
分區(qū)屬性值
15、502195
13.6 其他不常用的元數(shù)據(jù)表
DB_PRIVS
數(shù)據(jù)庫權(quán)限信息表。通過GRANT語句對數(shù)據(jù)庫授權(quán)后，將會在這里存儲。
IDXS
索引表，存儲Hive索引相關(guān)的元數(shù)據(jù)
INDEX_PARAMS
索引相關(guān)的屬性信息。
TAB_COL_STATS
表字段的統(tǒng)計信息。使用ANALYZE語句對表字段分析后記錄在這里。
TBL_COL_PRIVS
表字段的授權(quán)信息
PART_PRIVS
分區(qū)的授權(quán)信息
PART_COL_STATS
分區(qū)字段的統(tǒng)計信息。
PART_COL_PRIVS
分區(qū)字段的權(quán)限信息。
FUNCS
用戶注冊的函數(shù)信息
FUNC_RU
用戶注冊函數(shù)的資源信息
13.6 示例
建表語句：
CREATE TABLE lxw1234 (
cookieid STRING,
url STRING,
ua STRING,
ip STRING,
createtime STRING
)
COMMENT 'This is the page view table'
partitioned BY (day STRING,site STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
stored AS ORC;
建表執(zhí)行之后，元數(shù)據(jù)中以下表的數(shù)據(jù)會有所變化：
TBLS
生成了表lxw1234的基本信息
SELECT * FROM TBLS WHERE TBL_NAME = ‘lxw1234’;
元數(shù)據(jù)表字段
數(shù)據(jù)
TBL_ID
41509
CREATE_TIME
1436324659
DB_ID
11
LAST_ACCESS_TIME
0
OWNER
liuxiaowen
RETENTION
0
SD_ID
91740
TBL_NAME
lxw1234
TBL_TYPE
MANAGED_TABLE
VIEW_EXPANDED_TEXT
NULL
VIEW_ORIGINAL_TEXT
NULL
TABLE_PARAMS
select? *? from? TABLE_PARAMS? WHERE? TBL_ID=41509
TBL_ID
PARAM_KEY
PARAM_VALUE
41509
comment
This is the page view table
41509
transient_lastDdlTime
1436324659
SDS
SELECT * FROM SDS WHERE SD_ID = 91740
元數(shù)據(jù)表字段
數(shù)據(jù)
SD_ID
91740
CD_ID
41564
INPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED
0
IS_STOREDASSUBDIRECTORIES
0
LOCATION
hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234
NUM_BUCKETS
-1
OUTPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID
91740
SERDES
select * from SERDES WHERE SERDE_ID = 91740
元數(shù)據(jù)表字段
數(shù)據(jù)
SERDE_ID
91740
NAME
SLIB
org.apache.hadoop.hive.ql.io.orc.OrcSerde
SERDE_PARAMS
select * from? SERDE_PARAMS? WHERE? SERDE_ID=91740
SERDE_ID
PARAM_KEY
PARAM_VALUE
91740
field.delim
,
91740
serialization.format
,
COLUMNS_V2
select * from COLUMNS_V2 WHERE CD_ID=41564 ORDER BY INTEGER_IDX
CD_ID
COMMENT
COLUMN_NAME
TYPE_NAME
INTEGER_IDX
41564
cookieid
string
0
41564
url
string
1
41564
ua
string
2
41564
ip
string
3
41564
createtime
string
4
PARTITION_KEYS
select * from? PARTITION_KEYS? WHERE? TBL_ID=41509
TBL_ID
PKEY_COMMENT
PKEY_NAME
PKEY_TYPE
INTEGER_IDX
41509
day
string
0
41509
site
string
1
再插入數(shù)據(jù)：
INSERT OVERWRITE TABLE lxw1234 PARTITION (day ='2015-07-08',site ='lxw1234.com')
SELECT
'cookie1'AS cookieid,
'http://lxw1234.com'AS url,
'firefox'AS ua,
'127.0.0.1'AS ip,
'2015-07-08 11:00:01'AS createtime
FROM dual
limit 1;
插入數(shù)據(jù)執(zhí)行完之后，以下表的元數(shù)據(jù)發(fā)生變化：
PARTITIONS
select * from? `PARTITIONS`? WHERE? TBL_ID=41509
PART_ID
CREATE_TIME
LAST_ACCESS_TIME
PART_NAME
SD_ID
TBL_ID
54472
1436325812
0
day=2015-07-08/site=lxw1234.com
91746
41509
SDS
select *? from? SDS? WHERE? SD_ID=91746
注意：這里的存儲和表的存儲是不同的，因為每個分區(qū)也會有一個SD
元數(shù)據(jù)表字段
數(shù)據(jù)
SD_ID
91746
CD_ID
41564
INPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED
0
IS_STOREDASSUBDIRECTORIES
0
LOCATION
hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234/day=2015-07-08/site=lxw1234.com
NUM_BUCKETS
-1
OUTPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID
91746
PARTITION_KEY_VALS
select? *? from? PARTITION_KEY_VALS? where? PART_ID=54472
PART_ID
PART_KEY_VAL
INTEGER_IDX
54472
2015-07-08
0
54472
lxw1234.com
1
PARTITION_PARAMS
select * from PARTITION_PARAMS where PART_ID = 54472
PART_ID
PARAM_KEY
PARAM_VALUE
54472
COLUMN_STATS_ACCURATE
true
54472
numFiles
1
54472
numRows
1
54472
rawDataSize
408
54472
totalSize
703
54472
transient_lastDdlTime
1436325813
在分區(qū)的屬性里面，生成的該分區(qū)的統(tǒng)計信息(Statistics)。
關(guān)于Hive的統(tǒng)計信息(Statistics)，后面將會介紹。
總結(jié)
以上是生活随笔為你收集整理的hive 自定义元数据表_[一起学Hive]之十四-Hive的元数据表结构详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 我叫mt4法师天赋怎么加
- 下一篇： shellwhile比较_[Shell]