hadoop元数据mysql中表字段_hive mysql元数据表说明
2019獨角獸企業重金招聘Python工程師標準>>>
數據庫相關的表
DBS
該表存儲Hive中所有數據庫的基本信息，字段如下：
元數據表字段
說明
示例數據
DB_ID
數據庫ID
2
DESC
數據庫描述
測試庫
DB_LOCATION_URI
數據庫HDFS路徑
hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME
數據庫名
lxw1234
OWNER_NAME
數據庫所有者用戶名
lxw1234
OWNER_TYPE
所有者角色
USER
DATABASE_PARAMS
該表存儲數據庫的相關參數，在CREATE DATABASE時候用
WITH DBPROPERTIES (property_name=property_value, …)指定的參數。
元數據表字段
說明
示例數據
DB_ID
數據庫ID
2
PARAM_KEY
參數名
createdby
PARAM_VALUE
參數值
lxw1234
DBS和DATABASE_PARAMS這兩張表通過DB_ID字段關聯。
表相關的表
TBLS
該表中存儲Hive表、視圖、索引表的基本信息。
元數據表字段
說明
示例數據
TBL_ID
表ID
1
CREATE_TIME
創建時間
1436317071
DB_ID
數據庫ID
2，對應DBS中的DB_ID
LAST_ACCESS_TIME
上次訪問時間
1436317071
OWNER
所有者
liuxiaowen
RETENTION
保留字段
0
SD_ID
序列化配置信息
86，對應SDS表中的SD_ID
TBL_NAME
表名
lxw1234
TBL_TYPE
表類型
MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT
視圖的詳細HQL語句
select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT
視圖的原始HQL語句
select * from lxw1234
TABLE_PARAMS
該表存儲表/視圖的屬性信息。
元數據表字段
說明
示例數據
TBL_ID
表ID
1
PARAM_KEY
屬性名
totalSize、numRows、EXTERNAL
PARAM_VALUE
屬性值
970107336、21231028、TRUE
TBL_PRIVS
該表存儲表/視圖的授權信息
元數據表字段
說明
示例數據
TBL_GRANT_ID
授權ID
1
CREATE_TIME
授權時間
1436320455
GRANT_OPTION
0
GRANTOR
授權執行用戶
liuxiaowen
GRANTOR_TYPE
授權者類型
USER
PRINCIPAL_NAME
被授權用戶
username
PRINCIPAL_TYPE
被授權用戶類型
USER
TBL_PRIV
權限
Select、Alter
TBL_ID
表ID
22，對應TBLS表中的TBL_ID
存儲相關的元數據表
SDS
該表保存文件存儲的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否壓縮等。
TBLS表中的SD_ID與該表關聯，可以獲取Hive表的存儲信息。
元數據表字段
說明
示例數據
SD_ID
存儲信息ID
1
CD_ID
字段信息ID
21，對應CDS表
INPUT_FORMAT
文件輸入格式
org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED
是否壓縮
0
IS_STOREDASSUBDIRECTORIES
是否以子目錄存儲
0
LOCATION
HDFS路徑
hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS
分桶數量
5
OUTPUT_FORMAT
文件輸出格式
org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID
序列化類ID
3，對應SERDES表
SD_PARAMS
該表存儲Hive存儲的屬性信息，在創建表時候使用
STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
元數據表字段
說明
示例數據
SD_ID
存儲配置ID
1
PARAM_KEY
存儲屬性名
PARAM_VALUE
存儲屬性值
SERDES
該表存儲序列化使用的類信息
元數據表字段
說明
示例數據
SERDE_ID
序列化類配置ID
1
NAME
序列化類別名
SLIB
序列化類
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
SERDE_PARAMS
該表存儲序列化的一些屬性、格式信息,比如：行、列分隔符
元數據表字段
說明
示例數據
SERDE_ID
序列化類配置ID
1
PARAM_KEY
屬性名
field.delim
PARAM_VALUE
屬性值
,
表字段相關的元數據表
PARTITIONS
該表存儲表分區的基本信息。
元數據表字段
說明
示例數據
PART_ID
分區ID
1
CREATE_TIME
分區創建時間
LAST_ACCESS_TIME
最后一次訪問時間
PART_NAME
分區名
pt=2015-06-12
SD_ID
分區存儲ID
21
TBL_ID
表ID
2
PARTITION_KEYS
該表存儲分區的字段信息。
元數據表字段
說明
示例數據
TBL_ID
表ID
2
PKEY_COMMENT
分區字段說明
PKEY_NAME
分區字段名
pt
PKEY_TYPE
分區字段類型
string
INTEGER_IDX
分區字段順序
1
PARTITION_KEY_VALS
該表存儲分區字段值。
元數據表字段
說明
示例數據
PART_ID
分區ID
2
PART_KEY_VAL
分區字段值
2015-06-12
INTEGER_IDX
分區字段值順序
0
PARTITION_PARAMS
該表存儲分區的屬性信息。
元數據表字段
說明
示例數據
PART_ID
分區ID
2
PARAM_KEY
分區屬性名
numFiles、numRows
PARAM_VALUE
分區屬性值
15、502195
示例
建表語句：
CREATE TABLE lxw1234 (
cookieid STRING,
url STRING,
ua STRING,
ip STRING,
createtime STRING
)
COMMENT 'This is the page view table'
partitioned BY (day STRING,site STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
stored AS ORC;
建表執行之后，元數據中以下表的數據會有所變化：
TBLS
生成了表lxw1234的基本信息
SELECT * FROM TBLS WHERE TBL_NAME = ‘lxw1234’;
元數據表字段
數據
TBL_ID
41509
CREATE_TIME
1436324659
DB_ID
11
LAST_ACCESS_TIME
0
OWNER
liuxiaowen
RETENTION
0
SD_ID
91740
TBL_NAME
lxw1234
TBL_TYPE
MANAGED_TABLE
VIEW_EXPANDED_TEXT
NULL
VIEW_ORIGINAL_TEXT
NULL
TABLE_PARAMS
select? *? from? TABLE_PARAMS? WHERE? TBL_ID=41509
TBL_ID
PARAM_KEY
PARAM_VALUE
41509
comment
This is the page view table
41509
transient_lastDdlTime
1436324659
SDS
SELECT?*?FROM?SDS?WHERE?SD_ID =?91740
元數據表字段
數據
SD_ID
91740
CD_ID
41564
INPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED
0
IS_STOREDASSUBDIRECTORIES
0
LOCATION
hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234
NUM_BUCKETS
-1
OUTPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID
91740
SERDES
select?*?from?SERDES?WHERE?SERDE_ID =?91740
元數據表字段
數據
SERDE_ID
91740
NAME
SLIB
org.apache.hadoop.hive.ql.io.orc.OrcSerde
SERDE_PARAMS
select * from? SERDE_PARAMS? WHERE? SERDE_ID=91740
SERDE_ID
PARAM_KEY
PARAM_VALUE
91740
field.delim
,
91740
serialization.format
,
COLUMNS_V2
select * from COLUMNS_V2 WHERE CD_ID=41564 ORDER BY INTEGER_IDX
CD_ID
COMMENT
COLUMN_NAME
TYPE_NAME
INTEGER_IDX
41564
cookieid
string
0
41564
url
string
1
41564
ua
string
2
41564
ip
string
3
41564
createtime
string
4
PARTITION_KEYS
select * from? PARTITION_KEYS? WHERE? TBL_ID=41509
TBL_ID
PKEY_COMMENT
PKEY_NAME
PKEY_TYPE
INTEGER_IDX
41509
day
string
0
41509
site
string
1
再插入數據：
INSERT OVERWRITE TABLE lxw1234 PARTITION?(day?=?'2015-07-08',?site?=?'lxw1234.com')
SELECT
'cookie1'?AS cookieid,
'http://lxw1234.com'?AS url,
'firefox'?AS ua,
'127.0.0.1'?AS ip,
'2015-07-08 11:00:01'?AS createtime
FROM dual
limit?1;
插入數據執行完之后，以下表的元數據發生變化：
PARTITIONS
select * from? `PARTITIONS`? WHERE? TBL_ID=41509
PART_ID
CREATE_TIME
LAST_ACCESS_TIME
PART_NAME
SD_ID
TBL_ID
54472
1436325812
0
day=2015-07-08/site=lxw1234.com
91746
41509
SDS
select *? from? SDS? WHERE? SD_ID=91746
注意：這里的存儲和表的存儲是不同的，因為每個分區也會有一個SD
元數據表字段
數據
SD_ID
91746
CD_ID
41564
INPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED
0
IS_STOREDASSUBDIRECTORIES
0
LOCATION
hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234/day=2015-07-08/site=lxw1234.com
NUM_BUCKETS
-1
OUTPUT_FORMAT
org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID
91746
PARTITION_KEY_VALS
select? *? from? PARTITION_KEY_VALS? where? PART_ID=54472
PART_ID
PART_KEY_VAL
INTEGER_IDX
54472
2015-07-08
0
54472
lxw1234.com
1
PARTITION_PARAMS
select * from PARTITION_PARAMS where PART_ID =?54472
PART_ID
PARAM_KEY
PARAM_VALUE
54472
COLUMN_STATS_ACCURATE
true
54472
numFiles
1
54472
numRows
1
54472
rawDataSize
408
54472
totalSize
703
54472
transient_lastDdlTime
1436325813
在分區的屬性里面，生成的該分區的統計信息(Statistics)。
總結
以上是生活随笔為你收集整理的hadoop元数据mysql中表字段_hive mysql元数据表说明的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 2021-03-26，拉胯的三条命令，H
- 下一篇： 13到21年蓝桥杯真题及解析