Hive的元数据表结构详解

爱被打了一巴掌 2022-06-07 03:11 299阅读 0赞

1 存储Hive版本的元数据表（VERSION）  
该表比较简单，但很重要。  
  
  
VER\_ID SCHEMA\_VERSION VERSION\_COMMENT  
ID主键 Hive版本  版本说明  
1 0.13.0  Set by MetaStore  
如果该表出现问题，根本进入不了Hive-Cli。  
  
  
比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。  
  
  
2 Hive数据库相关的元数据表（DBS、DATABASE\_PARAMS）  
DBS  
该表存储Hive中所有数据库的基本信息，字段如下：  
  
  
元数据表字段 说明  示例数据  
DB\_ID 数据库ID  2  
DESC 数据库描述  测试库  
DB\_LOCATION\_URI 数据库HDFS路径 hdfs://namenode/user/hive/warehouse/lxw1234.db  
NAME 数据库名  lxw1234  
OWNER\_NAME 数据库所有者用户名 lxw1234  
OWNER\_TYPE 所有者角色 USER  
   
  
  
DATABASE\_PARAMS  
该表存储数据库的相关参数，在CREATE DATABASE时候用  
  
  
WITH DBPROPERTIES (property\_name=property\_value, …)指定的参数。  
  
  
元数据表字段 说明  示例数据  
DB\_ID 数据库ID  2  
PARAM\_KEY 参数名  createdby  
PARAM\_VALUE 参数值 lxw1234  
DBS和DATABASE\_PARAMS这两张表通过DB\_ID字段关联。  
  
  
  
3 Hive表和视图相关的元数据表  
主要有TBLS、TABLE\_PARAMS、TBL\_PRIVS，这三张表通过TBL\_ID关联。  
  
  
TBLS  
该表中存储Hive表、视图、索引表的基本信息。  
  
  
元数据表字段 说明  示例数据  
TBL\_ID 表ID  1  
CREATE\_TIME 创建时间 1436317071  
DB\_ID 数据库ID  2，对应DBS中的DB\_ID  
LAST\_ACCESS\_TIME 上次访问时间 1436317071  
OWNER 所有者  liuxiaowen  
RETENTION 保留字段 0  
SD\_ID 序列化配置信息  86，对应SDS表中的SD\_ID  
TBL\_NAME 表名  lxw1234  
TBL\_TYPE 表类型  MANAGED\_TABLE、EXTERNAL\_TABLE、INDEX\_TABLE、VIRTUAL\_VIEW  
VIEW\_EXPANDED\_TEXT 视图的详细HQL语句 select \`lxw1234\`.\`pt\`, \`lxw1234\`.\`pcid\` from \`liuxiaowen\`.\`lxw1234\`  
VIEW\_ORIGINAL\_TEXT 视图的原始HQL语句 select \* from lxw1234  
   
  
  
TABLE\_PARAMS  
该表存储表/视图的属性信息。  
  
  
元数据表字段 说明  示例数据  
TBL\_ID 表ID  1  
PARAM\_KEY 属性名  totalSize、numRows、EXTERNAL  
PARAM\_VALUE 属性值 970107336、21231028、TRUE  
   
  
  
TBL\_PRIVS  
该表存储表/视图的授权信息  
  
  
元数据表字段 说明  示例数据  
TBL\_GRANT\_ID 授权ID 1  
CREATE\_TIME 授权时间 1436320455  
GRANT\_OPTION  0  
GRANTOR 授权执行用户 liuxiaowen  
GRANTOR\_TYPE 授权者类型 USER  
PRINCIPAL\_NAME 被授权用户 username  
PRINCIPAL\_TYPE 被授权用户类型 USER  
TBL\_PRIV 权限  Select、Alter  
TBL\_ID 表ID  22，对应TBLS表中的TBL\_ID  
   
  
  
4 Hive文件存储信息相关的元数据表  
主要涉及SDS、SD\_PARAMS、SERDES、SERDE\_PARAMS  
  
  
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。  
  
  
SDS  
该表保存文件存储的基本信息，如INPUT\_FORMAT、OUTPUT\_FORMAT、是否压缩等。  
  
  
TBLS表中的SD\_ID与该表关联，可以获取Hive表的存储信息。  
  
  
元数据表字段 说明  示例数据  
SD\_ID 存储信息ID  1  
CD\_ID 字段信息ID  21，对应CDS表  
INPUT\_FORMAT 文件输入格式 org.apache.hadoop.mapred.TextInputFormat  
IS\_COMPRESSED 是否压缩 0  
IS\_STOREDASSUBDIRECTORIES 是否以子目录存储 0  
LOCATION HDFS路径 hdfs://namenode/hivedata/warehouse/ut.db/t\_lxw  
NUM\_BUCKETS 分桶数量 5  
OUTPUT\_FORMAT 文件输出格式 org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat  
SERDE\_ID 序列化类ID 3，对应SERDES表  
   
  
  
SD\_PARAMS  
该表存储Hive存储的属性信息，在创建表时候使用  
  
  
STORED BY ‘storage.handler.class.name’ \[WITH SERDEPROPERTIES (…)指定。  
  
  
元数据表字段 说明  示例数据  
SD\_ID 存储配置ID  1  
PARAM\_KEY 存储属性名    
PARAM\_VALUE 存储属性值    
SERDES  
该表存储序列化使用的类信息  
  
  
元数据表字段 说明  示例数据  
SERDE\_ID 序列化类配置ID 1  
NAME 序列化类别名     
SLIB 序列化类  org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe  
   
  
  
SERDE\_PARAMS  
该表存储序列化的一些属性、格式信息,比如：行、列分隔符  
  
  
元数据表字段 说明  示例数据  
SERDE\_ID 序列化类配置ID 1  
PARAM\_KEY 属性名  field.delim  
PARAM\_VALUE 属性值 ,  
   
  
  
5 Hive表字段相关的元数据表  
主要涉及COLUMNS\_V2  
  
  
COLUMNS\_V2  
该表存储表对应的字段信息。  
  
  
元数据表字段 说明  示例数据  
CD\_ID 字段信息ID  1  
COMMENT 字段注释     
COLUMN\_NAME 字段名 pt  
TYPE\_NAME 字段类型 string  
INTEGER\_IDX 字段顺序 2  
   
  
  
6 Hive表分区相关的元数据表  
主要涉及PARTITIONS、PARTITION\_KEYS、PARTITION\_KEY\_VALS、PARTITION\_PARAMS  
  
  
PARTITIONS  
该表存储表分区的基本信息。  
  
  
元数据表字段 说明  示例数据  
PART\_ID 分区ID  1  
CREATE\_TIME 分区创建时间    
LAST\_ACCESS\_TIME 最后一次访问时间    
PART\_NAME 分区名  pt=2015-06-12  
SD\_ID 分区存储ID  21  
TBL\_ID 表ID  2  
PARTITION\_KEYS  
该表存储分区的字段信息。  
  
  
元数据表字段 说明  示例数据  
TBL\_ID 表ID  2  
PKEY\_COMMENT 分区字段说明    
PKEY\_NAME 分区字段名 pt  
PKEY\_TYPE 分区字段类型 string  
INTEGER\_IDX 分区字段顺序 1  
   
  
  
PARTITION\_KEY\_VALS  
该表存储分区字段值。  
  
  
元数据表字段 说明  示例数据  
PART\_ID 分区ID  2  
PART\_KEY\_VAL 分区字段值 2015-06-12  
INTEGER\_IDX 分区字段值顺序 0  
   
  
  
PARTITION\_PARAMS  
该表存储分区的属性信息。  
  
  
元数据表字段 说明  示例数据  
PART\_ID 分区ID  2  
PARAM\_KEY 分区属性名 numFiles、numRows  
PARAM\_VALUE 分区属性值 15、502195  
   
  
  
6 其他不常用的元数据表  
DB\_PRIVS  
数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。  
  
  
IDXS  
索引表，存储Hive索引相关的元数据  
  
  
INDEX\_PARAMS  
索引相关的属性信息。  
  
  
TAB\_COL\_STATS  
表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。  
  
  
TBL\_COL\_PRIVS  
表字段的授权信息  
  
  
PART\_PRIVS  
分区的授权信息  
  
  
PART\_COL\_STATS  
分区字段的统计信息。  
  
  
PART\_COL\_PRIVS  
分区字段的权限信息。  
  
  
FUNCS  
用户注册的函数信息  
  
  
FUNC\_RU  
用户注册函数的资源信息  
  
  
   
6 示例  
建表语句：  
  
  
CREATE TABLE lxw1234 (  
cookieid STRING,  
url STRING,  
ua STRING,  
ip STRING,  
createtime STRING  
)  
COMMENT 'This is the page view table'  
partitioned BY (day STRING,site STRING)  
ROW FORMAT DELIMITED  
FIELDS TERMINATED BY ','  
stored AS ORC;  
建表执行之后，元数据中以下表的数据会有所变化：  
  
  
TBLS  
生成了表lxw1234的基本信息  
  
  
SELECT \* FROM TBLS WHERE TBL\_NAME = ‘lxw1234’;  
  
  
元数据表字段 数据  
TBL\_ID 41509  
CREATE\_TIME 1436324659  
DB\_ID 11  
LAST\_ACCESS\_TIME 0  
OWNER liuxiaowen  
RETENTION 0  
SD\_ID 91740  
TBL\_NAME lxw1234  
TBL\_TYPE MANAGED\_TABLE  
VIEW\_EXPANDED\_TEXT NULL  
VIEW\_ORIGINAL\_TEXT NULL  
   
  
  
TABLE\_PARAMS  
select  \*  from  TABLE\_PARAMS  WHERE  TBL\_ID=41509  
  
  
TBL\_ID PARAM\_KEY PARAM\_VALUE  
41509 comment  This is the page view table  
41509 transient\_lastDdlTime 1436324659  
   
  
  
SDS  
SELECT \* FROM SDS WHERE SD\_ID = 91740  
  
  
元数据表字段 数据  
SD\_ID 91740  
CD\_ID 41564  
INPUT\_FORMAT org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
IS\_COMPRESSED 0  
IS\_STOREDASSUBDIRECTORIES 0  
LOCATION hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234  
NUM\_BUCKETS \-1  
OUTPUT\_FORMAT org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat  
SERDE\_ID 91740  
SERDES  
select \* from SERDES WHERE SERDE\_ID = 91740  
  
  
元数据表字段 数据  
SERDE\_ID 91740  
NAME    
SLIB org.apache.hadoop.hive.ql.io.orc.OrcSerde  
   
  
  
SERDE\_PARAMS  
select \* from  SERDE\_PARAMS  WHERE  SERDE\_ID=91740  
  
  
  
SERDE\_ID PARAM\_KEY PARAM\_VALUE  
91740 field.delim ,  
91740 serialization.format ,  
   
  
  
COLUMNS\_V2  
select \* from COLUMNS\_V2 WHERE CD\_ID=41564 ORDER BY INTEGER\_IDX  
  
  
CD\_ID COMMENT  COLUMN\_NAME TYPE\_NAME INTEGER\_IDX  
41564  cookieid string 0  
41564  url string 1  
41564  ua string 2  
41564  ip string 3  
41564  createtime string 4  
   
  
  
PARTITION\_KEYS  
select \* from  PARTITION\_KEYS  WHERE  TBL\_ID=41509  
  
  
TBL\_ID PKEY\_COMMENT PKEY\_NAME PKEY\_TYPE INTEGER\_IDX  
41509  day string 0  
41509  site string 1  
再插入数据：  
  
  
INSERT OVERWRITE TABLE lxw1234 PARTITION (day = '2015-07-08', site = 'lxw1234.com')  
SELECT  
'cookie1' AS cookieid,  
'http://lxw1234.com' AS url,  
'firefox' AS ua,  
'127.0.0.1' AS ip,  
'2015-07-08 11:00:01' AS createtime  
FROM dual  
limit 1;  
   
插入数据执行完之后，以下表的元数据发生变化：  
  
  
  
PARTITIONS  
select \* from  \`PARTITIONS\`  WHERE  TBL\_ID=41509  
  
  
PART\_ID CREATE\_TIME LAST\_ACCESS\_TIME PART\_NAME SD\_ID TBL\_ID  
54472 1436325812 0 day=2015-07-08/site=lxw1234.com 91746 41509  
SDS  
select \*  from  SDS  WHERE  SD\_ID=91746  
  
  
注意：这里的存储和表的存储是不同的，因为每个分区也会有一个SD  
  
  
元数据表字段 数据  
SD\_ID 91746  
CD\_ID 41564  
INPUT\_FORMAT org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
IS\_COMPRESSED 0  
IS\_STOREDASSUBDIRECTORIES 0  
LOCATION hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234/day=2015-07-08/site=lxw1234.com  
NUM\_BUCKETS \-1  
OUTPUT\_FORMAT org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat  
SERDE\_ID 91746  
   
  
  
PARTITION\_KEY\_VALS  
select  \*  from  PARTITION\_KEY\_VALS  where  PART\_ID=54472  
  
  
PART\_ID PART\_KEY\_VAL INTEGER\_IDX  
54472 2015-07-08 0  
54472 lxw1234.com 1  
   
  
  
PARTITION\_PARAMS  
select \* from PARTITION\_PARAMS where PART\_ID = 54472  
  
  
PART\_ID PARAM\_KEY PARAM\_VALUE  
54472 COLUMN\_STATS\_ACCURATE true  
54472 numFiles 1  
54472 numRows  1  
54472 rawDataSize 408  
54472 totalSize 703  
54472 transient\_lastDdlTime 1436325813  
   
  
  
在分区的属性里面，生成的该分区的统计信息（Statistics）。