Hive的元数据

本是古典何须时尚 2022-05-24 11:23 201阅读 0赞

Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。 由于Hive的元数据需要不断的更新、修改，而HDFS系统中的文件是多读少改的，这显然不能将Hive的元数据存储在HDFS中。目前Hive将元数据存储在数据库中，如Mysql、Derby中。我们可以通过以下的配置来修改Hive元数据的存储方式

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql: //localhost:3306/hive\_hdp?characterEncoding=UTF-8

&createDatabaseIfNotExist= **true** </value>

<description>JDBC connect string  **for**  a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver  **class**  name  **for**  a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

<description>password to use against metastore database</description>

</property>

当然，你还需要将相应数据库的启动复制到$\{HIVE\_HOME\}/lib目录中，这样才能将元数据存储在对应的数据库中。

发表评论取消回复

表情：

评论列表（有 0 条评论，201人围观）

还没有评论，来说两句吧...

相关阅读

相关访问 Hive 的元数据存储（MetaStore）的API方式

访问 Hive 的元数据存储（MetaStore）的API方式访问 Hive 的元数据存储（MetaStore）是通过 Hive 的 Thrift API 来实现的。Thr

我会带着你远行/ 2024年03月22日 23:07/ 0 赞/ 106 阅读

相关 Flink使用Hive Metastore管理元数据

Flink sql连接kafka消费数据时，通常都要重复写create table，这就很让人烦恼。如果可以将这些DDL语句存储起来，下次直接使用就完美了。那Flink1.10

浅浅的花香味﹌/ 2023年05月22日 10:24/ 0 赞/ 8 阅读

相关 Hive元数据的读取的两种方式

1.直连模式使用JDBC的方式直接去mysql中读取元数据，称为直连模式需要的条件：连接Mysql的驱动，已经放入到$HIVE\_HOME/lib下

谁借莪１个温暖的怀抱￠/ 2023年01月07日 12:22/ 0 赞/ 127 阅读

相关 mysql元数据解析hive表结构

1.mysql表中元数据 dbs表 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_a

缺乏、安全感/ 2022年11月17日 14:32/ 0 赞/ 196 阅读

相关 hive安装测试及Hive 元数据的三种存储方式

一 hive安装测试 1、下载解压 tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz）将解压后的hive-0

布满荆棘的人生/ 2022年08月26日 08:37/ 0 赞/ 217 阅读

相关从mysql层面删除hive元数据

由于之前配置了hive，hdfs 被格式化了，导致现在hive上原来的元数据没有清理掉。由于hive 上所有元数据均保存在mysql中，所以，可以从mysql上删除表相

痛定思痛。/ 2022年06月06日 10:12/ 0 赞/ 259 阅读

相关 Hive的元数据

Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。由于Hive的元数据需要不断的更新、修改，而HDFS系统中的文件是多读少

本是古典何须时尚/ 2022年05月24日 11:23/ 0 赞/ 202 阅读

相关 Hive元数据在MySQL中的存储结构

元数据表有以下： | BUCKETING\_COLS | | CDS | | COLUMNS\_V2

拼搏现实的明天。/ 2022年04月25日 05:34/ 0 赞/ 506 阅读

相关 Hive metastore（元数据）配置到 MySql

驱动拷贝解压驱动包在`/opt/software/mysql-libs` 目录下解压 `mysql-connector-java-5.1.27.tar.gz`

以你之姓@/ 2022年02月12日 09:41/ 0 赞/ 256 阅读

相关 CDH CM元数据梳理，包括HIVE

一、Schema SCM 表结构梳理（对应生产BAOFOO\_SCM） <table> <tbody> <tr> <td> <p>AUDITS

ゞ浴缸里的玫瑰/ 2021年12月15日 13:01/ 0 赞/ 340 阅读