hive安装测试及Hive 元数据的三种存储方式

布满荆棘的人生 2022-08-26 08:37 216阅读 0赞

一  **hive安装测试**

1、下载解压

tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz）

将解压后的hive-0.8.1文件放在系统的/home/hadooptest/中。

2、环境变量配置

在.bash\_profile中添加：

export HIVE\_HOME=/home/hadooptest/hive-0.8.1

export PATH=$HIVE\_HOME/bin:$PATH

另外环境变量中需要有JAVA\_HOME，HADOOP\_HOME

3、 配置文件拷贝

复制conf目录下的.template生成对应的.xml或.properties文件：  
     cp hive-default.xml.template hive-site.xml   
     cp hive-log4j.properties.template hive-log4j.properties

4、 修改配置文件

将org.apache.hadoop.metrics.jvm.EventCounter改成：org.apache.hadoop.log.metrics.EventCounter , 这样将解决异常：

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated.    
     Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

5、启动测试

$  $HIVE\_HOME/bin/hive

hive> show tables;

Time taken: 3.496 seconds

执行成功。

二、 **hive元数据的三种存储方式**

Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库，其中1、2均属于本地存储，3属于远端存储，对于使用外部数据库存储元数据的情况，我们在此将会以mysql举例说明。

1、Single User Mode：

默认安装hive，hive是使用derby内存数据库保存hive的元数据，这样是不可以并发调用hive的，

这种模式时hive默认的存储模式，。

使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore\_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库，配置文件中的“hive.metastore.warehouse.dir”指出了仓库的存储位置（注意对于hive来说，数据是存储在hdfs上的，元数据存储在数据库），默认属性值为/user/hive/warehouse，假如利用hive CLI创建表records,则在hdfs上会看到如下目录：/user/hive/warehouse/records/ 此目录下存放数据。命令：load data local inpath 'input/test.txt' overwrite into table records; 这一命令会告诉hive把指定的本地文件放到它的仓库位置，此操作只是一个文件的移动操作，去掉local的load命令为把hdfs中的文件进行移动。

2、Multi User Mode：

通过网络连接到一个数据库中，是最经常使用到的模式。假设使用本机mysql服务器存储元数据。这种存储方式需要在本地运行一个mysql服务器，并作如下配置（需要将mysql的jar包拷贝到$HIVE\_HOME/lib目录下）。

（1）mysql配置

这种情况需要在mysql中配置对应的hive用户，使用以下命令创建hadoop用户并授予权限

create user 'hadoop'@'%' identified by 'hadoop';

grant all privileges on \*.\* to 'hadoop'@'%' with grant option；

通过以下命令可以查看mysql的所有用户情况

SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;

（2）需要在hive\_site.xml对应的配置进行修改，其中hive\_remote是数据仓库名

`<` `property` `>`

`  ` `<` `name` `>hive.metastore.warehouse.dir</` `name` `>`

`  ` `<` `value` `>/user/hive_remote/warehouse</` `value` `>`