hive简介以及安装配置

蔚落 2022-08-06 11:09 165阅读 0赞

## Hive简介 ##

1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。

本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。

hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。

这套映射工具称之为metastore，一般存放在derby、mysql中。

1.2 hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。

(修改hive的位置：进入hive-site.xml找到name=hive.metastore.warehouse.dir修改value值即可)

## hive的安装 ##

(1)解压缩、重命名、设置环境变量

(2)在目录$HIVE\_HOME/conf/下，执行命令mvhive-default.xml.template  hive-site.xml重命名

在目录$HIVE\_HOME/conf/下，执行命令mvhive-env.sh.template  hive-env.sh重命名

(3)修改hadoop的配置文件hadoop-env.sh，修改内容如下：

export HADOOP\_CLASSPATH=.:$CLASSPATH:$HADOOP\_CLASSPATH:$HADOOP\_HOME/bin

(4)在目录$HIVE\_HOME/bin下面，修改文件hive-config.sh，增加以下内容：

export JAVA\_HOME=/usr/local/jdk

export HIVE\_HOME=/usr/local/hive

export HADOOP\_HOME=/usr/local/hadoop

## 安装mysql ##

(1)删除linux上已经安装的mysql相关库信息。rpm  -e xxxxxxx   --nodeps

执行命令rpm -qa|grep -i mysql 检查是否删除干净

(2)执行命令 rpm-i   mysql-server-\*\*\*\*\*\*\*\*  安装mysql服务端

(3)启动mysql 服务端，执行命令  mysqld\_safe &

(4)执行命令 rpm-i   mysql-client-\*\*\*\*\*\*\*\*  安装mysql客户端

(5)执行命令mysql\_secure\_installation设置root用户密码

##  使用mysql作为hive的metastore ##

(1)把mysql的jdbc驱动放置到hive的lib目录下

(2)修改hive-site.xml文件，修改内容如下：

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>admin</value>

</property>

## 实例 ##

### 内部表 ###

CREATE TABLE t1(id int);

LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1;

（注：LOCAL表示从Linux的磁盘文件中加载，去掉LOCAL则表示从hdfs中加载）

CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDSTERMINATED BY '\\t';

### 分区表 ###

CREATE TABLE t3(id int) PARTITIONED BY (day int);

LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1 PARTITION (day=22);

### 桶表 ###

create table t4(id int) clustered by(id) into 4 buckets;

sethive.enforce.bucketing = true;

insert into table t4 select id from t3;

###  外部表 ###

create external table t5(id int) location '/external';

发表评论取消回复

表情：

评论列表（有 0 条评论，165人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive的安装以及配置

1、准备先启动hadoop或hadoop-ha 将hive-1.1.0-cdh5.14.2.tar.gz解压至目标目录，并改名为hive110 修改hive11

阳光穿透心脏的1/2处/ 2022年12月02日 01:18/ 0 赞/ 171 阅读

相关 java简介以及环境安装

java2标准版， JavaSE，桌面程序，控制台开发 java2标准版， JavaME，嵌入式开发，手机，小家电 java2标准版，JavaEE，E企业级开发，服务器，W

悠悠/ 2022年10月29日 11:27/ 0 赞/ 136 阅读

相关 Hive-入门、安装以及基本使用

Hive基本概念 Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件

梦里梦外;/ 2022年09月05日 14:49/ 0 赞/ 205 阅读

相关 Hive简介

Hive是构建在Hadoop HDFS上的一个数据仓库，本质就是一个数据库 Hadoop和hive都是基于Linux操作系统构建的 Hive可以用来进行数据

短命女/ 2022年08月08日 16:37/ 0 赞/ 133 阅读

相关 hive简介以及安装配置

Hive简介 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。本质上讲，hive是一个SQL解析

蔚落/ 2022年08月06日 11:09/ 0 赞/ 166 阅读

相关 Tomcat简介、安装以及启动

在工作中，经常使用tomcat，但是从来没有做过深入的总结。从这篇博文开始，我们对tomcat进行一个深入的学习，先是基本使用学习，之后我们再看一看tomcat的

ゝ一纸荒年。/ 2022年08月04日 13:44/ 0 赞/ 109 阅读

相关 Hadoop&hive安装配置

下载 Hadoop下载地址：[http://labs.renren.com/apache-mirror/hadoop/common/][http_l

短命女/ 2022年05月27日 08:53/ 0 赞/ 244 阅读

相关 Hive简介

Hive支持HSQL，是一种类SQL。Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式，也没有为数据

骑猪看日落/ 2022年05月24日 11:23/ 0 赞/ 193 阅读

相关 Linux简介以及Linux安装

一、 Linux简介 Windows的不足： 1. Windows是需要花钱去购买 2. 系统长时间运行，安装软件多了，系统越来越慢，越来越不稳定。 3. 病

绝地灬酷狼/ 2022年02月13日 16:19/ 0 赞/ 216 阅读

相关 Hive安装与配置

下面来分享并记录HIIVE的安装与配置： 1、下载安装包 wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/

Myth丶恋晨/ 2021年09月23日 15:16/ 0 赞/ 409 阅读