Hive个人心得笔记之安装

╰+攻爆jí腚メ 2021-12-14 08:47 587阅读 0赞

#                               Hive个人心得笔记之安装 #

**目录**

Hive个人心得笔记之安装

一.Hive安装

二.Mysql安装

一.卸载删除Percona和Mysql相关依赖

二.执行命令全部卸载

三.下载安装即可

四.下载完成

五.安装客户端，服务端

六.新增mysql用户组，并创建mysql用户

七.修改my.cnf,默认在/usr/my.cnf，

八.将mysqld加入系统服务，并随机启动

九.启动Mysql

十.查看初始生成的密码

十一.修改初始密码

十二.进入mysql数据库

十三.进入conf目录下，编辑新的配置文件，

十四.将mysql驱动包上传到hive安装目录的lib目录下

十五.进入到mysql数据库，进行权限分配

十六.进入mysql数据库，

十七.启动hive客户端

十八.关联Hive查询数据库

十九.通过navicat来连接数据库

二十.通过DBS 、TBLS、COLUMNS\_V2、SDS这几张表来查看元数据信息

1.DBS 存放的数据库的元数据信息

2.TBLS存放的tables表信息

3.COLUMNS表存放的是列字段信息

4.SDS+表存放的HDFS里的位置信息

四.元数据

一、概述

二、derby存在的问题

五、常见问题

--------------------

# 一.Hive安装 #

1.  安装JDK （已安装）
2.  安装Hadoop （已安装）
3.  配置JDK和Hadoop的环境变量 （已配置）
4.  下载Hive安装包 （已下载） wget hive
5.  解压安装hive （已解压） tar -xvf xxxx
6.  启动Hadoop的HDFS和Yarn   （已启动）  start-all.sh
7.  进入到bin目录，启动Hive：sh hive  （或者执行：./hive）
8.  hive安装过于简单，解压 无需配置 运行即可

# 二.Mysql安装 #

## **一.卸载删除Percona和Mysql相关依赖** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][]

[root@liuyong software]# rpm -ev --nodeps Percona-Server-shared-56-5.6.24-rel72.2.el6.x86_64
    [root@liuyong software]# rpm -ev --nodeps Percona-Server-56-debuginfo-5.6.24-rel72.2.el6.x86_64
    [root@liuyong software]# rpm -ev --nodeps Percona-Server-client-56-5.6.24-rel72.2.el6.x86_64
    [root@liuyong software]# rpm -ev --nodeps Percona-Server-server-56-5.6.24-rel72.2.el6.x86_64
    [root@liuyong software]# rpm -ev --nodeps mysql-libs-5.1.73-8.el6_8.x86_64
    warning: /etc/my.cnf saved as /etc/my.cnf.rpmsave
    [root@liuyong software]# rpm -ev --nodeps tcl-mysqltcl-3.052-1.el6.x86_64
    [root@liuyong software]# rpm -qa | grep Percona
    [root@liuyong software]# rpm -qa | grep mysql

## 二.执行命令全部卸载 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1][]

## 三.下载安装即可 ##

![20190706151824302.png][]

## **四.下载完成** ##

**一个客户端，一个服务端**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2][]

## 五.安装**客户端，服务端** ##

*  rpm -ivh MySQL-server-5.6.29-1.linux\_glibc2.5.x86\_64.rpm
 *  rpm -ivh MySQL-client-5.6.29-1.linux\_glibc2.5.x86\_64.rpm

![20190706152139565.png][]

## 六.新增mysql用户组，并创建mysql用户 ##

*  groupadd mysql
 *  useradd -r -g mysql mysql
 *  已经存在，无需关心

![201907061523158.png][]

## 七.修改my.cnf,默认在/usr/my.cnf， ##

**执行：vim /usr/my.cnf，添加如下内容：  如果没有该文件手动创建**

[client]
    
    default-character-set=utf8
    
    [mysql]
    
    default-character-set=utf8
    
    [mysqld]
    
    character_set_server=utf8
    
    sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

## 八.将mysqld加入系统服务，并随机启动 ##

*  执行：cp /usr/share/mysql/mysql.server   /etc/init.d/mysqld
 *  说明：/etc/init.d 是linux的一个特殊目录，放在这个目录的命令会随linux开机而启动。

![20190706153334326.png][]

![20190706153138879.png][]

## 九.启动Mysql ##

**启动mysqld，执行：service mysqld start**

![20190706153422225.png][]

## 十.查看初始生成的密码 ##

**执行：vim /root/.mysql\_secret 。这个密码随机生成的**

因为之前安装过Mysql集群，所以没有，第一次安装的会有，改下密码为root

## **十一.**修改初始密码 ##

*  第一次安装完mysql后，需要指定登录密码
 *  执行：mysqladmin -u root -p  password root  此时，提示要输入初始生成的密码，拷贝过来即可

**自行操作**

## 十二.进入mysql数据库 ##

*  执行：mysql -u root -p
 *  输入：root进入
 *  执行：\\s查看mysql数据配置信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 3][]

## 十三.进入conf目录下，编辑新的配置文件， ##

**名字为：hive-site.xml**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 4][]

<configuration>
    	    <property>
    	        <name>javax.jdo.option.ConnectionURL</name>
    	        <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value>
    	    </property>
    	    <property>
    	        <name>javax.jdo.option.ConnectionDriverName</name>
    	        <value>com.mysql.jdbc.Driver</value>
    	    </property>
    	    <property>
    	        <name>javax.jdo.option.ConnectionUserName</name> 
    	        <value>root</value> 
    	    </property>
    	    <property>
    	        <name>javax.jdo.option.ConnectionPassword</name>
    	        <value>root</value>
    	    </property>
    	</configuration>

## 十四.将mysql驱动包上传到hive安装目录的lib目录下 ##

**进入conf目录下，编辑新的配置文件，名字为：hive-site.xml**

# ![20190706154844965.png][] #

![20190706154948192.png][]

## 十五.进入到mysql数据库，进行权限分配 ##

*  执行：grant all privileges on \*.\* to 'root'@'hadoop01' identified by 'root' with grant option;
 *  执行：grant all on \*.\* to 'root'@'%' identified by 'root';
 *  执行：flush privileges;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 5][]

## 十六.进入mysql数据库， ##

**执行：create database hive character set latin1;**

## 十七.启动hive客户端 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 6][]

## 十八.关联Hive查询数据库 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 7][]

## 十九.通过navicat来连接数据库 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 8][]

## 二十.通过DBS 、TBLS、COLUMNS\_V2、SDS这几张表来查看元数据信息 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 9][]

### 1.DBS 存放的数据库的元数据信息 ###

![20190706164035889.png][]

### 2.TBLS存放的tables表信息 ###

![20190706164105273.png][]

### 3.COLUMNS表存放的是列字段信息 ###

![2019070616412619.png][]

### 4.SDS+表存放的HDFS里的位置信息 ###

![20190706164150857.png][]

# 四.元数据 #

## 一、概述 ##

1.  hive可以管理hdfs上的文件，用表的形式来管理文件数据。而表名、表里有哪些字段，字段类型、哪张表存在哪个数据下等这些表信息，称之为hive的元数据信息
2.  默认情况下，hive的元数据信息不是存在hdfs上的，而是存在hive自带的derby关系型数据库里的
3.  Hive安装完成之后，通常都需要替换元数据库，目前Hive只支持derby和mysql两种元数据库，需要将元数据库替换为MySQL
4.  元数据的默认字符集是ISO8859-1

## 二、derby存在的问题 ##

1.  derby数据库是一种文件型的数据库，在进入时会检查当前目录下是否有metastore\_db文件夹用来存储数据库数据，如果有就直接使用，如果没有就创建，这样一旦换一个目录，元数据就找不到了
2.  derby数据库是一个单用户的数据库，无法支持多用户同时操作，而hive如果使用derby作为元数据库，则也只能支持单用户操作，这就导致在数据量大连接多的情况下会产生大量连接的积压

# 五、常见问题 #

1.  如果出现不能修改密码的问题，则可以执行如下命令强制修改：
    
    1.  关闭MySQL服务：service mysqld stop
    2.  进入安全模式：mysqld\_safe --user=mysql --skip-grant-tables --skip-networking &
    3.  在安全模式下输入：mysql -u root mysql
    4.  进入mysql之后输入：
        
        1.  UPDATE user SET Password=PASSWORD('newpassword') where USER='root';
        2.  FLUSH PRIVILEGES;
        3.  quit
    5.  重启MySQL服务：service mysqld restart
2.  显示MySQL密码过期：
    
    1.  进入mysql
    2.  使用mysql库：use mysql
    3.  更新密码状态：update user set password\_expired='N' where user='root';
    4.  更新策略：flush privileges;
    5.  退出MySQL：quit

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20211214/1ad9e77bd3c645948902c6df19d2daf2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1]: /images/20211214/5c6f4925289f479a92348217c45839fa.png
[20190706151824302.png]: /images/20211214/33006c2ac7a247d882b9751be2dc6916.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2]: /images/20211214/2a69132c14044fdc988fcfa93bb062e8.png
[20190706152139565.png]: /images/20211214/a7539d5887f14452baaf814affa48e16.png
[201907061523158.png]: /images/20211214/20ac2b4af94a482098eb3d1303ce2d8e.png
[20190706153334326.png]: /images/20211214/b111ffa62bda46b0a4835b0533702921.png
[20190706153138879.png]: /images/20211214/6ae0f0e4ccee4214847953d54e387a7b.png
[20190706153422225.png]: /images/20211214/1938dd16fb054d11837b20205b46351e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 3]: /images/20211214/8ecefa984ee44b9a92f2480241cd0d2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 4]: /images/20211214/0f6fe34e762b41718216c372814a75b3.png
[20190706154844965.png]: /images/20211214/dc3713ec71bf449c89e3caada3858634.png
[20190706154948192.png]: /images/20211214/141a87328bc24935b2bd72c841ada2fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 5]: /images/20211214/673faa3c51074001b7adef885be0d444.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 6]: /images/20211214/e66cc3caa0c84c77820c7184be862cf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 7]: /images/20211214/6f3c787cfe3c49ad98937ca645317fa9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 8]: /images/20211214/31b86662d32949038b8625bcc5b4f5a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 9]: /images/20211214/5ca6a558a75f4da8a5050c97c99c0c12.png
[20190706164035889.png]: /images/20211214/31a84daf9d464d7ea7a3bfec177454e1.png
[20190706164105273.png]: /images/20211214/1e6372a35b3d44d19e5cd30992814465.png
[2019070616412619.png]: /images/20211214/e7e37c2015ba49429b3660d82275ee03.png
[20190706164150857.png]: /images/20211214/dbd555cfb6904bb38cca6d94d7f2a526.png