数据仓库hive本地/远程模式安装

墨蓝 2024-04-07 12:18 55阅读 0赞

#### 文章目录 ####

*  1.简述
 *  2.本地模式
 *   *  2.1安装包准备
     *  2.2解压安装mysql
     *   *  2.2.1 解压mysql安装包
         *  2.2.2 安装mysql相关组件
         *  2.2.3 修改my.cnf配置文件
         *  2.2.4 更改所属组
         *  2.2.5 启动mysql服务
     *  2.3 hive解压安装及配置
     *   *  2.3.1 解压
         *  2.3.2 改名
         *  2.3.3 配置环境变量
         *  2.3.4 添加hive-site.xml配置文件
         *  2.3.5 放置mysql驱动文件
         *  2.3.6 启动hive
 *  3.远程模式
 *   *  3.1将hive文件夹以及环境变量分发到从节点slave2
     *  3.2 启动元数据Metastore，及hiveserver2相关服务
     *  3.3 远程连接
 *  4.结束语

## 1.简述 ##

hive的安装模式有三种：嵌入模式、本地模式以及远程模式。  
嵌入模式：即使用hive自身内嵌的数据库Derby作为存储介质进行数据的存储。  
本地模式：即使用外部数据库作为存储介质进行数据的存储  
远程模式：与本地模式相似，不过其操作是先开一个Metastore服务，再用其他的客户端通过响应的配置去连接服务。  
我们平常大多情况会使用其他的服务器去连接hive，及需要用到远程模式。远程模式是建立在本地模式之上的，所以这篇文章主要讲述hive本地模式的安装过程，及远程连接。

## 2.本地模式 ##

### 2.1安装包准备 ###

到相应网址下载mysql安装包，hive安装包，mysql驱动文件;[mysql安装包下载链接][mysql]，[hive安装包下载链接][hive]

利用xftp软件，将mysql安装包与hive安装包上传至linux系统的指定路径/export/software  
![在这里插入图片描述][757e09d2f7aa418990cf978bda5cb07f.png_pic_center]

### 2.2解压安装mysql ###

#### 2.2.1 解压mysql安装包 ####

先在文件目录/export/servers下创建一个mysql文件夹，再进入mysql安装包所在文件夹/export/software，执行解压命令解压到指定文件目录/export/servers/mysql  
![在这里插入图片描述][5b73399e1e724411907a9d6f5995d074.png_pic_center]

#### 2.2.2 安装mysql相关组件 ####

再进入mysql文件目录，解压mysql相关组件，分别执行如下命令：

rpm -ivh mysql-community-server-5.7.12-1.el6.x86_64.rpm --force --nodeps
    rpm -ivh mysql-community-client-5.7.12-1.el6.x86_64.rpm --force --nodeps
    rpm -ivh mysql-community-libs-5.7.12-1.el6.x86_64.rpm --force --nodeps
    rpm -ivh mysql-community-common-5.7.12-1.el6.x86_64.rpm --force --nodeps

![在这里插入图片描述][80b9d08dd57c4bf8ba2bfd9b12a7771c.png_pic_center]  
![在这里插入图片描述][39ae65ee8f6f4a2c83771482ba5d8027.png_pic_center]

#### 2.2.3 修改my.cnf配置文件 ####

执行命令`vi /etc/my.cnf`编辑my.cnf文档，向其中添加如下代码：

skip-grant-tables  #跳过登陆验证
    user=root  #设置root为mysql用户
    character_set_server=utf8  #设置mysql服务默认字符集utf8
    init_connect='SET NAMES utf8'  #设置初次连接默认字符集utf8

编辑完，保存退出  
![在这里插入图片描述][baa1c0517c3148e0888c1b153019dd42.png_pic_center]

#### 2.2.4 更改所属组 ####

执行命令`chown -R mysql:mysql /var/lib/mysql`

#### 2.2.5 启动mysql服务 ####

执行命令`systemctl start mysqld`启动mysql服务器，也可以使用命令`systemctl status mysqld`查看服务器状态；执行命令`systemctl enable mysqld`设置虚拟机开机mysql服务自动启动（图中没有执行，大家要执行这条命令）  
![在这里插入图片描述][f2c2b52bfa834eeab8adc10081c25007.png_pic_center]

执行命令`mysql`进入mysql交互式界面  
![在这里插入图片描述][7ff0435ca118484fa879321445a03733.png_pic_center]  
这时mysql正使用%s选项运行，不能执行mysql语句，我们需要先执行命令`flush privileges;`刷新即可，再输入代码`set password for root@localhost=password('你的密码（自己设置）');`  
![在这里插入图片描述][fc549c737c5e41d989b36629604c6aeb.png_pic_center]  
执行命令`grant all privileges on *.* to ‘root’@’%’ identified by ‘密码’ with grant option;`赋予所有访问权限  
![在这里插入图片描述][427c70c0430c4bdea4a4f9f916eedd6b.png_pic_center]  
退出输入命令`quit;`退出mysql交互式界面  
再执行命令`vi /etc/my.cnf`对文档进行修改，注释跳过密码验证那行代码（“\#”代表注释）  
![在这里插入图片描述][e288abd69ce441bc8c6f8a474e25d3f8.png_pic_center]  
编辑完，保存退出即可，下次登录mysql即需要输入代码`mysql -u用户名 -p`来登录（用户名一般为root），回车输入密码（输入密码时不会显示，输完回车即可）  
![在这里插入图片描述][350e6c49b0334d089842aea7a6c43186.png_pic_center]

### 2.3 hive解压安装及配置 ###

#### 2.3.1 解压 ####

将hive安装包解压到指定目录/export/servers  
![在这里插入图片描述][3cff8fdc6d2c4386a936989ea8506352.png_pic_center]

#### 2.3.2 改名 ####

由于解压后的文件名带有版本号，把文件名直接改为hive更简洁，方便后续的使用（执行改名命令前，需要进入hive解压包所在目录）  
![在这里插入图片描述][c08ebab2c50844df8d38d4bc26d4e26c.png_pic_center]

#### 2.3.3 配置环境变量 ####

执行命令`vi /etc/profile`编辑文档，向文档末尾添加如下代码：

export HIVE_HOME=/export/servers/hive
    export PATH=$PATH:$HIVE_HOME/bin

修改完，保存退出，再执行命令`source /etc/profile`使环境变量生效  
![在这里插入图片描述][ef3dcdc9a313465b824dad148b8ba991.png_pic_center]  
![在这里插入图片描述][5d7fd4106a5949a6a0a2569696c321a0.png_pic_center]

#### 2.3.4 添加hive-site.xml配置文件 ####

进入hive安装目录下的conf目录，执行命令`vi hive-site.xml`新建文件，并向其中添加如下内容：

<configuration>
      <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionDriveName</name>
        <value>com.mysql.jdbc.Driver</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>mysql数据库密码</value>
      </property>
    </configuration>

编辑完，保存退出（注意，内容里面的master指的是我自己的hadoop集群主节点，自己主机名是什么就写什么）  
![在这里插入图片描述][15c4c5281c064320b4c7d2db29ce7dc6.png_pic_center]

#### 2.3.5 放置mysql驱动文件 ####

到相应网址下载驱动文件：[mysql驱动文件下载链接][mysql 1]  
通过xftp软件，将驱动文件上传至linux系统指定目录/export/servers/hive/lib下  
![在这里插入图片描述][1cdf1a15fded41d5b15806ba1ba1888a.png_pic_center]

#### 2.3.6 启动hive ####

先在/root目录下创建一个metastore文件夹，再进入这个文件夹，输入命令`nohup /export/servers/hive/bin/hive --service metastore &`启动hive的metastore服务  
![在这里插入图片描述][2b9cc1edfb014871b941397b61596ed3.png_pic_center]  
通过命令`jps`可以查看进程，其中的RunJar表示metastore相关进程，有它则表示启动成功  
![在这里插入图片描述][cc6923ebb0804e60997d4f622659146e.png_pic_center]  
由于我们配置过hive的系统环境变量，所以在任何目录下都能直接输入命令`hive`启动hive（注意：由于hive底层应用的是MapReduce，且其存储介质为外界数据库mysql，所以在启动hive之前，要先启动hadoop集群，以及mysql服务）  
![在这里插入图片描述][038bb3d7fe724464996cbfe95e5ccd1a.png_pic_center]  
输入命令`show databases;`可以查看数据库，从中可以看出有个默认的default数据库  
![在这里插入图片描述][0456495c0e7f45109c93efb0d6181792.png_pic_center]  
我们在hive中创建的数据库存储在HDFS中的/user/hive/warehouse/路径下

## 3.远程模式 ##

### 3.1将hive文件夹以及环境变量分发到从节点slave2 ###

执行如下命令：

scp -r /export/servers/hive slave2:/export/servers
    scp -r /etc/profile/ slave2:/etc

分发完后，在从节点slave2执行命令`source /etc/profile`使环境变量生效

### 3.2 启动元数据Metastore，及hiveserver2相关服务 ###

先在/root目录下创建一个metastore文件夹，再进入这个文件夹，输入命令`nohup /export/servers/hive/bin/hive --service metastore &`启动hive元数据metastore服务  
![在这里插入图片描述][c631b2345e6043b4850a2eed1c0bcf62.png_pic_center]

再在/root目录下创建一个hiveserver2文件夹，进入此文件夹，输入命令`nohup /export/servers/hive/bin/hive --service hiveserver2 &`启动远程连接服务hiveserver2  
![在这里插入图片描述][82b77c5f7ab9415b840e56553b6fdd63.png_pic_center]

输入命令`jps`可以看出有两个RunJar进程，其中一个是元数据metastore的相关进程，另一个是远程连接服务hiveserver2的相关进程，如果有这两个进程，说明启动成功。  
![在这里插入图片描述][dbad9356818743c0b2bacb3e0bd5c5c8.png_pic_center]

### 3.3 远程连接 ###

打开从节点slave2，输入远程连接命令`beeline`进行连接（由于我们配置了hive的系统环境变量，所以可以在任何路径下直接输入beeline，如果没配置，则需要进入hive文件目录下的bin目录才能执行beeline命令）  
![在这里插入图片描述][dde32c01ae4b41e09c27eb4f5ccde200.png_pic_center]  
输入连接协议，用户名以及密码  
![在这里插入图片描述][c5b9ae5dcb4747cf87b58e89773ba5a1.png_pic_center]  
在这里输入HQL指令`show databases;`可以看出其中有个默认数据库default（这里远程连接其实和本地模式并无较大差异，用的元数据都是外界数据库mysql的，只不过在master节点多开了一个hiveserver2服务，利用slave2去连接这个服务）  
![在这里插入图片描述][12ef384f5f4647c0b265494168dc45df.png_pic_center]  
至此，远程连接已叙述完！

## 4.结束语 ##

至此，hive本地/远程模式安装就结束了，大家在安装过程中遇到什么问题，可以提出来，我会尽自己所能去帮大家解决问题；大家能学到hive这里，相信大家对虚拟机的命令的使用已经非常熟练了，如果还不太熟练，可以借鉴学习这篇文章：[haddoop集群的搭建（其中讲述了一些基本命令）][haddoop]

[mysql]: https://download.csdn.net/download/qq_58281481/86508010
[hive]: https://download.csdn.net/download/u010006309/11584476?utm_source=bbsseo
[757e09d2f7aa418990cf978bda5cb07f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/948cb298f6664f53b1762fd13a6da90e.png
[5b73399e1e724411907a9d6f5995d074.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/51892f0282ea461b96d8de4872b24e79.png
[80b9d08dd57c4bf8ba2bfd9b12a7771c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/fce6e4519406494e837935f1b36b0ab4.png
[39ae65ee8f6f4a2c83771482ba5d8027.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f3ed52eefefc486faa3220b2dec86fa3.png
[baa1c0517c3148e0888c1b153019dd42.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/5f4fcf5104b646f98fe362f0a12ab1d6.png
[f2c2b52bfa834eeab8adc10081c25007.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a88d6ebcc6d049caaed338b2e84ece91.png
[7ff0435ca118484fa879321445a03733.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/dcd370b9e33c41a793c71284a303efbb.png
[fc549c737c5e41d989b36629604c6aeb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4848fbf2b6694784a9a23a23f30f38dc.png
[427c70c0430c4bdea4a4f9f916eedd6b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f9bce3e835c74ae68a7387bd47b1ab62.png
[e288abd69ce441bc8c6f8a474e25d3f8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/5462713d612441f8b712d80dda5978b7.png
[350e6c49b0334d089842aea7a6c43186.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/535095177005492fbdef102fe075d05a.png
[3cff8fdc6d2c4386a936989ea8506352.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/6e5c9d8f019949aeb3b94d4151dcbc44.png
[c08ebab2c50844df8d38d4bc26d4e26c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/37c1dde9dca84701b983edf39deb3972.png
[ef3dcdc9a313465b824dad148b8ba991.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/990311acbba043208fe88d3cdb72243b.png
[5d7fd4106a5949a6a0a2569696c321a0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/7cd9d3a02cab402fac0e9c17b8954ce7.png
[15c4c5281c064320b4c7d2db29ce7dc6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9b4b2a6a16bd4e67932b35a24d4f1ea1.png
[mysql 1]: https://nowjava.com/jar/detail/m03077400/mysql-connector-java-5.1.39.jar.html
[1cdf1a15fded41d5b15806ba1ba1888a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1395ac76302c498fa346e23abb3efcf5.png
[2b9cc1edfb014871b941397b61596ed3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/ce63d2d101964d5f8a2797dd59a4c743.png
[cc6923ebb0804e60997d4f622659146e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/813c7a4c702649349fdde1ed2d27eacc.png
[038bb3d7fe724464996cbfe95e5ccd1a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4ed2ce69e94b4216bc40882cba15bac6.png
[0456495c0e7f45109c93efb0d6181792.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9a153451be4c4da8879e5e89ea27a1f5.png
[c631b2345e6043b4850a2eed1c0bcf62.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d4c80f11bcb243fc8b6cfff7d51ed855.png
[82b77c5f7ab9415b840e56553b6fdd63.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/08732cd5c79041f1bd3e16f4ba4eadd7.png
[dbad9356818743c0b2bacb3e0bd5c5c8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/0b1629045a8245a288a8eac5865a74dd.png
[dde32c01ae4b41e09c27eb4f5ccde200.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/95a94b6ed93946e68d44487458906aa1.png
[c5b9ae5dcb4747cf87b58e89773ba5a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/86f5bcea631f4d84b4521511188a2ded.png
[12ef384f5f4647c0b265494168dc45df.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/859f7123479b4d57b122c6aaa626a2ba.png
[haddoop]: https://editor.csdn.net/md/?articleId=126563510