CenterOS的Hive环境的搭建日志及可能出现的问题和解决方法

墨蓝 2022-12-11 13:38 67阅读 0赞

前提：安装好hadoop集群和jdk。在使用多台虚拟机还需要安装好zookeeper。

#### Hive是什么？ ####

Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理，主要提供以下功能

*  它提供了一系列的工具，可用来对数据进行提取/转化/加载（ETL）；
 *  是一种可以存储、查询和分析存储在HDFS（或者HBase）中的大规模数据的机制；
 *  查询是通过MapReduce来完成的（并不是所有的查询都需要MapReduce来完成，
 *  在Hive0中对类似select a,b from XXX的查询通过配置也可以不通过MapReduce来完成，

#### Hive的数据存储模式 ####

Hive的数据分为表数据和元数据，表数据是Hive中表格（table）具有的数据；而元数据是用来存储表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。下面分别来介绍。

#### Hive的数据存储 ####

Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中（如果数据是在HDFS上；但如果数据是在本地文件系统中，那么是将数据复制到表所在的目录中）。

#### 安装步骤 ####

##### 一、Hive文件上传 #####

1.上传安装包进行解压。使用tar命令进行解压，`tar -zxvf apache-hive-2.0.0-bin.tar.gz -C /usr/local/src/`  
2.切换到解压的目录下：`cd /usr/local/src`  
3.移动文件 ：`mv /usr/local/src/apache-hive-2.0.0-bin /usr/local/src/hive`  
4.给文件加权限：`chown -R hadoop:hadoop hive`  
5.在cd ~目录下编辑/etc/profile文件。`vi /etc/profile`

将以下配置信息添加到/etc/profile文件的末尾。

# set Hive environment
    export HIVE_HOME=/usr/local/src/hive  # Hive安装目录
    export PATH=$HIVE_HOME/bin:$PATH # 添加将Hive的bin目录
    export HIVE_CONF_DIR=$HIVE_HOME/conf #Hive的环境变量

6.使用命令对配置文件进行刷新 `source /etc/profile`

##### 二、 [MySQL的安装（单击前往）][MySQL] #####

##### 三、配置Hive参数 #####

1.配置hive-site.xml文件：在安装hive目录下的conf文件夹下添加文件  
![在这里插入图片描述][20201001172621661.png_pic_center]  
在配置文件当中添加内容：

<configuration>
    	<property>
    		<name>javax.jdo.option.ConnectionURL</name>
    		<value>jdbc:mysql://master:3306/hive_db?createDatabaseIfNotExist=true</value>
    	</property>
    	
    	<property>
    		<name>javax.jdo.option.ConnectionUserName</name>
    		<value>hive</value>
    	</property>
    	
    	<property>
    		<name>javax.jdo.option.ConnectionPassword</name>
    		<value>Password123$</value>
    	</property>
    	
    	<property>
    		<name>javax.jdo.option.ConnectionDriverName</name>
    		<value>com.mysql.jdbc.Driver</value>
    	</property>
    	<property>
    		<name>hive.downloaded.resources.dir</name>
    		<value>/usr/local/src/hive/tmp</value>
    	</property>
    	<property>
    		<name>hive.exec.local.scratchdir</name>
    		<value>/usr/local/src/hive/tmp/${ hive.session.id}_resources</value>
    	</property>
    	<property>
    		<name>hive.querylog.location</name>
    		<value>/usr/local/src/hive/tmp</value>
    	</property>
    	<property>
    		<name>hive.server2.logging.operation.log.location</name>
    		<value>/usr/local/src/hive/tmp/operation_logs</value>
    	</property>
    	<property>
    		<name>hive.server2.webui.host</name>
    		<value>master</value>
    	</property>
    	<property>
    		<name>hive.server2.webui.port</name>
    		<value>10002</value>
    	</property>
    </configuration>

文件内容详解：

`javax.jdo.option.ConnectionURL`: JDBC连接字符串，默认为自带的metastore\_db数据库，现以MySQL作为元数据存储地址，需建立JDBC连接，且hive\_db处为实验二中创建的MySQL数据库，存储元数据。  
`javax.jdo.option.ConnectionUserName`：连接MySQL的hive操作用户，实验二创建。  
`javax.jdo.option.ConnectionPassword`：连接MySQL的hive操作用户密码，实验二创建。  
`javax.jdo.option.ConnectionDriverName`：配置数据库连接驱动。  
`hive.downloaded.resources.dir`：远程资源下载的临时目录。  
`hive.server2.webui.host`：hiveserver2 WebUI页面访问地址。  
`hive.server2.webui.port`: hiveserver2 WebUI页面访问端口。

除此之外，Hive默认配置文件为`hive-default.xml.template`。若用户没有对相关配置参数进行修改，Hive将读取默认配置文件参数进行启动，其他重要配置信息如：

`hive.metastore.warehouse.dir`：HDFS上存储配置数据仓库的目录。  
`hive.exec.scratchdir`：hive用来存储不同阶段的map/reduce的执行计划的目录，同时也存储中间输出结果。

需要在HDFS上新建Hive的数据仓库文件夹，并赋予读写权限。使用以下命令

hadoop fs -mkdir -p /user/hive/warehouse
    hadoop fs -chmod g+w /user/hive/warehouse
    mkdir /usr/local/src/hive/tmp

2.配置hive-env.xml  
在此处设置Hive和Hadoop环境变量，这些变量可以使用控制Hive的执行。直接执行命令  
![在这里插入图片描述][20201001173135664.png_pic_center]  
在文件当中添加以下内容：

export JAVA_HOME=/usr/local/src/java
    export HADOOP_HOME=/usr/local/src/hadoop
    export HIVE_CONF_DIR=/usr/local/src/hive/conf
    export HIVE_AUX_JARS_PATH=/usr/local/src/hive/lib

退出保存，数据库的初始化，保证此时MySQL为启动状态执行一下命令。注意的是，需要将Hive连接MySQL的驱动器文件上传至Hive的lib文件夹下。这里我们还需要上传一个jar数据库驱动包。上传之后把这个jar包复制到hive安装的目录下面。  
![在这里插入图片描述][2020100117344318.png_pic_center]  
在这都完成之后，我们对hive元数据进行初始化：使用命令`schematool -initSchema -dbType mysql`在这之前我们需要确定mysql是正在运行的状态，查看一下：  
![在这里插入图片描述][20201001173630895.png_pic_center]  
mysql服务启动之后进行元数据初始化：

注意：在这里可能会出现问题，在输入命令后弹出信息，出错后，可能是使用的不是mysql数据库，回去检查一下hive-site.xml文件

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center]  
Hive与MySQL建立连接。启动完毕后查看MySQL下hive\_db数据库，发现多出许多个新表(55个)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center 1]  
3.启动Hive数据库。  
启动Hadoop集群，MySQL后，命令框输入hive。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center 2]  
启动之后输入几条命令进行简单的测试：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center 3]  
到这里hive就安装完成

[MySQL]: https://blog.csdn.net/qq_44973159/article/details/108857172
[20201001172621661.png_pic_center]: /images/20221123/cb00ffbdc6fe41d192dd9db9741b99ef.png
[20201001173135664.png_pic_center]: /images/20221123/f907dc2132f84c52828012bd0b3d1fba.png
[2020100117344318.png_pic_center]: /images/20221123/ca27de47a8a14e968be5dbd43671164e.png
[20201001173630895.png_pic_center]: /images/20221123/c3529a1d65a34622ab74015a52c9f56a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/10f04acfb32749a4bf9aa65cffd18c12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/c1a0fad217564c4ba535e098ec28e1bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/a5e216cf1cca47cab11c4b7490602650.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0OTczMTU5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/542918cda9224b43b22799682a0155e9.png