大数据仓库Hive部署安装

「爱情、让人受尽委屈。」 2022-12-23 11:11 298阅读 0赞

在安装hive之前，请先确保已经搭建好hadoop环境，如果没有完成hadoop环境搭建，可参考文章[最全面的CentOS下hadoop的分布式搭建][CentOS_hadoop]或者[CentOS下hadoop的伪分布式安装][CentOS_hadoop 1]。

### 一、下载并解压安装包 ###

下面提供了hive-0.13.1版本的下载链接  
链接: [https://pan.baidu.com/s/1RcoymkbWsCRUHUKTxrcVmw][https_pan.baidu.com_s_1RcoymkbWsCRUHUKTxrcVmw]  
密码: dh78

将下载好的安装包解压到指定目录：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center]

### 二、配置文件 ###

hive的配置文件非常简单。  
1、修改conf目录下的hive-env.sh.template文件名为hive-env.sh，然后在该文件中添加hadoop安装路径即可。  
![在这里插入图片描述][20201124182306312.png_pic_center]  
2、按照官网所说，加你启动之前先在hadoop中创建两个文件夹  
![在这里插入图片描述][20201124182501597.png_pic_center]  
所以我们先创建/tmp和/user/hive/warehouse文件夹  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 1]  
完成上述操作就可以启动hive了  
![在这里插入图片描述][2020112418271529.png_pic_center]

### 三、配置元数据存储在mysql ###

hive默认将元数据存储在自带的derby中，默认是同时只能有一个人使用hive，但是我们往往需要多用户交互使用，所以我们需要配置下mysql。该教程默认是已经安装好了mysql的，如果还没安装，可查看[Centos安装mysql完整教程][Centos_mysql]。

##### 1、在conf下创建文件hive-site.xml #####

##### 2、在hive-site.xml中添加如下内容： #####

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://hadoop1:3306/metastore?createDatabaseIfNotExist=true</value>
      <description>JDBC connect string for a JDBC metastore</description>
    </property>
    
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
      <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
      <description>username to use against metastore database</description>
    </property>
    
    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>qjg123456</value>
      <description>password to use against metastore database</description>
    </property>
    
    </configuration>

各项分别代表mysql地址、mysql驱动，用户名，和登陆密码（密码各不相同，注意修改）。其中mysql地址中hadoop1代表的是主机名。

##### 3、下载驱动 #####

链接: [https://pan.baidu.com/s/1DLZNcL043xpeqauoqaeTaw ][https_pan.baidu.com_s_1DLZNcL043xpeqauoqaeTaw]  
密码: 96cl

解压之后将mysql-connector-java-5.1.27-bin.jar驱动拷贝到hive安装目录下的lib文件夹中  
![在这里插入图片描述][20201124183549389.png_pic_center]  
到此就配置完成了

### 四、报错 ###

完成上述操作之后启动可能出现`Caused by: java.sql.SQLException: Access denied for user 'root'@'hadoop1' (using password: YES)`问题。

解决办法：  
进入到mysql中输入如下命令：

mysql> grant all privileges on *.*  to 'root'@'hadoop1' identified by 'yourpassword';
    mysql> flush privileges;

[CentOS_hadoop]: https://blog.csdn.net/sinat_40875078/article/details/109015902
[CentOS_hadoop 1]: https://blog.csdn.net/sinat_40875078/article/details/109011810
[https_pan.baidu.com_s_1RcoymkbWsCRUHUKTxrcVmw]: https://pan.baidu.com/s/1RcoymkbWsCRUHUKTxrcVmw
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/59d9ebd402c34459ade2f6e75947202b.png
[20201124182306312.png_pic_center]: https://img-blog.csdnimg.cn/20201124182306312.png#pic_center
[20201124182501597.png_pic_center]: https://img-blog.csdnimg.cn/20201124182501597.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201124182552256.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70#pic_center
[2020112418271529.png_pic_center]: https://img-blog.csdnimg.cn/2020112418271529.png#pic_center
[Centos_mysql]: https://blog.csdn.net/sinat_40875078/article/details/110090700
[https_pan.baidu.com_s_1DLZNcL043xpeqauoqaeTaw]: https://pan.baidu.com/s/1DLZNcL043xpeqauoqaeTaw
[20201124183549389.png_pic_center]: https://img-blog.csdnimg.cn/20201124183549389.png#pic_center