Hive集群搭建

╰+哭是因爲堅強的太久メ 2021-11-10 05:36 375阅读 0赞

**一、Hive简介**

Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，数据储存在：hdfs上，hsql是由替换简单的mapreduce，hive通过mysql来记录映射数据。

**二、环境**

jdk可用

hadoop集群可用

mysql可用

三台服务器：master、server1、server2

**三、Hive安装**

下载地址：[https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/][https_mirrors.tuna.tsinghua.edu.cn_apache_hive_hive-1.2.2]

注：大数据集群对于各版本有较大区别，不建议全使用最新版本，容易出现版本不兼容问题

若安装正确，却不能使用，请查看集群环境的版本兼容

**1.解压**

**tar -zxvf apache-hive-1.2.2-bin.tar.gz**

重命名hive

**2.配置环境变量**

**export HIVE\_HOME=/usr/hive  
export PATH=.:$\{HIVE\_HOME\}/bin:$PATH**

**source /etc/profile**

3.进入hive的conf目录

**cp  hive-default.xml.template    hive-site.xml**

**cp hive-env.sh.template    hive-env.sh**

**cp hive-log4j.properties.template hive-log4j.properties**

**cp hive-exec-log4j.properties.template hive-exec-log4j.properties**

4.创建HDFS目录

启动hadoop-dfs.sh

**hadoop fs -mkdir -p /user/hive/warehouse  **

**hadoop fs -mkdir -p /user/hive/tmp  **

**hadoop fs -mkdir -p /user/hive/log  **

**hadoop fs -chmod -R 777 /user/hive/warehouse  **

**hadoop fs -chmod -R 777 /user/hive/tmp  **

**hadoop fs -chmod -R 777 /user/hive/log**

**5.master配置**

修改hive-site.xml

<property>
    
        <name>hive.metastore.warehouse.dir</name>
    
        <value>/user/hive/warehouse</value>
    
        <description>location of default database for the warehouse</description>
    
      </property>
    
    <property>  
    
        <name>hive.exec.scratchdir</name>  
    
        <value>/user/hive/tmp</value>  
    
    </property> 
    
    <property>
    
        <name>hive.querylog.location</name>
    
        <value>/user/hive/log</value>
    
        <description>Location of Hive run time structured log file</description>
    
    </property>
    
    连接Mysql数据库
    
    <property>
    
        <name>javax.jdo.option.ConnectionURL</name>
    
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
    
        <description>JDBC connect string for a JDBC metastore</description>
    
      </property>
    
    //驱动路径
    
    <property>
    
        <name>javax.jdo.option.ConnectionDriverName</name>
    
        <value>com.mysql.jdbc.Driver</value>
    
        <description>Driver class name for a JDBC metastore</description>
    
    </property>
    
    登陆mysql用户名
    
    <property>
    
        <name>javax.jdo.option.ConnectionUserName</name>
    
        <value>root</value>
    
        <description>Username to use against metastore database</description>
    
    </property>
    
    //登陆mysql的密码
    
    <property>
    
        <name>javax.jdo.option.ConnectionPassword</name>
    
        <value>a</value>
    
        <description>password to use against metastore database</description>
    
    </property>

**server1、server2配置**

将master的hive-site.xml文件复制并修改

<property>  
    
      <name>hive.metastore.warehouse.dir</name>  
    
      <value>/user/hive/warehouse</value>  
    
    </property>  
    <property>  
    
      <name>hive.metastore.local</name>  
    
      <value>false</value>  
    
    </property>   
    <property>  
    
      <name>hive.metastore.uris</name>  
    
      <value>thrift://master:9083</value>  
    
    </property>

**6.修改hive-env.sh**

**export HADOOP\_HOME=/usr/hadoop  
export JAVA\_HOME=/usr/jdk1.8.0\_65  
export HIVE\_HOME=/usr/hive**

**export HIVE\_CONF\_DIR=/usr/hive/conf  
export HIVE\_AUX\_JARS\_PATH=/usr/hive/lib**

7.创建tmp文件

在hive目录下创建tmp文件，并在hive-site.xml中修改

把$\{system:java.io.tmpdir\} 改成 /usr/hive/tmp

把 \{system:user.name\} 改成 \{user.name\}

**8.jar包**

将mysql驱动包复制到hive的lib目录下

cp mysql-connector-java-5.1.46.jar  /usr/hive/lib

将hive/lib目录下的jline-2.12.jar包   
复制到HADOOP\_HOME/share/hadoop/yarn/lib目录下,   
并删除HADOOP\_HOME/share/hadoop/yarn/lib目录下旧版本的jline包

复制JAVA\_HOME目录下的tools.jar到HIVE\_HOME/lib下

**9.初始化mysql**

在hive/bin目录下运行

**schematool -initSchema -dbType mysql**

如果失败

修改mysql配置： /etc/mysql/mysql.conf.d/mysql.conf

Bind-address  127.0.0.1 注释掉

重启服务器

再进行格式化操作

**10.启动服务**

先启动hadoop集群

**hive --service metastore &**

四、测试

root@master:~# hive
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/hbase-1.4.10/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    19/08/02 10:34:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    
    Logging initialized using configuration in file:/usr/hive/conf/hive-log4j.properties
    hive> show databases;
    OK
    default
    test
    Time taken: 1.156 seconds, Fetched: 2 row(s)
    hive> use default;
    OK
    Time taken: 0.141 seconds

可用其它节点上使用hive命令进入

[https_mirrors.tuna.tsinghua.edu.cn_apache_hive_hive-1.2.2]: https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/