Hadoop: Hive介绍与安装

た 入场券 2023-06-28 06:11 88阅读 0赞

Hive产生背景

  • MapReduce 不方便
  • 传统RDBMS人员的需要，HDFS上的文件并没有schema的概念

Hive

  • 解决 海量结构化日志 数据统计的问题
  • 构建在hadoop之上的数据仓库(hdfs,Yarn,MapReduce)
  • 提供了SQL查询：HQL
  • 底层支持多种不同的执行引擎 MR/Tez/Spark

统一元数据管理:

  • Hive数据是存放在HDFS
  • ​元数据信息是存放在MySQL(主备) (Derby默认的，但是只支持单session)
  • SQL on hadoop: Hive , Spark SQL , impala

Hive 安装部署

hadoop2.7 使用mapreduce的话，需要降到hive1.X版本，教程是 hive2.x，创建库的时候会报错。

  1. wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

下面的要改成1.X版本就可以了

  1. wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gz
  2. tar -xvf apache-hive-2.3.6-bin.tar.gz
  3. mv apache-hive-2.3.6-bin /usr/local/hive
  5. vim /etc/profile
  6. # hive
  7. export HIVE_HOME=/usr/local/hive
  8. export PATH=${HIVE_HOME}/bin:$PATH
  9. source /etc/profile

修改配置文件

  1. cp hive-env.sh.template hive-env.sh
  2. 将HADOOP_HOME=/usr/local/hadoop 写入到 hive-env.sh
  4. # touch hive-site.xml
  5. vim hive-site.xml
  7. <?xml version="1.0" encoding="UTF-8" standalone="no"?>
  8. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  9. <configuration>
  10.   <property>
  11.     <name>javax.jdo.option.ConnectionURL</name>
  12.     <value>jdbc:mysql://localhost:3306/hadoop_hive?createDatabaseIfNotExist=true&useSSL=false</value>
  13.   </property>
  14.     <property>
  15.     <name>javax.jdo.option.ConnectionDriverName</name>
  16.     <value>com.mysql.jdbc.Driver</value>
  17.   </property>
  18.     <property>
  19.     <name>javax.jdo.option.ConnectionUserName</name>
  20.     <value>root</value>
  21.   </property>
  22.     <property>
  23.     <name>javax.jdo.option.ConnectionPassword</name>
  24.     <value>123456</value>
  25.   </property>
  26. </configuration>

jar包

  1. # jar 下载分享地址
  2. # https://pan.baidu.com/s/15QCtp9MOi8CHAdh-LR1bIw
  3. cp /root/mysql-connector-java-5.1.46-bin.jar /usr/local/hive/lib

简单测试

  1. # hive中
  2. create database test_db;
  4. # mysql中
  5. show databases;
  6. use hadoop_hive;
  7. show tables;
  8. select * from DBS \G;

发表评论

表情：
评论列表 （有 0 条评论，88人围观）

还没有评论，来说两句吧...

相关阅读