轻松入门大数据 第8章 零基础:极速入门数据仓库工具Hive 8.1 初识Hive 8.1.7 Hive部署及快速使用

缺乏、安全感 2024-03-17 11:32 42阅读 0赞

轻松入门大数据

文章目录

    • 轻松入门大数据
      • 第8章 零基础:极速入门数据仓库工具Hive
        • 8.1 初识Hive
          • 8.1.7 Hive部署及快速使用

在这里插入图片描述

第8章 零基础:极速入门数据仓库工具Hive

8.1 初识Hive
  1. Hive产生背景
  2. Hive是什么
  3. Hive优缺点
  4. Hive架构
  5. Hive部署
  6. Hive参数设置
  7. Hive访问方式
8.1.7 Hive部署及快速使用

回到Hive 官网:https://hive.apache.org/

在这里插入图片描述

在这里插入图片描述

这里笔者和老师的版本保持一致,hive-3.1.2

在这里插入图片描述

进去

在这里插入图片描述

再进

在这里插入图片描述

在这里插入图片描述

就这个,下载下来 https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

在这里插入图片描述

推荐迅雷

在这里插入图片描述

这次要回到我们000 那台机器了【还记得我们之前搞了一下集群】

在这里插入图片描述

直接丢到Linux 中

在这里插入图片描述

在这里插入图片描述

同样解压到我们的app 目录中,tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ~/app

在这里插入图片描述

OK

配置环境变量

  1. export HIVE_HOME=/home/hadoop/app/apache-hive-3.1.2-bin
  2. export PATH=$HIVE_HOME/bin:$PATH

在这里插入图片描述

立即生效,source /etc/profile

创建一个hive-site.xml 配置文件

在这里插入图片描述

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5. <name>javax.jdo.option.ConnectionURL</name>
  6. <value>jdbc:mysql://localhost:3306/dingjiaxiong_hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
  7. </property>
  8. <property>
  9. <name>javax.jdo.option.ConnectionDriverName</name>
  10. <value>com.mysql.jdbc.Driver</value>
  11. </property>
  12. <property>
  13. <name>javax.jdo.option.ConnectionUserName</name>
  14. <value>root</value>
  15. </property>
  16. <property>
  17. <name>javax.jdo.option.ConnectionPassword</name>
  18. <value>123456</value>
  19. </property>
  20. </configuration>

数据库密码和用户用自己的

在这里插入图片描述

笔者这里是用docker 部署的一个MySQL

运行容器命令:

  1. docker run -d -p 3306:3306 -v /home/mysql/conf:/etc/mysql/conf.d -v /home/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 --name mysql mysql

在这里插入图片描述

在这里插入图片描述

不用手动创建数据库

这里老师多说了一嘴,为了避免版本问题,把mysql的驱动拷贝到$HIVE_HOME/lib/

驱动jar 下载地址:https://dev.mysql.com/downloads/connector/j/

在这里插入图片描述

https://downloads.mysql.com/archives/c-j/

根据自己的MySQL版本来

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

下载完成后直接解压

在这里插入图片描述

就这个东西了

在这里插入图片描述

OK【啊这,老师不建议用8系列的】建议用5 系列的

出了问题再说吧

bin下,执行./schematool -dbType mysql -initSchema

在这里插入图片描述

在这里插入图片描述

啊这,行吧,没有成功

换成5 版本呢

在这里插入图片描述

在这里插入图片描述

再试一次

在这里插入图片描述

在这里插入图片描述

密码没对,再试一次

在这里插入图片描述

OK,一段蓝屏,完成

看看MySQL

在这里插入图片描述

我giao,全是自己创建的

这些东西就是Hive 的元数据

启动hive:./hive

在这里插入图片描述

额,大概看起来是 hadoop没运行行吧

在这里插入图片描述

再来一次

在这里插入图片描述

还是直接报错了

在这里插入图片描述

等一会儿, 好像安全模式的问题

在这里插入图片描述

OK,进来了

查看数据库show databases;

在这里插入图片描述

可以看到,有一个默认的库

查看所有表:

在这里插入图片描述

OK, 当前没有表

创建一个create table test(id int);

在这里插入图片描述

可以创建成功

查询:select * from test;

在这里插入图片描述

插入一条数据:insert into test values(1);

在这里插入图片描述

忘记了,要把RM 也跑起来

./start-yarn.sh

在这里插入图片描述

OK, 再试一次插入

在这里插入图片描述

在这里插入图片描述

确实太慢了,居然启了个MR 作业来进行操作,查询一下

在这里插入图片描述

OK,没问题。

这就是简单的使用,还有一个补充点,hive3.1.2 和 hadoop3.3.2 有一个日志上的冲突

在这里插入图片描述

把这个jar 包删掉。

在这里插入图片描述

OK,。

发表评论

表情:
评论列表 (有 0 条评论,42人围观)

还没有评论,来说两句吧...

相关阅读