轻松入门大数据 第8章 零基础:极速入门数据仓库工具Hive 8.1 初识Hive 8.1.7 Hive部署及快速使用
轻松入门大数据
文章目录
- 轻松入门大数据
- 第8章 零基础:极速入门数据仓库工具Hive
- 8.1 初识Hive
- 8.1.7 Hive部署及快速使用
第8章 零基础:极速入门数据仓库工具Hive
8.1 初识Hive
- Hive产生背景
- Hive是什么
- Hive优缺点
- Hive架构
- Hive部署
- Hive参数设置
- Hive访问方式
8.1.7 Hive部署及快速使用
回到Hive 官网:https://hive.apache.org/
这里笔者和老师的版本保持一致,hive-3.1.2
进去
再进
就这个,下载下来 https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
推荐迅雷
这次要回到我们000 那台机器了【还记得我们之前搞了一下集群】
直接丢到Linux 中
同样解压到我们的app
目录中,tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ~/app
OK
配置环境变量
export HIVE_HOME=/home/hadoop/app/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH
立即生效,source /etc/profile
创建一个hive-site.xml
配置文件
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/dingjiaxiong_hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
数据库密码和用户用自己的
笔者这里是用docker 部署的一个MySQL
运行容器命令:
docker run -d -p 3306:3306 -v /home/mysql/conf:/etc/mysql/conf.d -v /home/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 --name mysql mysql
不用手动创建数据库
这里老师多说了一嘴,为了避免版本问题,把mysql的驱动拷贝到$HIVE_HOME/lib/
驱动jar 下载地址:https://dev.mysql.com/downloads/connector/j/
https://downloads.mysql.com/archives/c-j/
根据自己的MySQL版本来
下载完成后直接解压
就这个东西了
OK【啊这,老师不建议用8系列的】建议用5 系列的
出了问题再说吧
到bin
下,执行./schematool -dbType mysql -initSchema
啊这,行吧,没有成功
换成5 版本呢
再试一次
密码没对,再试一次
OK,一段蓝屏,完成
看看MySQL
我giao,全是自己创建的
这些东西就是Hive 的元数据
启动hive:./hive
额,大概看起来是 hadoop没运行行吧
再来一次
还是直接报错了
等一会儿, 好像安全模式的问题
OK,进来了
查看数据库show databases;
可以看到,有一个默认的库
查看所有表:
OK, 当前没有表
创建一个create table test(id int);
可以创建成功
查询:select * from test;
插入一条数据:insert into test values(1);
忘记了,要把RM 也跑起来
./start-yarn.sh
OK, 再试一次插入
确实太慢了,居然启了个MR 作业来进行操作,查询一下
OK,没问题。
这就是简单的使用,还有一个补充点,hive3.1.2 和 hadoop3.3.2 有一个日志上的冲突
把这个jar 包删掉。
OK,。
还没有评论,来说两句吧...