轻松入门大数据第8章零基础：极速入门数据仓库工具Hive 8.1 初识Hive 8.1.7 Hive部署及快速使用

缺乏、安全感 2024-03-17 11:32 21阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第8章 零基础：极速入门数据仓库工具Hive
         *   *  8.1 初识Hive
             *   *  8.1.7 Hive部署及快速使用

![在这里插入图片描述][7d7b955bd2754a18b49765e8a6f9f74a.png_pic_center]

#### 第8章 零基础：极速入门数据仓库工具Hive ####

##### 8.1 初识Hive #####

> 1.  Hive产生背景
> 2.  Hive是什么
> 3.  Hive优缺点
> 4.  Hive架构
> 5.  Hive部署
> 6.  Hive参数设置
> 7.  Hive访问方式

###### 8.1.7 Hive部署及快速使用 ######

回到Hive 官网：[https://hive.apache.org/][https_hive.apache.org]

![在这里插入图片描述][1c334bbe8e4d455cb308b29cb1979d33.png_pic_center]

![在这里插入图片描述][647615f0492741a7bf900ecfd2a8d1ee.png_pic_center]

这里笔者和老师的版本保持一致，hive-3.1.2

![在这里插入图片描述][33621bbdab5841beaddd883c3aedefd9.png_pic_center]

进去

![在这里插入图片描述][eabded14dbff4b76b719f5bbf9ef4d13.png_pic_center]

再进

![在这里插入图片描述][896f7f1b4a9b4b6d9e1c8e7e7301ee3d.png_pic_center]

![在这里插入图片描述][f23f4f476a5d47b0ba47dbb5100e7b2c.png_pic_center]

就这个，下载下来 [https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz][https_dlcdn.apache.org_hive_hive-3.1.2_apache-hive-3.1.2-bin.tar.gz]

![在这里插入图片描述][9e83d48260a643f2bf27a0c22479e5ac.png_pic_center]

推荐迅雷

![在这里插入图片描述][15ebaac58edc4dfbad233034960afc36.png_pic_center]

这次要回到我们000 那台机器了【还记得我们之前搞了一下集群】

![在这里插入图片描述][d39514ff464e4a9dad8547b2565fcb15.png_pic_center]

直接丢到Linux 中

![在这里插入图片描述][1bf59d62a9344f83a67bf7d19c3278cd.png_pic_center]

![在这里插入图片描述][21ba5b6183f64bb5899a248b35ba1ffb.png_pic_center]

同样解压到我们的`app` 目录中，`tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ~/app`

![在这里插入图片描述][3de8d3ea0ca14b57af5fb088e988eea0.png_pic_center]

配置环境变量

export HIVE_HOME=/home/hadoop/app/apache-hive-3.1.2-bin
    export PATH=$HIVE_HOME/bin:$PATH

![在这里插入图片描述][4078cd6ead3c4ada9173513079edd2fb.png_pic_center]

立即生效，`source /etc/profile`

创建一个`hive-site.xml` 配置文件

![在这里插入图片描述][0ea6a68586b64992bca20ea5e8c2c137.png_pic_center]

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    <property>
    	  <name>javax.jdo.option.ConnectionURL</name>
    	  <value>jdbc:mysql://localhost:3306/dingjiaxiong_hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
    	</property>
    
    	<property>
    	  <name>javax.jdo.option.ConnectionDriverName</name>
    	  <value>com.mysql.jdbc.Driver</value>
    	</property>
    
    	<property>
    	  <name>javax.jdo.option.ConnectionUserName</name>
    	  <value>root</value>
    	</property>
    
    	<property>
    	  <name>javax.jdo.option.ConnectionPassword</name>
    	  <value>123456</value>
    	</property>
    </configuration>

数据库密码和用户用自己的

![在这里插入图片描述][a57e09fb15044bf19c505d1fb915ed3b.png_pic_center]

笔者这里是用docker 部署的一个MySQL

运行容器命令：

docker run -d -p 3306:3306 -v /home/mysql/conf:/etc/mysql/conf.d -v /home/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 --name mysql mysql

![在这里插入图片描述][1e223de3c57842658ea0db6f26f34e44.png_pic_center]

![在这里插入图片描述][a2a4e5d7eec345f6b7b9bf63cc82f2b9.png_pic_center]

不用手动创建数据库

> 这里老师多说了一嘴，为了避免版本问题，把mysql的驱动拷贝到$HIVE\_HOME/lib/
> 
> 驱动jar 下载地址：[https://dev.mysql.com/downloads/connector/j/][https_dev.mysql.com_downloads_connector_j]
> 
> ![在这里插入图片描述][b429297ec0264cb9986eb938017dcfec.png_pic_center]
> 
> [https://downloads.mysql.com/archives/c-j/][https_downloads.mysql.com_archives_c-j]
> 
> 根据自己的MySQL版本来
> 
> ![在这里插入图片描述][c996362a4c2e494d8a4a599587d10b1c.png_pic_center]
> 
> ![在这里插入图片描述][4813e95a3e184fc5bb1a15dbe47fc86f.png_pic_center]
> 
> ![在这里插入图片描述][938674a0687944ea9276203f4bf390dd.png_pic_center]
> 
> 下载完成后直接解压
> 
> ![在这里插入图片描述][ae7454614c2846e3b74ba1cc66d376c7.png_pic_center]
> 
> 就这个东西了
> 
> ![在这里插入图片描述][88730708c7dd49b2bba135833446c080.png_pic_center]
> 
> OK【啊这，老师不建议用8系列的】建议用5 系列的
> 
> 出了问题再说吧

到`bin`下，执行`./schematool -dbType mysql -initSchema`

![在这里插入图片描述][be02fd2ba22e46b19b53622bdd53b597.png_pic_center]

![在这里插入图片描述][37b7f110a66d49019ffa07a0f6ef2d3a.png_pic_center]

啊这，行吧，没有成功

换成5 版本呢

![在这里插入图片描述][2ac09bdb1cf44fdfaf080aa4d926c6c9.png_pic_center]

![在这里插入图片描述][a523accedf4c4d3bafb6ca9e72569685.png_pic_center]

再试一次

![在这里插入图片描述][b37a0ed7d6914a838db4eb953f3a7c48.png_pic_center]

![在这里插入图片描述][03a139a1d28640858c6213e30a6865c9.png_pic_center]

密码没对，再试一次

![在这里插入图片描述][696c33670d64498283e87f6b210b3b64.png_pic_center]

OK，一段蓝屏，完成

看看MySQL

![在这里插入图片描述][2db6b41a0a6d492593290f75956d98bb.png_pic_center]

我giao，全是自己创建的

这些东西就是Hive 的元数据

启动hive：`./hive`

![在这里插入图片描述][7066adda14384af6967f2cf118810ec7.png_pic_center]

额，大概看起来是 hadoop没运行行吧

![在这里插入图片描述][10e39c0b96f348c9b8423ccc0a7b4324.png_pic_center]

再来一次

![在这里插入图片描述][5f7dbcb6fed3433d854f320904e27503.png_pic_center]

还是直接报错了

![在这里插入图片描述][0c76562b2cd2422cbac11bd54b139d31.png_pic_center]

等一会儿， 好像安全模式的问题

![在这里插入图片描述][4e997a2b3daf47f99c3b22de10474644.png_pic_center]

OK，进来了

查看数据库`show databases;`

![在这里插入图片描述][5aace32667234b5f88cf35f067da81ba.png_pic_center]

可以看到，有一个默认的库

查看所有表：

![在这里插入图片描述][b01d9b988a8d4eaa897d1dd8feb797e1.png_pic_center]

OK， 当前没有表

创建一个`create table test(id int);`

![在这里插入图片描述][a01b1e43d5864f5eba7723921e902df2.png_pic_center]

可以创建成功

查询：`select * from test;`

![在这里插入图片描述][48338c08b7d340c1bca7b8d3723b9793.png_pic_center]

插入一条数据：`insert into test values(1);`

![在这里插入图片描述][98dd4652c4dc4bcaad218e30cc55a3a4.png_pic_center]

忘记了，要把RM 也跑起来

`./start-yarn.sh`

![在这里插入图片描述][666db7c48ea0483480d0569173f56695.png_pic_center]

OK， 再试一次插入

![在这里插入图片描述][a398e0ace0e841b1a21c4ffe53b16e52.png_pic_center]

![在这里插入图片描述][6201632e6eb04dfd97c0f7dedc987b03.png_pic_center]

确实太慢了，居然启了个MR 作业来进行操作，查询一下

![在这里插入图片描述][fb0bf21697464b53b64c585c141c4c2b.png_pic_center]

OK，没问题。

这就是简单的使用，还有一个补充点，hive3.1.2 和 hadoop3.3.2 有一个日志上的冲突

![在这里插入图片描述][15e947d396fe403e8205d866a89b3e46.png_pic_center]

把这个jar 包删掉。

![在这里插入图片描述][acce62535a754e368ca93b618b04d6d4.png_pic_center]

OK，。

[7d7b955bd2754a18b49765e8a6f9f74a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f0d35af036ad475e8c559ca724127ec6.png
[https_hive.apache.org]: https://hive.apache.org/
[1c334bbe8e4d455cb308b29cb1979d33.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/989e653e1eae4c518b78a9a6a07fcf54.png
[647615f0492741a7bf900ecfd2a8d1ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/4ed8078339ef4ab8a471f41e2fbdfaa4.png
[33621bbdab5841beaddd883c3aedefd9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ee66c64a865b4998ae7f963e4bf1c195.png
[eabded14dbff4b76b719f5bbf9ef4d13.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/088d57a555524162ae2d8995d25fcbf2.png
[896f7f1b4a9b4b6d9e1c8e7e7301ee3d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c8e412d9833144149b27c2bc3a41d69b.png
[f23f4f476a5d47b0ba47dbb5100e7b2c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/04630b05ab0840d5b8889d43e248d8bf.png
[https_dlcdn.apache.org_hive_hive-3.1.2_apache-hive-3.1.2-bin.tar.gz]: https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
[9e83d48260a643f2bf27a0c22479e5ac.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/12dd906b87a14cf3bd0eba99a5c27cfe.png
[15ebaac58edc4dfbad233034960afc36.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/eb99e986de9148faa76617e5609336d3.png
[d39514ff464e4a9dad8547b2565fcb15.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f1242353c74243b0bc8372033388d283.png
[1bf59d62a9344f83a67bf7d19c3278cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/4e8b5d623e27400f9defa3758edbdac6.png
[21ba5b6183f64bb5899a248b35ba1ffb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7de944949f184e4fa902a9195ec5ef6a.png
[3de8d3ea0ca14b57af5fb088e988eea0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b7141e3d5fd346b7a751c57e7723f0e1.png
[4078cd6ead3c4ada9173513079edd2fb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d0d757af84444f299624dbe3ff569aad.png
[0ea6a68586b64992bca20ea5e8c2c137.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/119d2f7b453b4bc7acf0971927ebce5e.png
[a57e09fb15044bf19c505d1fb915ed3b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/feb1187bdbf746208e0dfa3b49f148e9.png
[1e223de3c57842658ea0db6f26f34e44.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/23c2ffecd46347f7bc30cc0eeed7201a.png
[a2a4e5d7eec345f6b7b9bf63cc82f2b9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d6750baebca543069280e9b9b91b33c3.png
[https_dev.mysql.com_downloads_connector_j]: https://dev.mysql.com/downloads/connector/j/
[b429297ec0264cb9986eb938017dcfec.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fe2455ce1f0444748bb3dc2d30185e02.png
[https_downloads.mysql.com_archives_c-j]: https://downloads.mysql.com/archives/c-j/
[c996362a4c2e494d8a4a599587d10b1c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/acd96e1034c34503a650554d2ff2875f.png
[4813e95a3e184fc5bb1a15dbe47fc86f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/1e947c38a0ea4f0a9857d5fc7c9bb7fc.png
[938674a0687944ea9276203f4bf390dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/77cf166512e6404daa8b58a9e8de440e.png
[ae7454614c2846e3b74ba1cc66d376c7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/19cf057f214149d2917b1b35dcc1e0a9.png
[88730708c7dd49b2bba135833446c080.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/af8c2234046942ae86fc2906e510fa9b.png
[be02fd2ba22e46b19b53622bdd53b597.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a3410747d410490a83be83c238658885.png
[37b7f110a66d49019ffa07a0f6ef2d3a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0a2670dfe29c4213a6240768c10d146f.png
[2ac09bdb1cf44fdfaf080aa4d926c6c9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d7f382a476cb41ccb5953a48d19f82b1.png
[a523accedf4c4d3bafb6ca9e72569685.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/00f347673cbd4a8f8cf59ff1358388bb.png
[b37a0ed7d6914a838db4eb953f3a7c48.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d438c0abf638404caa39603deed89d60.png
[03a139a1d28640858c6213e30a6865c9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ee924c34727f46738f549aee7d15c76d.png
[696c33670d64498283e87f6b210b3b64.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/563c3a467dd14cfb9feb1be5cb524213.png
[2db6b41a0a6d492593290f75956d98bb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/8916e97b58604234a45cf8cfc6261ea5.png
[7066adda14384af6967f2cf118810ec7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7fa4909711244183b1e1accf46ff61cc.png
[10e39c0b96f348c9b8423ccc0a7b4324.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fc2c667929ab434a9e3f9dc6e4747466.png
[5f7dbcb6fed3433d854f320904e27503.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/bbd86ab3489f4db6ba7f2e9ae0908f6d.png
[0c76562b2cd2422cbac11bd54b139d31.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c5f778c54eca40d8ab7cc01fe5870e5f.png
[4e997a2b3daf47f99c3b22de10474644.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ebc75d7db88a4555ac060398371b9cb2.png
[5aace32667234b5f88cf35f067da81ba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/8660c992ee2b4221b9fa532daf22c281.png
[b01d9b988a8d4eaa897d1dd8feb797e1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7bc8b663c9e140e1959f27f15679e3fd.png
[a01b1e43d5864f5eba7723921e902df2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fa8c42ea2ed346c0a05f53c7227fec59.png
[48338c08b7d340c1bca7b8d3723b9793.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7b92cee115ca451aa7e6d288c8b99e55.png
[98dd4652c4dc4bcaad218e30cc55a3a4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e9d3f3289dce482fbb263fcd784aa6bc.png
[666db7c48ea0483480d0569173f56695.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ec2c7950fac94609a95a241d074e2bc7.png
[a398e0ace0e841b1a21c4ffe53b16e52.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7a3992a6da7346abb8a76b200a995aa4.png
[6201632e6eb04dfd97c0f7dedc987b03.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/acd92975ba994214984d6bca4153e720.png
[fb0bf21697464b53b64c585c141c4c2b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a2c356389c6d4a989e7c4e1d15fb241c.png
[15e947d396fe403e8205d866a89b3e46.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0725fa3a8b984cd695caca5ff9bf2162.png
[acce62535a754e368ca93b618b04d6d4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/cea6b769b443449c9cde1c1c5696976b.png