轻松入门大数据第9章入门到进阶：如何快速掌握Hive DDL&DML 9.1 Hive DDL&DML 9.1.18 分区表实操之单分区表创建及数据加载

傷城~ 2024-03-16 10:21 47阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第9章 入门到进阶：如何快速掌握Hive DDL&DML
         *   *  9.1 Hive DDL&DML
             *   *  9.1.18 分区表实操之单分区表创建及数据加载

![在这里插入图片描述][f3db3468dd0b425a970cb717d8df689f.png_pic_center]

#### 第9章 入门到进阶：如何快速掌握Hive DDL&DML ####

##### 9.1 Hive DDL&DML #####

> 1.  数据模型
> 2.  DDL之数据库
> 3.  DDL之表
> 4.  内部表vs外部表
> 5.  加载数据方式
> 6.  分区表
> 7.  Hive QL查询

###### 9.1.18 分区表实操之单分区表创建及数据加载 ######

分区分为两大类：

*  静态分区
 *  动态分区

我们先看静态分区：

创建一个表：

create table dept_partition(
    deptno int,
    dname string,
    loc string
    )PARTITIONED BY (day string)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

按照天`day`进行分区，运行

![在这里插入图片描述][01b271b4d3fb4a5c9d3bacbac6d7a2d9.png_pic_center]

观察一下字段信息`desc`

![在这里插入图片描述][2735c06b5b704e618e152144e27be8bd.png_pic_center]

下面就会多出分区信息，关于`day` 在上面也显示了的情况，其实不同版本之间可能会有差异，

![在这里插入图片描述][76001aa6210946ce97ddcede7f07897b.png_pic_center]

它也确实成为了一个字段

导入数据：

load data local inpath '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE dept_partition PARTITION(day='20230601');

![在这里插入图片描述][53743d47dfde4733bc404bb00550ac3b.png_pic_center]

OK，成功导入，当然查询的时候一般不这么查，现在这个表已经是一个分区表了

一定记得加上分区条件，不然还是全表扫，分区就没有意义了

select * from dept_partition where day='20230601';

![在这里插入图片描述][673ff8b2550545cfb864c44d4b7bef2a.png_pic_center]

OK， 没问题

再多加入两个分区数据

load data local inpath '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE dept_partition PARTITION(day='20230602');
    load data local inpath '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE dept_partition PARTITION(day='20230603');

![在这里插入图片描述][fdb10e17e3fe49959b386f3817295b51.png_pic_center]

按照分区进行查询

![在这里插入图片描述][373a943e1d0346d083596bd1de737208.png_pic_center]

没问题。看到文件系统中

![在这里插入图片描述][1932b8c3eae5493fa5696e45cc8d2a08.png_pic_center]

换句话说，分区就是一个文件夹的拆分

我们来自己创建一个文件夹

hadoop fs -mkdir -p /user/hive/warehouse/dept_partition/day=20230604
    
    hadoop fs -put dept.txt /user/hive/warehouse/dept_partition/day=20230604

![在这里插入图片描述][c924834712834c50a920e01fbe52ab6e.png_pic_center]

并且给它整了一份数据进去， 回到HDFS

![在这里插入图片描述][f72d322080a34f04b555437d0dd900c5.png_pic_center]

这边目录没问题，看到Hive，试着直接查一下这个分区

![在这里插入图片描述][f657ffbb1a6647479ac4331d969f8803.png_pic_center]

可以看到，没有数据。什么原因？

看到元数据中的分区表：

![在这里插入图片描述][0758d84a36ab414a982a8d49a19b8f21.png_pic_center]

![在这里插入图片描述][800ffc352e5148019bd0b9eb00537bbe.png_pic_center]

可以看到还是只有3 个分区，这是因为LOAD 操作会刷新元数据，但是我们直接手动把数据放死在那里，没用，元数据感知不到

但是我们可以再刷新一下元数据：`msck repair table dept_partition;`

![在这里插入图片描述][92337e0d36a24e589c7bace9988f4644.png_pic_center]

没问题，这样就能查了

![在这里插入图片描述][5addc43d4db841d48bbae3ff7bad842d.png_pic_center]

而且分区中也多了一个，也可以使用命令直接查看某个表有哪些分区：

show partitions dept_partition;

![在这里插入图片描述][7d83c34d5b6a4ffb8dd92614a29fa190.png_pic_center]

没问题。

删除一个分区：

alter table dept_partition drop partition(day='20230604');

![在这里插入图片描述][313b336d336a4fa8a4e7fccb693b8805.png_pic_center]

没问题。

往指定分区中加入数据：

insert overwrite table dept_partition partition(day='20230605') select * from dept;

![在这里插入图片描述][fbfb175d1bb04098af0b2ca8fa59c09d.png_pic_center]

没问题【会跑MR 作业】

[f3db3468dd0b425a970cb717d8df689f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d3deb768ec11483e9a34bab8ec1bc47d.png
[01b271b4d3fb4a5c9d3bacbac6d7a2d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8ad15f8dadbb446fb98581961e45d8e6.png
[2735c06b5b704e618e152144e27be8bd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6bb3cb5c6fc749da8b642e2dbba2ff64.png
[76001aa6210946ce97ddcede7f07897b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/802cc5a11ade48529861e0667d0bd2d3.png
[53743d47dfde4733bc404bb00550ac3b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9d3002837e3f424abdfcc5b9cb8a8f27.png
[673ff8b2550545cfb864c44d4b7bef2a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ee8069663052407880363927ab158829.png
[fdb10e17e3fe49959b386f3817295b51.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c24c8d6156274f45b8ea1f08c2095f1e.png
[373a943e1d0346d083596bd1de737208.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6fb8660fbae2434fbbbdd15c4a969109.png
[1932b8c3eae5493fa5696e45cc8d2a08.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3c572516892041a79e0061a504162f00.png
[c924834712834c50a920e01fbe52ab6e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6461445c22964aef87d5ba2b9fc2dfa6.png
[f72d322080a34f04b555437d0dd900c5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/424ed2b57ad148d19fdf667db8bae578.png
[f657ffbb1a6647479ac4331d969f8803.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/200c051403684cb2914ebd6c72b54751.png
[0758d84a36ab414a982a8d49a19b8f21.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4492b0af3159403c9bf1bcb73ce2fa0e.png
[800ffc352e5148019bd0b9eb00537bbe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cfc3f369a86546aab7c552e18b50766e.png
[92337e0d36a24e589c7bace9988f4644.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2557fb108394478986795411698a46fa.png
[5addc43d4db841d48bbae3ff7bad842d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9117b0ce261740bf98b008b8c7657f94.png
[7d83c34d5b6a4ffb8dd92614a29fa190.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4930611a0a7e4e5093d520fef612a4d5.png
[313b336d336a4fa8a4e7fccb693b8805.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5501206b3f96418aa37b37c7fad97b0c.png
[fbfb175d1bb04098af0b2ca8fa59c09d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b45de0cf0e1047a1a84cb865784ceed5.png