轻松入门大数据第9章入门到进阶：如何快速掌握Hive DDL&DML 9.1 Hive DDL&DML 9.1.20 场景题之使用动态分区解决复杂问题

Dear 丶 2024-03-16 10:21 24阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第9章 入门到进阶：如何快速掌握Hive DDL&DML
         *   *  9.1 Hive DDL&DML
             *   *  9.1.20 场景题之使用动态分区解决复杂问题

![在这里插入图片描述][ac58b746c4d9409f99e521243781f545.png_pic_center]

#### 第9章 入门到进阶：如何快速掌握Hive DDL&DML ####

##### 9.1 Hive DDL&DML #####

> 1.  数据模型
> 2.  DDL之数据库
> 3.  DDL之表
> 4.  内部表vs外部表
> 5.  加载数据方式
> 6.  分区表
> 7.  Hive QL查询

###### 9.1.20 场景题之使用动态分区解决复杂问题 ######

OK，到这里，静态分区差不多了，看个场景：

需求：emp表 ==> 按照deptno插入到按deptno为分区的表中

其实用静态分区也可以实现：

先来一个表

create table emp_partition(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int
    ) PARTITIONED BY (deptno int)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

这个时候啥意思呢，就是这张表的里面的`deptno` 既是普通字段又是分区字段。

试试

![在这里插入图片描述][3e966b4ffbdf437884179300c4839585.png_pic_center]

OK，直接就报错了，分区字段重复了，意思就是一个字段不能同时作为普通字段和分区字段

那就不在普通字段中写：

create table emp_partition(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double
    ) PARTITIONED BY (deptno int)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

![在这里插入图片描述][27a42b17bb384ed2831d4b7699fb8033.png_pic_center]

创建成功，导入数据

insert into table emp_partition partition(deptno=10) select * from emp;

看着没问题，实际上运行

![在这里插入图片描述][f09f3ca29d8a4ae79928d81e87b6ebe4.png_pic_center]

报错了，这是因为我们的分区表并没有`deptno` 这个字段，但是我们通过查询插入的数据又带有这个字段，这样就寄了，当然也有解决办法，老实的把字段写出来，记得加上分区条件

insert into table emp_partition partition(deptno=10) select empno,ename,job,mgr,hiredate,sal,comm from emp where deptno=10;

![在这里插入图片描述][701c8bf6550248859fe787828cc5c90b.png_pic_center]

能插入，但是我们很明显的感受到问题，就是那个条件只能写死，万一部门很多，那会疯的。

![在这里插入图片描述][770508a8c05c4997820e7b6e3b7a66f5.png_pic_center]

这种方式不推荐。【太糟糕了】

用动态分区解决这个痛点：

创建表：

create table emp_dynamic_partition(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double
    ) PARTITIONED BY (deptno int)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

创建表是一样的。

![在这里插入图片描述][459f8caead2e416fb957138bf3b6a036.png_pic_center]

重点是插入数据时，分区就不用指定值了，直接用字段名进行分区

insert overwrite table emp_dynamic_partition partition(deptno)
    select empno,ename,job,mgr,hiredate,sal,comm,deptno from emp;

试试

![在这里插入图片描述][93abd7382a4e4cc2b78e3bdada6c7e0e.png_pic_center]

OK，这里给到一个提示，把这个严格模式(后面会讲)，把它关掉

set hive.exec.dynamic.partition.mode=nonstrict;

![在这里插入图片描述][5979e579e2294e5d9ab7b5339f73e41e.png_pic_center]

这样就在跑了

![在这里插入图片描述][279e2d53394e4c368370e0d02c9b5471.png_pic_center]

没问题，换个部门编号

![在这里插入图片描述][76b184d680494728a3578a2d8dcda4e2.png_pic_center]

查看分区信息

![在这里插入图片描述][dd9b9050f90540979a9e8bf863929ce7.png_pic_center]

三个分区自己就出来了。看下元数据

![在这里插入图片描述][39162d49a91f4bbeb54705578ef851e9.png_pic_center]

没问题。

动态分区还有个参数，官网文档：[https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML\#LanguageManualDML-DynamicPartitionInserts][https_cwiki.apache.org_confluence_display_Hive_LanguageManual_DML_LanguageManualDML-DynamicPartitionInserts]

![在这里插入图片描述][d77a96df11e940f98b03f9ec13c7e272.png_pic_center]

`hive.exec.dynamic.partition`这个参数设置是否支持动态分区，现在的版本默认是true 了

还有那个严格模式`hive.exec.dynamic.partition.mode`

![在这里插入图片描述][67383eeec98e4600a49debdc25c26bb2.png_pic_center]

![在这里插入图片描述][4056aed3931142b0a407d8e309bd7d59.png_pic_center]

动态分区默认支持1000 个分区

Dynamic partition inserts are disabled by default prior to Hive 0.9.0 and enabled by default in Hive [0.9.0][] and later. These are the relevant configuration properties for dynamic partition inserts:

<table> 
 <thead> 
  <tr> 
   <th align="left">Configuration property</th> 
   <th align="left">Default</th> 
   <th align="left">Note</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>hive.exec.dynamic.partition</code></td> 
   <td align="left"><code>true</code></td> 
   <td align="left">Needs to be set to <code>true</code> to enable dynamic partition inserts</td> 
  </tr> 
  <tr> 
   <td align="left"><code>hive.exec.dynamic.partition.mode</code></td> 
   <td align="left"><code>strict</code></td> 
   <td align="left">In <code>strict</code> mode, the user must specify at least one static partition in case the user accidentally overwrites all partitions, in <code>nonstrict</code> mode all partitions are allowed to be dynamic</td> 
  </tr> 
  <tr> 
   <td align="left"><code>hive.exec.max.dynamic.partitions.pernode</code></td> 
   <td align="left">100</td> 
   <td align="left">Maximum number of dynamic partitions allowed to be created in each mapper/reducer node</td> 
  </tr> 
  <tr> 
   <td align="left"><code>hive.exec.max.dynamic.partitions</code></td> 
   <td align="left">1000</td> 
   <td align="left">Maximum number of dynamic partitions allowed to be created in total</td> 
  </tr> 
  <tr> 
   <td align="left"><code>hive.exec.max.created.files</code></td> 
   <td align="left">100000</td> 
   <td align="left">Maximum number of HDFS files created by all mappers/reducers in a MapReduce job</td> 
  </tr> 
  <tr> 
   <td align="left"><code>hive.error.on.empty.partition</code></td> 
   <td align="left"><code>false</code></td> 
   <td align="left">Whether to throw an exception if dynamic partition insert generates empty results</td> 
  </tr> 
 </tbody> 
</table>

笔者直接全部拿过来贴着。

还有个地方：[https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties][https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]

![在这里插入图片描述][8eed897623cf45b8bebf4ce780bd50ac.png_pic_center]

这里面也有对这些参数的详细说明。

[ac58b746c4d9409f99e521243781f545.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9827821c267a4f078a03b7bfdce8b52b.png
[3e966b4ffbdf437884179300c4839585.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dee3e7d2844c41fea55aed04f4d4b5ff.png
[27a42b17bb384ed2831d4b7699fb8033.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ff6ca0499617470081124a08db5b9982.png
[f09f3ca29d8a4ae79928d81e87b6ebe4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f2a8ccc4bbd34c2c8be57b794d877ede.png
[701c8bf6550248859fe787828cc5c90b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c09ddda95825445bb3986abd3c7df5b2.png
[770508a8c05c4997820e7b6e3b7a66f5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1a912cfd9aac4af7bcb5583f95656c15.png
[459f8caead2e416fb957138bf3b6a036.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f537b62d362d4f60bf437c06ec56714e.png
[93abd7382a4e4cc2b78e3bdada6c7e0e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/59759d96a4bf4e88a95882b95529fe6d.png
[5979e579e2294e5d9ab7b5339f73e41e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/169790827de9490caf3088cb0ea33c17.png
[279e2d53394e4c368370e0d02c9b5471.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2f9137c3896347e3b8111a2dba6b836f.png
[76b184d680494728a3578a2d8dcda4e2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fd2d58789cc243a89346073515fee76f.png
[dd9b9050f90540979a9e8bf863929ce7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5196885775aa498294c56482e412a629.png
[39162d49a91f4bbeb54705578ef851e9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1fe53b87cb2e4ce7b6e66adcbc00fc04.png
[https_cwiki.apache.org_confluence_display_Hive_LanguageManual_DML_LanguageManualDML-DynamicPartitionInserts]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-DynamicPartitionInserts
[d77a96df11e940f98b03f9ec13c7e272.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/faffed4e872b4e7ba7838e636fe25408.png
[67383eeec98e4600a49debdc25c26bb2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/29070f9109f74953a1462381b9e8d420.png
[4056aed3931142b0a407d8e309bd7d59.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dab6c1be37e44fecad7950d3b845ca06.png
[0.9.0]: https://issues.apache.org/jira/browse/HIVE-2835
[https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[8eed897623cf45b8bebf4ce780bd50ac.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8927c0c163f84b02a23b2b246a48d79d.png