Hive中的mapjoin

墨蓝 2022-10-17 05:24 153阅读 0赞

1: 有一个极小的表<1000行

2: 需要做不等值join操作（a.x < b.y 或者 a.x like b.y等）

这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误

如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~

根据mapjoin的计算原理，MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配。这种情况下即使笛卡尔积也不会对任务运行速度造成太大的效率影响。

而且hive的where条件本身就是在map阶段进行的操作，所以在where里写入不等值比对的话，也不会造成额外负担。

如此看来，使用MAPJOIN开发的程序仅仅使用map一个过程就可以完成不等值join操作，效率还会有很大的提升。

如下hive sql：

select f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)

该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错。

为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理：

> **MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map是进行了join操作，省去了reduce运行的效率也会高很多**  
>

这样就不会由于数据倾斜导致某个reduce上落数据太多而失败。于是原来的sql可以通过使用hint的方式指定join时使用mapjoin。

> select /\*+ mapjoin(A)\*/ f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)   
>

再运行发现执行的效率比以前的写法高了好多。

mapjoin还有一个很大的好处是能够进行不等连接的join操作，如果将不等条件写在where中，那么mapreduce过程中会进行笛卡尔积，运行效率特别低，如果使用mapjoin操作，在map的过程中就完成了不等值的join操作，效率会高很多。

例子：

> select A.a ,A.b from A join B where A.a>B.a
> 
>   
>

简单总结一下，mapjoin的使用场景：

**1. 关联操作中有一张表非常小**

**2.不等值的链接操作**

示例代码如下：

1: select /*+ MAPJOIN(a) */

2: a.start_level, b.*

3: from dim_level a

4: join (select * from test) b

5: where b.xx>=a.start_level and b.xx<end_level;

发表评论取消回复

表情：

评论列表（有 0 条评论，153人围观）

还没有评论，来说两句吧...

相关阅读

相关 HIVE调优之MapJoin

如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾

本是古典何须时尚/ 2023年08月17日 15:18/ 0 赞/ 142 阅读

相关一文搞懂Hive MapJoin的作用以及如何使用它

摘要 > MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不

偏执的太偏执、/ 2023年01月13日 06:25/ 0 赞/ 116 阅读

相关 hive mapjoin

select t1.a,t1.b from A join B on ( A.a=B.a and A.lD=20201190) 该语句中B表有30亿行记录，A表只有100

水深无声/ 2022年11月26日 09:59/ 0 赞/ 130 阅读

相关 hadoop案例：Mapjoin

文章目录 pom.xml 输入数据期望结果需求分析 Mapper类 Reducer类

分手后的思念是犯贱/ 2022年11月22日 00:02/ 0 赞/ 144 阅读

相关 Hive中的mapjoin

1: 有一个极小的表<1000行 2: 需要做不等值join操作（a.x < b.y 或者 a.x like b.y等）这种操作如果直接使用join的话语法不支持不等于操

墨蓝/ 2022年10月17日 05:24/ 0 赞/ 154 阅读

相关 HIVE MapJoin异常问题处理总结

HIVE MapJoin异常问题处理总结转转： https://yq.aliyun.com/articles/64306 问题描述在跑hive作业的时候，偶尔会遇

墨蓝/ 2022年06月13日 05:52/ 0 赞/ 384 阅读

相关 Hive MapJoin

摘要 MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过

雨点打透心脏的1/2处/ 2022年04月24日 11:46/ 0 赞/ 150 阅读

相关 Hive中mapjoin优化例子

1 基本信息 3个表，1个事实表，2个维度表事实表 test\_fact （mid string,sex\_id string,age\_id string ）

墨蓝/ 2022年04月24日 11:44/ 0 赞/ 209 阅读

相关 Hive mapjoin的执行计划解读

创建两张表，以emp表和dept表为例： create table emp( empno int, ename string, job

我会带着你远行/ 2022年02月04日 18:07/ 0 赞/ 359 阅读

相关 hive mapjoin 使用和个人理解

1、遇到一个hive的问题，如下hive sql： select t1.a,t1.b from table t1 join table2 t2 on ( t1.a=t2.

心已赠人/ 2021年06月24日 15:58/ 0 赞/ 365 阅读