Hive解决return code 3问题

我就是我 2023-05-30 14:57 198阅读 0赞

**（作者：陈玓玏）**

**1. 问题描述**  
使用hive跑数时，出现return code 3的错误，但没有报出代码中具体位置的错误。

**2. 问题原因**  
具体原因不是非常清楚，但是网上提到的原因最有可能的是数据倾斜导致的，具体的表现就是任务执行的时间非常长，并且执行了非常长的时间之后还失败了，出现code 3错误。

这类错误一般不是代码有逻辑或语法问题，而是数据层面的问题，向code 2也是这样，之前碰到的code 2，就是有一个大表和一个超大表做join，导致数据量超大，集群承受不住而爆出。

**3. 解决方案**  
我目前采取的方案可以解决问题，主要是修改设置项：

set hive.auto.convert.join = false;
    set hive.ignore.mapjoin.hint = false;
    set hive.exec.parallel = true;

hive 1.0+版本是默认开启mapjoin的，可能大表小标关联时，小表并不小，所以使用mapjoin时反而出现了异常。

所以此时不使用mapjoin，直接使用common join，但使用common join在存在数据倾斜的情况下，会导致最终结果出来得非常慢（本来mapjoin是用来解决小表很小时的这个问题的）。因此，开启并行，让sql出现多个可并行的任务时，并行执行，从而提升common join的效率，以空间换取时间。

**4. 总结**  
这个方法可以解决问题，让代码不报错且速度较快地跑出结果，但肯定还不是最优的结果，因为我们还可以从sql角度解决数据倾斜问题，或者看是否有表的结构设计不合理，导致两个表中有不同类型但同名字段导致数据倾斜问题，或者是考虑更高效地使用本身就是设计得比较高效的mapjoin方法。

参考资料：

1.  https://blog.csdn.net/nysyxxg/article/details/73872245
2.  https://blog.csdn.net/wingman91/article/details/84704130
3.  Hive中common join和mapjoin的区别：http://itindex.net/detail/55106-hive-join-%E5%8E%9F%E7%90%86
4.  数据倾斜常见原因及优化：https://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html
5.  hive中设置并行的研究：https://blog.csdn.net/oppo62258801/article/details/79468473