CDH6中Impala3报错UDF ERROR: String to Decimal parse failed

冷不防 2023-05-29 02:50 12阅读 0赞

执行impala-shell或者在HUE中执行查询的时候会在对decimal类型做四则运算或聚合操作时出现此错误信息，这个错误只出现在CDH6以上的版本/impala3以上，我们也是在集群升级CDH6之后才遇到这个错误。

UDF ERROR:String to Decimal cast overflowed

UDF ERROR: String to Decimal parse failed

![20191101201544338.png][]

出现这个错误的原因是因为CDH6中impala升级到impala3之后decimal格式做了升级，在官方文档中可以看到区别：

[https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/impala\_decimal.html][https_docs.cloudera.com_documentation_enterprise_6_6.0_topics_impala_decimal.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70][]

官方也给出了解决方案： SET DECIMAL\_V2=FALSE;  这样子就不会报错了，但是这个配置是session级别的，我们得想办法配置成为全局的，以保证所有impala-shell调用的sql脚本无需修改就可以正常运行。

这里我参考官方文档的配置在impala的配置文件~/.impalarc 里加上此配置即可：

[https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/impala\_shell\_options.html][https_docs.cloudera.com_documentation_enterprise_6_6.0_topics_impala_shell_options.html]

[impala.query_options]
    DECIMAL_V2=FALSE

![20191101195750375.png][]

加上这个配置之后，该用户执行impala-shell调用脚本时就不会报UDF ERROR:String to Decimal cast overflowed 这个错误了。

如果有多个用户执行脚本需要在每个用户主目录下新建或修改.impalarc文件加上这个配置。

注意这个配置只解决impala-shell命令执行的sql，并不能解决HUE里的这个问题，原因也是因为此配置是session级别的，且impalarc文件是impala-shell在执行的时候会去检查的配置文件，跟HUE没什么关系。

**可以看到impala-shell.py里面先读默认配置文件impalarc，默认配置文件impalarc在impala\_shell\_config\_defaults.py中获取.**

![20191101200824462.png][]

**在配置文件impala\_shell\_config\_defaults.py中可以看到config\_file是'~/.impalarc'。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1][]

因此如果在HUE里执行SQL查询的时候如果遇到上面的错误，还是需要在HUE的窗口里先执行一下SET DECIMAL\_V2=FALSE;

然后就可以欢乐的玩耍了，只要HUE窗口没有关闭就可以正常使用。

--------------------

扩展：

在该配置文件.impalarc中：

\[impala\] 下面的配置为系统配置 即 impala-shell -h 之后的那些参数配置。

\[impala.query\_options\]下面的配置为session配置即set xxx=yyy;这样的配置，会给每个会话生效。

[20191101201544338.png]: https://img-blog.csdnimg.cn/20191101201544338.png
[https_docs.cloudera.com_documentation_enterprise_6_6.0_topics_impala_decimal.html]: https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/impala_decimal.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191101195418767.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx,size_16,color_FFFFFF,t_70
[https_docs.cloudera.com_documentation_enterprise_6_6.0_topics_impala_shell_options.html]: https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/impala_shell_options.html
[20191101195750375.png]: https://img-blog.csdnimg.cn/20191101195750375.png
[20191101200824462.png]: https://img-blog.csdnimg.cn/20191101200824462.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191101201403220.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx,size_16,color_FFFFFF,t_70