SQOOP 解决import时字段为NULL值的情况

绝地灬酷狼 2022-02-01 12:05 467阅读 0赞

想必有些朋友刚开始接触sqoop时,在从mysql(或者别的RDBMS)导入数据到hdfs后会发现原来在mysql中字段值明明是NULL, 为什么到hive查询后 where field is null 会没有结果呢,然后通过检查一看 居然NULL值都变成了字段串’null’。

其实你在导入的时候加上以下两个参数就可以解决了,

--null-string ‘\\N’

--null-non-string ‘\\N’

这里要注意一点。 在hive里面。NULL是用\N来表示的。你可以自己做个实验 insert overwrite table tb select NULL from tb1 limit 1;

然后在去查看原文件就可以发现了。

多提一点,如果在导入后发现数据错位了,或者有好多原来有值的字段都变成了NULL, 这是因为你原表varchar类型的字段中可能含有\n\r等一些特殊字符。

可以加上

--hive-drop-import-delims
-——————————
作者:randee_luo
来源:CSDN
原文:https://blog.csdn.net/jxlhc09/article/details/16856873/
版权声明:本文为博主原创文章,转载请附上博文链接!

发表评论

表情:
评论列表 (有 0 条评论,467人围观)

还没有评论,来说两句吧...

相关阅读

    相关 JackSon返回null字段

    说实话这个问题真的让我头疼,最终想到一个投机取巧的方法,下面且听我一一道来。 背景 因为mobile团队为了节省流量,所以架构组就把一些值为`null`或者`""`的字