sqoop迁移hive数据到mysql提示如下错误

灰太狼 2022-10-02 05:41 130阅读 0赞

Caused by: java.lang.RuntimeException: Can't parse input data: '{"com_juzi_id":"0","com_status_name":"正常","cat_name":"智能硬件","com_city":"北京","com_xiniu_id":"207573","com_logo_archive":"https://api.xiniudata.com/file/58a1e4e2b1d37e67782669a3","com_des":"请输入公司介绍，10-1000字","com_name":"**科技","com_registered_name":"北京**科技有限公司","tags":"[\"7c594ee93cbdf8a3ef8c9137591cc231\"]","cx_company_id":"00011c2190c6226a34dc4b9a269034e3"}'
    	at cx_company_detail_dev_cx.__loadFromFields(cx_company_detail_dev_cx.java:2129)
    	at cx_company_detail_dev_cx.parse(cx_company_detail_dev_cx.java:1882)
    	at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:89)
    	... 10 more
    Caused by: java.util.NoSuchElementException
    	at java.util.ArrayList$Itr.next(ArrayList.java:854)
    	at cx_company_detail_dev_cx.__loadFromFields(cx_company_detail_dev_cx.java:1934)

原因：数据来源于kafka,当时建表一路加上了ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe';

最终分区表建表可以不加，去掉即可sqoop导出，否则hive底层存储于hue查询出来的不一致，但hue查询出来的成功！

发表评论取消回复

表情：

评论列表（有 0 条评论，130人围观）

还没有评论，来说两句吧...

相关阅读

相关 sqoop数据迁移

1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDF

墨蓝/ 2022年11月21日 09:59/ 0 赞/ 191 阅读

相关使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入

亦凉/ 2022年10月10日 09:51/ 0 赞/ 555 阅读

相关 sqoop迁移hive数据到mysql提示如下错误

Caused by: java.lang.RuntimeException: Can't parse input data: '{"com_juzi_id":"0","

灰太狼/ 2022年10月02日 05:41/ 0 赞/ 131 阅读

相关 sqoop迁移数据提示如下

Caused by: java.lang.RuntimeException: Can't parse input data: '71a9bd3540d717ce9aaf

素颜马尾好姑娘i/ 2022年10月02日 05:40/ 0 赞/ 148 阅读

相关 sqoop 数据抽取到hive语法

在使用sqoop将数据库中的数据抽取到hive中时创建语法全量数据导入就像名字起的那样，全量数据导入就是一次性将所有需要导入的数据，从关系型数据库一次性地导入到Ha

- 日理万妓/ 2022年08月30日 11:42/ 0 赞/ 171 阅读

相关 sqoop导出hive数据到mysql错误ava.util.NoSuchElementException解决办法

sqoop错误日志： 14/05/08 12:25:40 INFO mapred.JobClient: Task Id : attempt\_201405071437\_00

╰半橙微兮°/ 2022年08月27日 04:47/ 0 赞/ 133 阅读

相关 sqoop把hive表数据导入到mysql中

应用： SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

左手的ㄟ右手/ 2022年08月05日 00:48/ 0 赞/ 346 阅读

相关 sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板 sqoop import \\ \--connect jdbc:mysql://ip:3306/test \\ \--username root \\

ゝ一世哀愁。/ 2022年03月08日 15:46/ 0 赞/ 339 阅读

相关 Sqoop导出Mysql到hdfs, Sqoop将Mysql导出到hive 01

1. Sqoop概述 sqoop是一款数据导入导出的工具，从关系型数据库到大数据平台，从大数据平台到关系型数据库 sqoop的版本分为两大类： s

女爷i/ 2022年02月27日 19:18/ 0 赞/ 273 阅读

相关 sqoop导出hive数据到mysql避免空值

sqoop export --connect jdbc:mysql://ip:3306/eqpt\_base\_db?characterEncoding=utf8 --user

╰+哭是因爲堅強的太久メ/ 2022年01月29日 06:06/ 0 赞/ 252 阅读