sqoop 错误记录

电玩女神 2022-06-06 01:08 169阅读 0赞

sqoop命令有点长， 我们初学者难免会犯种种错误， 以下是我遇到的和可行的解决办法

## 1 ##

Error: java.io.IOException: SQLException in nextKeyValue

解决办法：  
这个有可能是数据库字段语句写的有问题，如下语句就会报此错误:  
sqoop import –hive-import –connect jdbc:mysql://localhost:3306/my\_db –username hive –password 1234 –table t\_stu –columns ‘name,sex’ -m 1 –hive-table t\_stu –where ‘sex=man’;  
这是将mysql表导入到hive中， 出错地方就在’sex=man’ 因为sex字段是char类型，所以应该改成”sex=’man’” 即可

--------------------

## 2 ##

Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/t\_stu already exists

解决办法: 在hadoop 的 /user/hadoop目录下存在t\_stu, 删除掉即可

--------------------

## 3 ##

Encountered IOException running import job: java.io.IOException: Query \[select \* from t\_stu where sex=’woman’ AND \] must contain ‘$CONDITIONS’ in WHERE clause.

这个错误是需要在查询语句后添加 AND`$CONDITIONS`如下语句（注意：当使用单引号时只需要使用AND $CONDITIONS 若是双引号则需要加个”\\”, 就是这样`AND \$CONDITIONS`）

sqoop import --hive-import --connect jdbc:mysql://localhost:3306/my_db --username hive --password 1234 -m 1 --query "select * from t_stu where sex='woman' AND \$CONDITIONS" --target-dir '/sqoop/newtable' --hive-table newtable

--------------------

## 4 ##

ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set  
解决办法： 将mysql连接驱动换成高版本的

发表评论取消回复

表情：

评论列表（有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读

相关记录sqoop导入过程中出现的问题

ava.io.IOException: No columns to generate for ClassWriter 可以通过添加这个–driver com.mysql...

水深无声/ 2024年04月17日 05:29/ 0 赞/ 43 阅读

相关错误日志记录

1. 命令失败:npm安装——日志级别错误(解：文件路径不能有中文) 2. eslint报错Missing space before fun

绝地灬酷狼/ 2022年12月27日 11:30/ 0 赞/ 111 阅读

相关 sqoop 启动报配置错误

ble rds.customer --hive-overwrite Error: /home/banxian/sqoop1/bin/../../hadoop d

「爱情、让人受尽委屈。」/ 2022年12月01日 14:15/ 0 赞/ 104 阅读

相关 sqoop 错误记录

sqoop命令有点长，我们初学者难免会犯种种错误，以下是我遇到的和可行的解决办法 1 Error: java.io.IOException: SQLExceptio

电玩女神/ 2022年06月06日 01:08/ 0 赞/ 170 阅读

相关 sqoop

sqoop有什么用？ sqoop 用来在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递 -----------------

秒速五厘米/ 2022年06月06日 01:08/ 0 赞/ 193 阅读

相关 sqoop工具安装和基本命令使用记录

> sqoop底层就是MR，利用MapReduce加快数据传输速度，批处理方式进行数据传输，sqoop不管是导入还是导出都没有reduce操作，只有map操作。安装sqo

电玩女神/ 2022年05月28日 05:06/ 0 赞/ 157 阅读

相关 20180611早课记录28-Sqoop

1.sqoop是什么? 主要用于在Hadoop与RDBMS间进行数据的传递 2.sqoop分为哪两个分支，各最新版本是什么? sqoop1：1.4.7 sqo

叁歲伎倆/ 2022年05月22日 00:07/ 0 赞/ 121 阅读

相关错误解决记录

情形：pip安装tensorlayer的时候出现错误错误提示： Cannot uninstall 'scikit-learn'. It is a distutils in

布满荆棘的人生/ 2022年05月21日 13:24/ 0 赞/ 210 阅读

相关 pwn错误记录

很简单的pwn题 ![在这里插入图片描述][20190506110147468.png] ![在这里插入图片描述][20190506110213374.png] 检

柔情只为你懂/ 2022年04月25日 06:06/ 0 赞/ 224 阅读

相关 Sqoop

sqoop flume数据采集采集日志数据 sqoop数据迁移 hdfs->mysql azkaban任务调度 flume->hdfs->shell->hive-

矫情吗；*/ 2021年12月03日 07:01/ 0 赞/ 268 阅读