使用Sqoop从PostgreSQL向Hive中迁移数据遇到的问题

叁歲伎倆 2022-04-10 06:39 261阅读 0赞

postgreSQL的界面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTgwNDA0OQ_size_16_color_FFFFFF_t_70][]

跟mysql不同之处就是，多了一个 2 ，这也是导致数据迁移错误原因

1.数据库名称   2.schema  3.表名

PostgreSQL中的对象属于三层模型，即database->schema->table。PostgreSQL中一般包含多个database，每个database包含多个schema，schema下包含多个表。因此使用sqoop抽取数据时有时需要指定表是属于哪个schema。

解决方案：在代码最后指定--schema

-- --schema 上图2的名称

整个代码如下

./sqoop import --connect jdbc:postgresql://***.***.***.***:38888/bigdata --username test --password test123 --table tb_ecar_gps_zhengzhou_standard  --fields-terminated-by '\t' -m 1 --target-dir '/sqoop/postgresql123' -- --schema benchmark_data;

参考文章：[https://blog.csdn.net/Post\_Yuan/article/details/79799980][https_blog.csdn.net_Post_Yuan_article_details_79799980]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTgwNDA0OQ_size_16_color_FFFFFF_t_70]: /images/20220402/b94ce86821f340eca9cb5da9937fae91.png
[https_blog.csdn.net_Post_Yuan_article_details_79799980]: https://blog.csdn.net/Post_Yuan/article/details/79799980

发表评论取消回复

表情：

评论列表（有 0 条评论，261人围观）

还没有评论，来说两句吧...

相关阅读

相关 sqoop数据迁移

1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDF

墨蓝/ 2022年11月21日 09:59/ 0 赞/ 202 阅读

相关 sqoop迁移hive数据到mysql提示如下错误

Caused by: java.lang.RuntimeException: Can't parse input data: '{"com_juzi_id":"0","

灰太狼/ 2022年10月02日 05:41/ 0 赞/ 143 阅读

相关 Hive中的数据迁移--迁移多库数据以及实际遇到的问题解决

Hive的数据迁移其实就是对Hive的数据进行导入导出的操作。如果数据表不是很多，我们可以直接使用Hive SQL来处理，一张一张表的导出，然后在进行导入。对Hive

浅浅的花香味﹌/ 2022年05月14日 07:39/ 0 赞/ 1095 阅读

相关使用Sqoop从PostgreSQL向Hive中迁移数据遇到的问题

postgreSQL的界面 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZ

叁歲伎倆/ 2022年04月10日 06:39/ 0 赞/ 262 阅读

相关 sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板 sqoop import \\ \--connect jdbc:mysql://ip:3306/test \\ \--username root \\

ゝ一世哀愁。/ 2022年03月08日 15:46/ 0 赞/ 356 阅读

相关数据迁移框架sqoop

数据迁移框架sqoop 一、启动Hadoop集群并连接测试 1.1 查看并启动Zookeeper服务 ![在这里插入图片描述][20190606122143356

不念不忘少年蓝@/ 2022年01月22日 12:59/ 0 赞/ 346 阅读

相关 Sqoop---数据迁移工具

[https://blog.csdn.net/u012453843/article/details/52951120][https_blog.csdn.net_u0124538

妖狐艹你老母/ 2021年12月09日 05:55/ 0 赞/ 273 阅读

相关利用sqoop从mysql向多分区hive表中导入数据

客户有需要需要把数据从传统数据库想hadoop平台迁移，他们利用sqoop将数据从oracle迁移到hive中。最近他们在迁移的时候碰到一个问题，说是从ORACLE以并行方式“

迈不过友情╰/ 2021年12月09日 04:55/ 0 赞/ 550 阅读

相关使用sqoop从pg导入hive

1、第一次导入全量数据 sqoop import --connect jdbc:postgresql://ip:5432/dc\_centerdb\_xy --us

た入场券/ 2021年09月26日 01:56/ 0 赞/ 660 阅读

相关 Sqoop数据迁移工具

[Sqoop 官方文档][Sqoop] 目录 1. Sqoop 数据导入 1.1. 导入 MySQL 数据到 HDFS 1.1.1. 普通导入

悠悠/ 2021年09月23日 07:26/ 0 赞/ 396 阅读