使用sqoop从pg导入hive

た入场券 2021-09-26 01:56 689阅读 0赞

###  1、第一次导入全量数据 ###

sqoop import --connect jdbc:postgresql://ip:5432/dc\_centerdb\_xy   --username dc\_center\_xy --password pg123 --verbose -m 5  --split-by ccc\_dx\_etl\_time --table anaphylaxis\_info --hive-import --hive-database emr\_center --hive-partition-key  import\_date  --hive-partition-value old\_all  --hive-delims-replacement '\_N\_' --hive-overwrite --fields-terminated-by '\\001' --null-string '' --null-non-string '' ''

###  2、后续每天导入增量数据 ###

today=\`date "+%Y-%m-%d"\`

timestamp=\`date -d "$today 00:00:00" +%s\`  
unix\_timestamp=\`expr $timestamp \\\* 1000\`  
now\_date=\`date +%Y%m%d\`  
  
  
sqoop import --connect jdbc:postgresql://ip:5432/dc\_centerdb\_xy   --username dc\_center\_xy --password pg123  --verbose -m 1   --table anaphylaxis\_info --where "ccc\_dx\_etl\_time > unix\_timestamp " --hive-import --hive-database emr\_center --hive-partition-key  import\_date  --hive-partition-value $now\_date  --hive-delims-replacement '\_N\_' --hive-overwrite --fields-terminated-by '\\001' --null-string '' --null-non-string '' ''

发表评论取消回复

表情：

评论列表（有 0 条评论，689人围观）

还没有评论，来说两句吧...

相关阅读

相关 Sqoop 从MySQL 导入导出HDFS

1.Sqoop 导入(import)HDFS 从MySQL导入到HDFS Caused by: java.sql.SQLException: Acce

分手后的思念是犯贱/ 2023年06月20日 06:21/ 0 赞/ 20 阅读

相关使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入

亦凉/ 2022年10月10日 09:51/ 0 赞/ 611 阅读

相关 sqoop将Mysql数据导入Hive中

本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-8 1 mysql创建表 DROP TABLE IF EXISTS \`testsqoop\`; CR

r囧r小猫/ 2022年08月31日 09:49/ 0 赞/ 263 阅读

相关 Sqoop从mysql导入数据至HDFS操作（sqoop初级）

后面文章打算用flume + kafka + SlipStream流处理结合起来做一个黑名单访问实时监测数据案例，所以就不单独介绍每个组件具体的用法了，直接在实战中让大家

超、凢脫俗/ 2022年05月19日 05:53/ 0 赞/ 563 阅读

相关 sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板 sqoop import \\ \--connect jdbc:mysql://ip:3306/test \\ \--username root \\

ゝ一世哀愁。/ 2022年03月08日 15:46/ 0 赞/ 399 阅读

相关 sqoop 导入 hive

sqoop 导入 Hive 分三步： 1. 先导入`--target-dir` 指定的 HDFS 的目录中 2. 在 Hive 中建表 3. 调用 Hive 的 `

矫情吗；*/ 2022年01月25日 22:09/ 0 赞/ 443 阅读

相关 sqoop将postgresql表导入hive表

使用sqoop导入数据至hive常用语句直接导入hive表 sqoop import --connect jdbc:postgresql:/

秒速五厘米/ 2021年12月09日 05:49/ 0 赞/ 429 阅读

相关利用sqoop从mysql向多分区hive表中导入数据

客户有需要需要把数据从传统数据库想hadoop平台迁移，他们利用sqoop将数据从oracle迁移到hive中。最近他们在迁移的时候碰到一个问题，说是从ORACLE以并行方式“

迈不过友情╰/ 2021年12月09日 04:55/ 0 赞/ 577 阅读

相关使用sqoop从pg导入hive

1、第一次导入全量数据 sqoop import --connect jdbc:postgresql://ip:5432/dc\_centerdb\_xy --us

た入场券/ 2021年09月26日 01:56/ 0 赞/ 690 阅读

相关 sqoop将hive数据导入mysql

1.解压 tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量，编辑/etc/profile文件，添...

朱雀/ 2020年10月24日 16:26/ 0 赞/ 914 阅读