修炼离线：（六）hive通过sqoop同步数据到mysql

超、凢脫俗 2024-03-02 09:14 43阅读 0赞

## 一：同步脚本。 ##

#!/bin/sh
    
    mysqlHost=$1
    mysqlUserName=$2
    mysqlUserPass=$3
    mysqlDbName=$4
    myqlTbName=$5
    hiveDbName=$6
    hiveTbName=$7
    partFieldName=$8
    inputDate=$9
    updateFieldName=${
       10}
    
    echo ${mysqlHost}
    echo ${mysqlUserName}
    echo ${mysqlUserPass}
    echo ${mysqlDbName}
    echo ${myqlTbName}
    echo ${hiveDbName}
    echo ${hiveTbName}
    echo ${partFieldName}
    echo ${inputDate}
    echo ${updateFieldName}
    
    sqoop export --connect jdbc:mysql://${mysqlHost}/${mysqlDbName} \
    --username ${mysqlUserName} \
    --password ${mysqlUserPass} \
    --table ${myqlTbName} \
    --hcatalog-database ${hiveDbName} \
    --hcatalog-table ${hiveTbName} \
    --hcatalog-partition-keys ${partFieldName}  \
    --hcatalog-partition-values ${inputDate} \
    --update-key ${updateFieldName} \
    --update-mode allowinsert \
    --m 1

## 二：同步命令。 ##

sh hive_mysql.sh xx.xx.xx.xx root 123456 dongfeng bluetooth_device ods ods_dk_bluetooth_idk_bluetooth_device p_dt 2023-09-19 p_dt

发表评论取消回复

表情：

评论列表（有 0 条评论，43人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据bug-sqoop（二：sqoop同步mysql数据到hive进行字段限制。）

一：sqoop脚本解析。！/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

川长思鸟来/ 2024年03月23日 23:19/ 0 赞/ 70 阅读

相关修炼离线：（六）hive通过sqoop同步数据到mysql

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

超、凢脫俗/ 2024年03月02日 09:14/ 0 赞/ 44 阅读

相关修炼离线：（五）hbase映射表插入hive

一：创建hive表。 sql --drop table if exists ods.odsyyy; create table if not exi

约定不等于承诺〃/ 2024年03月02日 09:10/ 0 赞/ 37 阅读

相关 hive到mysql数据同步_datax实战-hive同步数据到mysql

\{ "core": \{ "transport": \{ "channel": \{ "speed": \{ "record": "10000", "byte":

淩亂°似流年/ 2023年01月12日 04:24/ 0 赞/ 226 阅读

相关使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入

亦凉/ 2022年10月10日 09:51/ 0 赞/ 611 阅读

相关 sqoop 数据抽取到hive语法

在使用sqoop将数据库中的数据抽取到hive中时创建语法全量数据导入就像名字起的那样，全量数据导入就是一次性将所有需要导入的数据，从关系型数据库一次性地导入到Ha

- 日理万妓/ 2022年08月30日 11:42/ 0 赞/ 211 阅读

相关 sqoop把hive表数据导入到mysql中

应用： SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

左手的ㄟ右手/ 2022年08月05日 00:48/ 0 赞/ 394 阅读

相关 sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板 sqoop import \\ \--connect jdbc:mysql://ip:3306/test \\ \--username root \\

ゝ一世哀愁。/ 2022年03月08日 15:46/ 0 赞/ 399 阅读

相关 Sqoop导出Mysql到hdfs, Sqoop将Mysql导出到hive 01

1. Sqoop概述 sqoop是一款数据导入导出的工具，从关系型数据库到大数据平台，从大数据平台到关系型数据库 sqoop的版本分为两大类： s

女爷i/ 2022年02月27日 19:18/ 0 赞/ 316 阅读

相关 sqoop导出hive数据到mysql避免空值

sqoop export --connect jdbc:mysql://ip:3306/eqpt\_base\_db?characterEncoding=utf8 --user

╰+哭是因爲堅強的太久メ/ 2022年01月29日 06:06/ 0 赞/ 311 阅读