将数据从数据仓库Hive导入到MySQL

桃扇骨 2022-10-10 09:52 178阅读 0赞

1.启动Hadoop，hive，mysql

2.在mysql中建表（需要导入数据的）

mysql> CREATE TABLE `dbtaobao`.`user_log` (`user_id` varchar(20),`item_id` varchar(20),`cat_id` varchar(20),`merchant_id` varchar(20),`brand_id` varchar(20), `month` varchar(6),`day` varchar(6),`action` varchar(6),`age_range` varchar(6),`gender` varchar(6),`province` varchar(10)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3.选择数据仓库live中的数据：
    建临时表：

create table dbtaobao.inner_user_log(user_id INT,item_id INT,cat_id INT,merchant_id INT,brand_id INT,month STRING,day STRING,action INT,age_range INT,gender INT,province STRING) COMMENT 'Welcome to XMU dblab! Now create inner table inner_user_log ' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

选中要被导出的数据：

INSERT OVERWRITE TABLE dbtaobao.inner_user_log select * from dbtaobao.user_log;

3.使用Sqoop将数据从Hive导入MySQL

![0bdd582469f198fed826c8d81bb91c7b.png][]

字段值解释：
    localhost:3306/dbtaobao   -->(数据库名）MySQL
    table：user_log    -->(将要被你导入数据的mysql数据库表名）
    export-dir：’********‘     -->HDFS上文件的路径（数据仓库hive中需要被导出的数据库表）
    fields-terminated-by ','    -->Hive 中被导出的文件字段的分隔符

[0bdd582469f198fed826c8d81bb91c7b.png]: /images/20221005/31ff15e64f1748a6b1fc7d134f059a3b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，178人围观）

还没有评论，来说两句吧...

相关阅读

相关数据仓库 Hive 从入门到小牛(一)

目录一、数据仓库的介绍 1.1 数据仓库的基本概念 1.2 数据仓库的主要特征 1.3 数据仓库与数据库区别

逃离我推掉我的手/ 2022年10月20日 01:17/ 0 赞/ 138 阅读

相关将数据从数据仓库Hive导入到MySQL

1.启动Hadoop，hive，mysql 2.在mysql中建表（需要导入数据的） mysql> CREATE TABLE `dbtaobao`.`user_lo

桃扇骨/ 2022年10月10日 09:52/ 0 赞/ 179 阅读

相关使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入

亦凉/ 2022年10月10日 09:51/ 0 赞/ 551 阅读

相关如何将mysql数据导入hive中

1.首先在hive中建表（尽量与mysql字段对应） ![260605fe39f130f8a64af2b7d9780581.png][] 2. 将mysql中的表导出 t

叁歲伎倆/ 2022年10月10日 04:52/ 0 赞/ 179 阅读

相关 sqoop将Mysql数据导入Hive中

本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-8 1 mysql创建表 DROP TABLE IF EXISTS \`testsqoop\`; CR

r囧r小猫/ 2022年08月31日 09:49/ 0 赞/ 212 阅读

相关如何将excel中的数据导入hive仓库中

将存放在excel表中的数据如何导入到hive中，首先前提是excel表中数据类型以及长度要和hive仓库中表的字段属性一致，否则会报异常。其次因为建表的时

谁借莪１个温暖的怀抱￠/ 2022年05月30日 05:24/ 0 赞/ 302 阅读

相关 sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板 sqoop import \\ \--connect jdbc:mysql://ip:3306/test \\ \--username root \\

ゝ一世哀愁。/ 2022年03月08日 15:46/ 0 赞/ 331 阅读

相关利用Sqoop将数据从MySQL到HDFS、从MySQL到HIVE

什么是Sqoop？ Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数

た入场券/ 2022年02月25日 04:50/ 0 赞/ 219 阅读

相关从Oracle导入数据到Hive中

从Oracle导入数据到Hive中查看oracle中的数据及数据类型 Oracle字段类型

痛定思痛。/ 2021年09月23日 09:16/ 0 赞/ 1062 阅读

相关 sqoop将hive数据导入mysql

1.解压 tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量，编辑/etc/profile文件，添...

朱雀/ 2020年10月24日 16:26/ 0 赞/ 859 阅读