利用Sqoop实现MySQL与HDFS数据互导

曾经终败给现在 2022-06-04 00:50 156阅读 0赞

利用Sqoop将MySQL中的数据表导入到hdfs端：（表格的主键要存在）  
首先在MySQL的test数据库中有如下表格person：  
![这里写图片描述][SouthEast]  
在终端输入以下命令即可实现将person表导入到hdfs端：

sqoop import \
    --connect jdbc:mysql://localhost/test \ --username root --password 147369 \ --table person \ --target-dir /vagrant/person_hdfs \ --null-non-string '\\N';

其中import表示导入数据，connect行命令表示连接MySQL的test数据库，username和password为MySQL的用户名和密码，table为要导入的表格，target-dir为hdfs的目标位置，null-non-string ‘\\N’会将数据库表中的null值转化为Hive和Impala中的\\N,便于兼容。  
运行结果如下：  
![这里写图片描述][SouthEast 1]  
前往hdfs网页查看：  
![这里写图片描述][SouthEast 2]

利用Sqoop将hdfs端的数据表导入到MySQL：  
1.查看hdfs端数据的内容：  
![这里写图片描述][SouthEast 3]  
可知：person目录下的数据以’,’为分界符。我们的目标是将person目录下的全部数据导入到MySQL。  
2.在MySQL中创建相应格式的表格：

use test
    create table p(id int primary key, age int, sex int);

3.在终端输入以下命令即可实现将hdfs端person目录下的数据导入到MySQL中：

sqoop export \
    > --connect jdbc:mysql://localhost/test \
    > --username root --password 147369 \
    > --table p \
    > --export-dir /user/hive/warehouse/person/* \
    > --input-fields-terminated-by ',';

其中export命令表示导出数据，table为MySQL中test数据库的表格p，export-dir为hdfs端需要导出的目录，input-fields-terminated-by ‘,’表示hdfs端需要导出的数据的分界符为’,’。  
4.前往MySQL数据库查看：  
![这里写图片描述][SouthEast 4]  
Bingo，这样我们就利用Sqoop实现MySQL与HDFS数据互导。

--------------------

本次分享到此结束，欢迎大家交流与批评~~

[SouthEast]: /images/20220604/95603273399a4506b9670ee67c0590ea.png
[SouthEast 1]: /images/20220604/03ec8491f0a74171a55ff93c4084b539.png
[SouthEast 2]: /images/20220604/06d9cf1f775747be937053984a4de8e2.png
[SouthEast 3]: /images/20220604/ef0a8e1ca6d44e3299dd3888f734ebd8.png
[SouthEast 4]: /images/20220604/10140032b2c04695825f6d9bf8bec1aa.png

发表评论取消回复

表情：

评论列表（有 0 条评论，156人围观）

还没有评论，来说两句吧...

相关阅读

相关利用sqoop将hive和mysql数据互导入(转)

文章目录一、sqoop 将数据从mysql 导入 hive 二、sqoop 将数据从hive导出到 mysql 一、sqoop 将数据从mysql 导入

朱雀/ 2022年10月16日 02:57/ 0 赞/ 387 阅读

相关通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据

通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据下文将重点说明通过Sqoop实现Mysql与HDFS互导数据，Mysql与Hbase,

亦凉/ 2022年08月06日 01:14/ 0 赞/ 141 阅读

相关 sqoop实现Mysql、Oracle与hdfs之间数据的互导

通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据 SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把My

╰半橙微兮°/ 2022年08月06日 01:13/ 0 赞/ 117 阅读

相关 Sqoop2 从MySQL导入数据到Hadoop HDFS

前言 Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between

╰+攻爆jí腚メ/ 2022年07月08日 17:26/ 0 赞/ 199 阅读

相关利用Sqoop实现MySQL与HDFS数据互导

利用Sqoop将MySQL中的数据表导入到hdfs端：（表格的主键要存在）首先在MySQL的test数据库中有如下表格person： ![这里写图片描述][South

曾经终败给现在/ 2022年06月04日 00:50/ 0 赞/ 157 阅读

相关 [Hadoop] Sqoop实现hive和mysql数据互导

业务场景： MySQL有两张表，城市表city\_info,产品表product\_info； Hive里有一张表，用户点击数据表user\_click；要求

矫情吗；*/ 2022年05月21日 01:05/ 0 赞/ 152 阅读

相关 Sqoop从mysql导入数据至HDFS操作（sqoop初级）

后面文章打算用flume + kafka + SlipStream流处理结合起来做一个黑名单访问实时监测数据案例，所以就不单独介绍每个组件具体的用法了，直接在实战中让大家

超、凢脫俗/ 2022年05月19日 05:53/ 0 赞/ 520 阅读

相关 sqoop mysql到HDFS

Hadoop3版本可以用sqoop1 [参考地址][Link 1] 问题： ClassNotFoundException class 表名 not found 配置

灰太狼/ 2022年04月25日 08:28/ 0 赞/ 196 阅读

相关利用Sqoop将数据从MySQL到HDFS、从MySQL到HIVE

什么是Sqoop？ Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数

た入场券/ 2022年02月25日 04:50/ 0 赞/ 227 阅读

相关 Sqoop将hdfs上的数据导入到MySQL

1.所用的数据 user.txt 字段属性备注 uname varchar 用户名 vnum int

小咪咪/ 2021年12月11日 22:53/ 0 赞/ 346 阅读