sqoop简介

Myth丶恋晨 2023-10-13 22:48 45阅读 0赞

![企业微信截图\_16865733749322][16865733749322]

#### Sqoop简介以及使用 ####

##### Sqoop是什么 #####

Sqoop是一个用于**Hadoop**和**结构化数据存储**（如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面：  
可以使用Sqoop将数据从**关系型数据库管理系统(如MySql)导入到Hadoop系统**(如HDFS、Hive、HBase)中将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)

##### 底层实现原理 #####

Sqoop的**核心设计思想是利用MapReduce加快数据传输速度**。也就是说Sqoop的导入和导出功能是通过基于Map Task（只有map）的MapReduce作业实现的。所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。

--------------------

> 官网介绍：  
> Apache Sqoop(TM) is a tool designed for efficiently transferring bulk  
> data between Apache Hadoop and structured datastores such as relational databases.

Sqoop结构图:

![0e862c24f12b128bcf5e1587ceaffdec.png][]

##### 特点 #####

*  优点：它可以将跨平台的数据进行整合。
 *  缺点：它不是很灵活。

主要执行操作

Mysql-->HDFS:import
    Mysql-->Hive:import
    Mysql-->HBase:import
    HDFS-->Mysql:export
    Hive-->Mysql:export

--------------------

Sqoop的重要的几个关键词

*  ==import== ： 从关系型数据库到Hadoop
 *  ==export== ： 从Hadoop到关系型数据库。

### **更多大数据精彩内容欢迎B站搜索“[千锋教育][Link 1]”或者扫码领取全套资料** ###

【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频

[16865733749322]: https://img-blog.csdnimg.cn/img_convert/822f1c53fd28c2e7f10f0e1b36d89aca.png
[0e862c24f12b128bcf5e1587ceaffdec.png]: https://img-blog.csdnimg.cn/img_convert/0e862c24f12b128bcf5e1587ceaffdec.png
[Link 1]: https://space.bilibili.com/146668655?spm_id_from=333.337.0.0