sqoop简介

Myth丶恋晨 2023-10-13 22:48 106阅读 0赞

![企业微信截图\_16865733749322][16865733749322]

#### Sqoop简介以及使用 ####

##### Sqoop是什么 #####

Sqoop是一个用于**Hadoop**和**结构化数据存储**（如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面：  
可以使用Sqoop将数据从**关系型数据库管理系统(如MySql)导入到Hadoop系统**(如HDFS、Hive、HBase)中将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)

##### 底层实现原理 #####

Sqoop的**核心设计思想是利用MapReduce加快数据传输速度**。也就是说Sqoop的导入和导出功能是通过基于Map Task（只有map）的MapReduce作业实现的。所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。

--------------------

> 官网介绍：  
> Apache Sqoop(TM) is a tool designed for efficiently transferring bulk  
> data between Apache Hadoop and structured datastores such as relational databases.

Sqoop结构图:

![0e862c24f12b128bcf5e1587ceaffdec.png][]

##### 特点 #####

*  优点：它可以将跨平台的数据进行整合。
 *  缺点：它不是很灵活。

主要执行操作

Mysql-->HDFS:import
    Mysql-->Hive:import
    Mysql-->HBase:import
    HDFS-->Mysql:export
    Hive-->Mysql:export

--------------------

Sqoop的重要的几个关键词

*  ==import== ： 从关系型数据库到Hadoop
 *  ==export== ： 从Hadoop到关系型数据库。

### **更多大数据精彩内容欢迎B站搜索“[千锋教育][Link 1]”或者扫码领取全套资料** ###

【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频

[16865733749322]: https://img-blog.csdnimg.cn/img_convert/822f1c53fd28c2e7f10f0e1b36d89aca.png
[0e862c24f12b128bcf5e1587ceaffdec.png]: https://img-blog.csdnimg.cn/img_convert/0e862c24f12b128bcf5e1587ceaffdec.png
[Link 1]: https://space.bilibili.com/146668655?spm_id_from=333.337.0.0

发表评论取消回复

表情：

评论列表（有 0 条评论，106人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据入门核心技术-Sqoop】（一）Sqoop简介

目录一、Spoop是做什么的? 二、基本概述三、Sqoop应用 -------------------- 一、Spoop是做什么的? Sqoop(发音：sk

梦里梦外;/ 2024年03月31日 16:39/ 0 赞/ 111 阅读

相关 sqoop简介

![企业微信截图\_16865733749322][16865733749322] Sqoop简介以及使用 Sqoop是什么 Sqoop是一个用于Hadoop和结

Myth丶恋晨/ 2023年10月13日 22:48/ 0 赞/ 107 阅读

相关一、Sqoop 简介及安装

1、简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、 postgresql...)间进行数据的传递，可以将一个关系型数

分手后的思念是犯贱/ 2023年06月02日 07:56/ 0 赞/ 7 阅读

相关 sqoop简介与安装配置

SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

你的名字/ 2022年08月05日 16:24/ 0 赞/ 187 阅读

相关 Sqoop简介与实例

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例

た入场券/ 2022年07月13日 09:42/ 0 赞/ 170 阅读

相关 sqoop_简介及安装

一、简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库间进行数据的传递，可以将一个关系型数据库（例如：MySQL ,Ora

左手的ㄟ右手/ 2022年05月25日 08:48/ 0 赞/ 230 阅读

相关 Sqoop基本语法简介

简介：本篇文章主要介绍sqoop的基本语法及简单使用方法。 1.查看命令帮助 [hadoop@hadoop000 ~]$ sqoop help u

约定不等于承诺〃/ 2022年05月21日 09:28/ 0 赞/ 131 阅读

相关 Sqoop简介及安装

一、Sqoop简介 > Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。二、Sqoop

Bertha 。/ 2022年05月20日 23:51/ 0 赞/ 232 阅读

相关 Sqoop简介及安装部署

简介： > Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导

青旅半醒/ 2022年05月20日 20:42/ 0 赞/ 193 阅读

相关 Sqoop简介

一 Sqoop是什么 ![1161378-20180826104741478-1378176219.png][] 1. Sqoop：SQL-to-Hadoop 2.

客官°小女子只卖身不卖艺/ 2021年09月30日 02:34/ 0 赞/ 608 阅读