详解：Sqoop的介绍

梦里梦外; 2024-02-19 20:14 18阅读 0赞

## 一：Sqoop的介绍 ##

**官网：[http://sqoop.apache.org][http_sqoop.apache.org]**

Sqoop : SQL to Hadoop的缩写  
SQL: RDBMS  
Hadoop: HDFS/Hive/HBase

Apache Sqoop  
Apache Sqoop™ is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases.  
Apache Sqoop（TM）是一种工具，用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据 。  
数据交换的一座桥梁

### **需求：** ###

HDFS ===> RDBMS  
RDBMS ==> HDFS  
需要把 关系型数据库上面的数据 导入到hdfs上面去，才可以进行分布式操作

Sqoop其实就是一个mr jar包，底层实现就是mr

### **方向：** ###

有一个出发点的：Hadoop  
导入：RDBMS ==> Hadoop  
导出：Hadoop ==> RDBMS

### 版本： ###

Sqoop1.x  
Sqoop2.x  
2的使用比1的使用麻烦的多 1在公司覆盖率达到百分之90 ，功能足够使用了

### Sqoop1 的架构 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]

为什么Sqoop1.x中不需要ReduceTask，仅仅MapTask就ok了  
不需要计算，根本就不需要reduce

[http_sqoop.apache.org]: http://sqoop.apache.org
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/e75470341115407aa7d74f5d2895fbde.png

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关详解：Sqoop的导入和导出数据

一：导入数据导入：RDBMS ==> Hadoop [hadoop@hadoop001 bin]$ pwd /home/hadoop/app/sq

r囧r小猫/ 2024年02月19日 20:20/ 0 赞/ 10 阅读

相关详解：Sqoop的安装

Sqoop安装也可以通过外部ui来搞，这样可以更方便，但是我们这里是手工安装的，为了锻炼基本功一：下载因为我用的是CHD 版本所以不再官网下载百

Myth丶恋晨/ 2024年02月19日 20:14/ 0 赞/ 20 阅读

相关详解：Sqoop的介绍

一：Sqoop的介绍官网：[http://sqoop.apache.org][http_sqoop.apache.org] Sqoop : SQL to Hadoop

梦里梦外;/ 2024年02月19日 20:14/ 0 赞/ 19 阅读

相关 Sqoop 使用详解

Sqoop 概述 Sqoop 是Apache 旗下的一款开源工具，用于Hadoop与关系型数据库之间传送数据，其核心功能有两个：导入数据和导出数据。导入数据是指将MySQ

左手的ㄟ右手/ 2023年10月10日 16:14/ 0 赞/ 7 阅读

相关大数据开发之Sqoop详细介绍

备注: 测试环境 CDH 6.3.1 Sqoop 1.4.7 文章目录一.Sqoop概述二.Sqoop 工具概述三.Sqoon工具详

妖狐艹你老母/ 2022年12月28日 09:16/ 0 赞/ 170 阅读

相关数据转换工具Sqoop详解！

目录一、Sqoop服务架构二、Sqoop import讲解（1）准备数据（2）import相关

谁践踏了优雅/ 2022年11月21日 09:53/ 0 赞/ 124 阅读

相关 hive中 sqoop详解

sqoop RDBMS ----> HDFS HIVE HBASE HDFS HIVE HBASE ----> RDBMS

àì夳堔傛蜴生んèń/ 2022年07月15日 06:38/ 0 赞/ 231 阅读

相关 Hadoop之Sqoop架构以及应用介绍

本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍[Hadoop][]业务的开发流程以及Sqoop在业务当中的实际地位。 ![这里写图片描述][2016052

逃离我推掉我的手/ 2022年06月13日 09:55/ 0 赞/ 260 阅读

相关 sqoop介绍与安装

sqoop介绍与安装 1 概述 sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：将关系型结构化数据如MyS

骑猪看日落/ 2022年06月12日 11:23/ 0 赞/ 228 阅读

相关 Sqoop-hive的参数介绍

hive参数介绍 <table> <tbody> <tr> <td style="border-right-style:none;border-bot

小鱼儿/ 2021年11月26日 11:32/ 0 赞/ 281 阅读