Sqoop简介

客官°小女子只卖身不卖艺 2021-09-30 02:34 605阅读 0赞

## 一  Sqoop是什么 ##

![1161378-20180826104741478-1378176219.png][]

1.  Sqoop：SQL-to-Hadoop
2.  连接传统关系型数据库和Hadoop的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中； 把数据从 Hadoop 系统里抽取并导出到关系型数据库里
3.  利用MapReduce，批处理方式进行数据传输

## 二 Sqoop的优势 ##

1.  高效、可控的利用资源,任务并行度、超时时间等
2.  数据类型映射与转换可自动进行，用户也可自定义
3.  支持多种数据库（MySQL、Oracle、PostgreSQL）

## 三 Sqoop架构 ##

##  ![1161378-20180826115429837-598509410.png][] ##

##  四 Sqoop命令 ##

Sqoop import：将数据从关系型数据库导入Hadoop 中

步骤1 ：Sqoop 与数据库Server通信，获取数据库表的元数据信息；

步骤2 ：Sqoop 启动一个Map- Only 的MR 作业，利用元数据信息并行将数据写入Hadoop

### Sqoop import使用 ###

sqoop import \\ --connect jdbc:mysql://mysql.example.com/sqoop \\ --username sqoop \\ --password sqoop \\ --table person --target-dir

参数说明:

\--connnect: 指定JDBC URL

\--username/password ：mysql 数据库的用户名

\--table ：要读取的数据库表

\--hadoop-home hadoop目录

### Sqoop Export 使用 ###

将数据从Hadoop 导入关系型数据库导中

步骤1 ： Sqoop 与数据库Server通信，获取数据库表的元数据信息；

步骤2 ：并行导入数据： 将Hadoop 上文件划分成若干个split ； 每个split 由一个Map Task 进行数据导入

sqoop export \\ --connect jdbc:mysql://mysql.example.com/sqoop \\ --username sqoop \\ --password sqoop \\ --table cities \\ --export-dir cities --fields-terminated-by

\--connnect: 指定JDBC URL

\--username/password ：mysql 数据库的用户名

\--table ：要导入的数据库表

export-dir ：数据在HDFS 上存放目录

## ##

### Sqoop与其他系统结合 ###

Sqoop 可以与Oozie 、Hive 、Hbase 等系统结合

用户需要在sqoop-env.sh 中增加HBASE\_HOME 、HIVE\_HOME

转载于:https://www.cnblogs.com/hollowcabbage/p/9536785.html

[1161378-20180826104741478-1378176219.png]: /images/20210725/5996454d383f4253a33dfbf7bd906985.png
[1161378-20180826115429837-598509410.png]: /images/20210725/f699f613b49d4603a8a4c00791d83137.png