Hadoop之Sqoop架构以及应用介绍

逃离我推掉我的手 2022-06-13 09:55 260阅读 0赞

本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍[Hadoop][]业务的开发流程以及Sqoop在业务当中的实际地位。   
![这里写图片描述][20160525130543572]   
如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到[Hbase][][数据库][Link 1]中，而后通过数据仓库[Hive][]对[hbase][Hbase]中的数据进行统计与分析，分析之后将分析结果存入到[hive][Hive]表中，然后通过Sqoop这个工具将我们的数据挖掘结果导入到[MySQL][Link 1]数据库中，最后通过Web将结果展示给客户。   
向大家展示完[hadoop][Hadoop]业务开发流程之后，将进入到本篇文章的正题—-Sqoop[架构][Link 2]以及应用的介绍。

## 一、Sqoop架构介绍  ##

### 1、Sqoop的概念  ###

Sqoop：SQL–to–Hadoop   
正如Sqoop的名字所示：Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如 [mysql][Link 1]、 [Oracle][])中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、 [oracle][Oracle])中。如下图所示：   
![这里写图片描述][20160525133918335]

### 2、Sqoop架构  ###

Sqoop架构：   
![这里写图片描述][20160525142831507]   
正如上图所示：Sqoop工具接收到客户端的shell命令或者 [Java ][Java]api命令后，通过Sqoop中的任务翻译器(Task Translator)将命令转换为对应的MapReduce任务，而后将关系型数据库和Hadoop中的数据进行相互转移，进而完成数据的拷贝。

## 二、Sqoop应用介绍  ##

Sqoop作为一个数据转移工具，必须要掌握其具体用法，下面将围绕Sqoop import to HDFS、增量导入、批脚本执行、Sqoop import to Hive、Sqoop import to Hbase、Sqoop export 几个方面进行介绍。

### 1、Sqoop import to HDFS  ###

![这里写图片描述][20160525151135149]   
说明：   
\- -connect:指定JDBC的URL 其中database指的是(Mysql或者Oracle)中的数据库名   
\- -table：指的是要读取数据库database中的表名   
\- -username - -password:指的是Mysql数据库中的用户名和密码   
\- -target-dir:指的是HDFS中导入表的存放目录(注意：是目录)   
\- -fields-terminated-by ：设定导入数据后每个字段的分隔符   
\-m：并发的map数量   
\- -null-string:导入的字段为空时，用指定的字符进行替换   
\- -incremental append：增量导入   
\- -check-column:指定增量导入时的参考列   
\- -last-value:上一次导入的最后一个值   
下面给大家举一个例子进行相应说明：对于Mysql数据库，将hive数据库中的consumer表通过sqoop导入到HDFS中   
![这里写图片描述][20160525160112819]   
shell命令：

sqoop import --connect     jdbc:mysql://hadoop80:3306/hive     --table  consumer                --username root --password  admin    --target-dir /outdir/  --fields-terminated-by '\t'  -m 1 
     
      
       1
      
     
      
       1

运行结果如下图所示：   
![这里写图片描述][20160525161235674]   
通过Sqoop这个工具就将我们Mysql数据库中的数据导入到了HDFS中，上面的shell命令类似我们下面的shell操作：

hadoop jar   copy.jar   mysql://hadoop80:3306/hive/consumer /outdir/
     
      
       1
      
     
      
       1

### 2、增量导入  ###

在实际的工作当中都是数据库的表中数据不断增加的，比如刚才的consumer表，因此每次导入的时候只想导入增量的部分，不想将表中的数据在重新导入一次(费时费力)，即如果表中的数据增加了内容，就向Hadoop中导入一下，如果表中的数据没有增加就不导入—–这就是增量导入。   
\- -incremental append：增量导入   
\- -check-column:(增量导入时需要指定增量的标准—哪一列作为增量的标准)   
\- -last-value:(增量导入时必须指定参考列—–上一次导入的最后一个值，否则表中的数据又会被重新导入一次)   
以刚才的consumer表为例，我们向consumer表中增加两条记录，如下图所示：   
![这里写图片描述][20160525163302603]   
shell的增量操作：

sqoop import --connect     jdbc:mysql://hadoop80:3306/hive     --table  consumer                --username root --password  admin    --target-dir /outdir/  --fields-terminated-by '\t'  -m 1   --incremental append  --check-column  id  --last-value  4
     
      
       1
      
     
      
       1

增量导入的结果如下图所示：   
![这里写图片描述][20160525194055331]   
从运行结果可以看出，输出结果多了一个part-m-00001，而该文件中所包含的内容为：   
![这里写图片描述][20160525194705026]   
文件中的内容正是刚刚我们新增加的两条记录。

### 3、批量导入  ###

从上面导入的命令可以看出，命令行包含的命令太多了，太麻烦了，因此如果类似的作业太多的话，我们应该将其设置为一个作业，做成一个脚本文件。   
创建批脚本作业的shell命令：

sqoop   job  --create   job001 --    import --connect     jdbc:mysql://hadoop80:3306/hive                       --table  consumer         --username root --password  admin    --target-dir    /outdir/                                  --fields-terminated-by '\t'  -m 1 
     
      
       1
      
     
      
       1

通过sqoop job –list可以查看生成的批脚本文件：   
![这里写图片描述][20160525200359222]   
通过sqoop job –exec 即可运行我们刚才生成的脚本文件，将我们Mysql数据库中的consumer表中的数据导入到HDFS中，而不需要每次都写很长的命令来运行。

### 4、Sqoop import to hive  ###

![这里写图片描述][20160525202010697]   
说明：   
\- -connect:指定JDBC的URL 其中database指的是(Mysql或者Oracle)中的数据库名   
\- -table：指的是要读取数据库database中的表名   
\- -username - -password:指的是Mysql数据库中的用户名和密码   
\- -hive-import 指的是将数据导入到hive数据仓库中   
\- -create-hive-table 创建表，注意：如果表已经存在就不用写这个命令了，否则会报错   
\- -hive-table 指定databasename.tablename (哪个数据库中的哪个表)   
\- -fields-terminated-by ：设定导入数据后每个字段的分隔符   
\-m：并发的map数量   
\- -null-string:导入的字段为空时，用指定的字符进行替换   
\- -incremental append：增量导入   
\- -check-column:指定增量导入时的参考列   
\- -last-value:上一次导入的最后一个值   
同样，下面给大家举一个例子进行相应的说明：对于Mysql数据库，将hive数据库中的consumer表通过sqoop导入到Hive数据仓库中   
![这里写图片描述][20160525202657560]   
shell命令操作：

sqoop import --connect jdbc:mysql://hadoop80:3306/hive  --table consumer     --username root --password admin --hive-import  --create-hive-table  --hive-table d1.table1                  --fields-terminated-by  '\t'  -m 1
     
      
       1
      
     
      
       1

运行结果如下图所示：   
![这里写图片描述][20160525202928833]   
通过Sqoop这个工具就将我们Mysql数据库中的数据导入到了Hive数据仓库中，上面的shell命令类似我们下面的shell操作：

hadoop jar copy.jar  mysql://hadoop80:3306/hive/consumer /hive/d1.table1
     
      
       1
      
     
      
       1

即本质上通过sqoop这个工具完成的就是一个数据的拷贝工作。   
注：如果我们对sqoop import to hive不熟悉的话，我们可以先将数据库中的数据导入到HDFS的指定目录下，然后在Hive中创建一个外部表关联这个指定目录即可。

### 5、Sqoop import to hbase  ###

![这里写图片描述][20160525204350832]   
说明：   
\- -connect:指定JDBC的URL 其中database指的是(Mysql或者Oracle)中的数据库名   
\- -table：指的是要读取数据库database中的表名   
\- -username - -password:指的是Mysql数据库中的用户名和密码   
\- -hbase-create-table:表示在hbase中建立表   
\- -hbase-table A：指定在hbase中建立表A   
\- -column-family infor：表示在表A中建立列族infor。   
\- -hbase-row-key ：表示表A的row-key是consumer表的id字段   
\-m：并发的map数量   
\- -null-string:导入的字段为空时，用指定的字符进行替换   
\- -incremental append：增量导入   
\- -check-column:指定增量导入时的参考列   
\- -last-value:上一次导入的最后一个值   
下面给大家举一个例子进行相应的说明：对于Mysql数据库，将hive数据库中的consumer表通过sqoop导入到Hbase中：   
![这里写图片描述][20160525205359506]   
shell命令：

sqoop import --connect jdbc:mysql://hadoop80:3306/hive  --table consumer    --username root --password admin    --hbase-create-table     --hbase-table A      --column-family infor                      --hbase-row-key id --fields-terminated-by '\t'  -m 1
     
      
       1
      
     
      
       1

运行结果如下：   
![这里写图片描述][20160525205544290]   
通过Sqoop这个工具就将我们Mysql数据库中的数据导入到了Hbase中，上面的shell命令类似我们下面的shell操作：

hadoop jar copy.jar  mysql://hadoop80:3306/hive/consumer /hbase/A
     
      
       1
      
     
      
       1

### 5、Sqoop export  ###

![这里写图片描述][20160525211101390]   
下面给大家举一个例子进行相应的说明：假设将HDFS中的t1表通过sqoop导入到Mysql中的consumer表(事先必须存在)：   
HDFS中t1表的内容：   
![这里写图片描述][20160525220413022]   
MySql中已经创建好的consumer表：   
![这里写图片描述][20160525211420846]   
shell命令如下：

sqoop export --connect jdbc:mysql://hadoop80:3306/hive  --table consumer   --username  root --password admin  --export-dir  /outdir/  --fields-terminated-by '\t'  -m 1
     
      
       1
      
     
      
       1

运行结果，数据从HDFS的t1文件中成功的导入到了Mysql中的consumer表中：   
![这里写图片描述][20160525211624423]   
注：从Hadoop向数据库中导入数据时，数据库中相应的表事先必须创建好。

## 三、总结  ##

Sqoop作为一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具，对于我们来说更重要的在于灵活的运用这个工具。

使用中文参考手册：http://blog.csdn.net/myrainblues/article/details/43673129[点击打开链接][Link 3]

如有问题，欢迎留言。

[Hadoop]: http://lib.csdn.net/base/hadoop
[20160525130543572]: /images/20220613/5c173d534b6247bab0a3d51e158e47fb.png
[Hbase]: http://lib.csdn.net/base/hbase
[Link 1]: http://lib.csdn.net/base/mysql
[Hive]: http://lib.csdn.net/base/hive
[Link 2]: http://lib.csdn.net/base/architecture
[Oracle]: http://lib.csdn.net/base/oracle
[20160525133918335]: /images/20220613/efa4df0ed39b460793fd1f68494f7b3f.png
[20160525142831507]: /images/20220613/9ef4e4432216442a9a81bc5f7e576155.png
[Java]: http://lib.csdn.net/base/java
[20160525151135149]: /images/20220613/c20bbfde56ae4fbd918347948ed58600.png
[20160525160112819]: /images/20220613/020c8d16acd24b81b0bccd36f52df043.png
[20160525161235674]: /images/20220613/8e838af1b35e4e3787de7a0663cdcf0c.png
[20160525163302603]: /images/20220613/d25cf8eb61fc4b1eaa1bc0cda3727e86.png
[20160525194055331]: /images/20220613/3161c2d48a544819afaa64d22e00fec6.png
[20160525194705026]: /images/20220613/1690f6a045de404a853120b6ec852893.png
[20160525200359222]: /images/20220613/8f47d8bd90df4f4cb00be889db9ab94f.png
[20160525202010697]: /images/20220613/943f76527b154188acfb095a1dea9444.png
[20160525202657560]: /images/20220613/5fb9baa49d6944b8a44f40d09783d05f.png
[20160525202928833]: /images/20220613/cd6a6e29bd7b4e9ba9043faddd0a96ca.png
[20160525204350832]: /images/20220613/f945d63287514928bf29449b0afd3a86.png
[20160525205359506]: /images/20220613/6b77f0ad285341ff93a0f26e65515d43.png
[20160525205544290]: /images/20220613/bd6cef07f5f1439cb08d617182d7ad67.png
[20160525211101390]: /images/20220613/b2242751b4dc4d549d67eb7193b7ce60.png
[20160525220413022]: /images/20220613/a3d68ed79ec3416a84783007f7aa7a93.png
[20160525211420846]: /images/20220613/bf2c441f920d43189e9c9c9b39d56f3c.png
[20160525211624423]: /images/20220613/6f9f25cc130b4911b41207ce28de946f.png
[Link 3]: http://blog.csdn.net/myrainblues/article/details/43673129