sqoop的导入导出

古城微笑少年丶 2022-03-15 11:14 336阅读 0赞

**1.Sqoop的数据导入**

在mysql中有一个库userdb中三个表：emp, emp\_add和emp\_contact

表emp:

<table style="margin-left:6.75pt;width:327.55pt;"> 
 <tbody> 
 <tr> 
 <td style="width:49.6pt;"> id </td> 
 <td style="width:72.8pt;"> name </td> 
 <td style="width:96pt;"> deg </td> 
 <td style="width:61.2pt;"> salary </td> 
 <td style="width:47.95pt;"> dept </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:49.6pt;"> 1201 </td> 
 <td style="vertical-align:top;width:72.8pt;"> gopal </td> 
 <td style="vertical-align:top;width:96pt;"> manager </td> 
 <td style="vertical-align:top;width:61.2pt;"> 50,000 </td> 
 <td style="vertical-align:top;width:47.95pt;"> TP </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:49.6pt;"> 1202 </td> 
 <td style="vertical-align:top;width:72.8pt;"> manisha </td> 
 <td style="vertical-align:top;width:96pt;"> Proof reader </td> 
 <td style="vertical-align:top;width:61.2pt;"> 50,000 </td> 
 <td style="vertical-align:top;width:47.95pt;"> TP </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:49.6pt;"> 1203 </td> 
 <td style="vertical-align:top;width:72.8pt;"> khalil </td> 
 <td style="vertical-align:top;width:96pt;"> php dev </td> 
 <td style="vertical-align:top;width:61.2pt;"> 30,000 </td> 
 <td style="vertical-align:top;width:47.95pt;"> AC </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:49.6pt;"> 1204 </td> 
 <td style="vertical-align:top;width:72.8pt;"> prasanth </td> 
 <td style="vertical-align:top;width:96pt;"> php dev </td> 
 <td style="vertical-align:top;width:61.2pt;"> 30,000 </td> 
 <td style="vertical-align:top;width:47.95pt;"> AC </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:49.6pt;"> 1205 </td> 
 <td style="vertical-align:top;width:72.8pt;"> kranthi </td> 
 <td style="vertical-align:top;width:96pt;"> admin </td> 
 <td style="vertical-align:top;width:61.2pt;"> 20,000 </td> 
 <td style="vertical-align:top;width:47.95pt;"> TP </td> 
 </tr> 
 </tbody> 
</table>

表emp\_add:

<table style="margin-left:-.6pt;width:326.3pt;"> 
 <tbody> 
 <tr> 
 <td style="width:70.05pt;"> id </td> 
 <td style="width:72.3pt;"> hno </td> 
 <td style="width:87.6pt;"> street </td> 
 <td style="width:96.35pt;"> city </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:70.05pt;"> 1201 </td> 
 <td style="vertical-align:top;width:72.3pt;"> 288A </td> 
 <td style="vertical-align:top;width:87.6pt;"> vgiri </td> 
 <td style="vertical-align:top;width:96.35pt;"> jublee </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:70.05pt;"> 1202 </td> 
 <td style="vertical-align:top;width:72.3pt;"> 108I </td> 
 <td style="vertical-align:top;width:87.6pt;"> aoc </td> 
 <td style="vertical-align:top;width:96.35pt;"> sec-bad </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:70.05pt;"> 1203 </td> 
 <td style="vertical-align:top;width:72.3pt;"> 144Z </td> 
 <td style="vertical-align:top;width:87.6pt;"> pgutta </td> 
 <td style="vertical-align:top;width:96.35pt;"> hyd </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:70.05pt;"> 1204 </td> 
 <td style="vertical-align:top;width:72.3pt;"> 78B </td> 
 <td style="vertical-align:top;width:87.6pt;"> old city </td> 
 <td style="vertical-align:top;width:96.35pt;"> sec-bad </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:70.05pt;"> 1205 </td> 
 <td style="vertical-align:top;width:72.3pt;"> 720X </td> 
 <td style="vertical-align:top;width:87.6pt;"> hitec </td> 
 <td style="vertical-align:top;width:96.35pt;"> sec-bad </td> 
 </tr> 
 </tbody> 
</table>

表emp\_conn:

<table style="margin-left:-.6pt;width:324.95pt;"> 
 <tbody> 
 <tr> 
 <td style="width:72.55pt;"> id </td> 
 <td style="width:106.55pt;"> phno </td> 
 <td style="width:145.85pt;"> email </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:72.55pt;"> 1201 </td> 
 <td style="vertical-align:top;width:106.55pt;"> 2356742 </td> 
 <td style="vertical-align:top;width:145.85pt;"> gopal@tp.com </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:72.55pt;"> 1202 </td> 
 <td style="vertical-align:top;width:106.55pt;"> 1661663 </td> 
 <td style="vertical-align:top;width:145.85pt;"> manisha@tp.com </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:72.55pt;"> 1203 </td> 
 <td style="vertical-align:top;width:106.55pt;"> 8887776 </td> 
 <td style="vertical-align:top;width:145.85pt;"> khalil@ac.com </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:72.55pt;"> 1204 </td> 
 <td style="vertical-align:top;width:106.55pt;"> 9988774 </td> 
 <td style="vertical-align:top;width:145.85pt;"> prasanth@ac.com </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:72.55pt;"> 1205 </td> 
 <td style="vertical-align:top;width:106.55pt;"> 1231231 </td> 
 <td style="vertical-align:top;width:145.85pt;"> kranthi@tp.com &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

**导入表表数据到HDFS**

下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。

$bin/sqoop import \\

\--connect jdbc:mysql://hdp-node-01:3306/test \\

\--username root \\

\--password root \\

\--table emp --m 1

为了验证在HDFS导入的数据，请使用以下命令查看导入的数据

$ $HADOOP\_HOME/bin/hadoop fs -cat /user/hadoop/emp/part-m-00000

emp表的数据和字段之间用逗号(,)表示。

1201, gopal,    manager, 50000, TP

1202, manisha,  preader, 50000, TP

1203, kalil,    php dev, 30000, AC

1204, prasanth, php dev, 30000, AC

1205, kranthi,  admin,   20000, TP

**导入关系表到HIVE**

bin/sqoop import --connect jdbc:mysql://hdp-node-01:3306/test --username root --password root --table emp --hive-import --m 1

**导入到HDFS指定目录**

在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。

以下是指定目标目录选项的Sqoop导入命令的语法。

\--target-dir <new or exist directory in HDFS>

下面的命令是用来导入emp\_add表数据到'/queryresult'目录。

bin/sqoop import \\

\--connect jdbc:mysql://hdp-node-01:3306/test \\

\--username root \\

\--password root \\

\--target-dir /queryresult \\

\--table emp --m 1

下面的命令是用来验证 /queryresult 目录中 emp\_add表导入的数据形式。

$HADOOP\_HOME/bin/hadoop fs -cat /queryresult/part-m-\*

它会用逗号（，）分隔emp\_add表的数据和字段。

1201, 288A, vgiri,   jublee

1202, 108I, aoc,     sec-bad

1203, 144Z, pgutta,  hyd

1204, 78B,  oldcity, sec-bad

1205, 720C, hitech,  sec-bad

**导入表数据子集**

我们可以导入表的使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。

where子句的语法如下。

\--where <condition>

下面的命令用来导入emp\_add表数据的子集。子集查询检索员工ID和地址，居住城市为：Secunderabad

bin/sqoop import \\

\--connect jdbc:mysql://hdp-node-01:3306/test \\

\--username root \\

\--password root \\

\--where "city ='sec-bad'" \\

\--target-dir /wherequery \\

\--table emp\_add --m 1

下面的命令用来验证数据从emp\_add表导入/wherequery目录

$HADOOP\_HOME/bin/hadoop fs -cat /wherequery/part-m-\*

它用逗号（，）分隔 emp\_add表数据和字段。

1202, 108I, aoc, sec-bad

1204, 78B, oldcity, sec-bad

1205, 720C, hitech, sec-bad

**增量导入**

增量导入是仅导入新添加的表中的行的技术。

它需要添加‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。

下面的语法用于Sqoop导入命令增量选项。

\--incremental <mode>

\--check-column <column name>

\--last value <last check column value>

假设新添加的数据转换成emp表如下：

1206, satish p, grp des, 20000, GR

下面的命令用于在EMP表执行增量导入。

bin/sqoop import \\

\--connect jdbc:mysql://hdp-node-01:3306/test \\

\--username root \\

\--password root \\

\--table emp --m 1 \\

\--incremental append \\

\--check-column id \\

\--last-value 1205

以下命令用于从emp表导入HDFS emp/ 目录的数据验证。

$ $HADOOP\_HOME/bin/hadoop fs -cat /user/hadoop/emp/part-m-\*

它用逗号（，）分隔 emp\_add表数据和字段。

1201, gopal,    manager, 50000, TP

1202, manisha,  preader, 50000, TP

1203, kalil,    php dev, 30000, AC

1204, prasanth, php dev, 30000, AC

1205, kranthi,  admin,   20000, TP

1206, satish p, grp des, 20000, GR

下面的命令是从表emp 用来查看修改或新添加的行

$ $HADOOP\_HOME/bin/hadoop fs -cat /emp/part-m-\*1

这表示新添加的行用逗号（，）分隔emp表的字段。

1206, satish p, grp des, 20000, GR

### **2.Sqoop的数据导出** ###

将数据从HDFS导出到RDBMS数据库

导出前，目标表必须存在于目标数据库中。

1.  默认操作是从将文件中的数据使用INSERT语句插入到表中
2.  更新模式下，是生成UPDATE语句更新表数据

以下是export命令语法。

$ sqoop export (generic-args) (export-args)

### **示例** ###

数据是在HDFS 中“EMP/”目录的emp\_data文件中。所述emp\_data如下：

1201, gopal,     manager, 50000, TP

1202, manisha,   preader, 50000, TP

1203, kalil,     php dev, 30000, AC

1204, prasanth,  php dev, 30000, AC

1205, kranthi,   admin,   20000, TP

1206, satish p,  grp des, 20000, GR

1、首先需要手动创建mysql中的目标表

$ mysql

mysql> USE db;

mysql> CREATE TABLE employee (

id INT NOT NULL PRIMARY KEY,

name VARCHAR(20),

deg VARCHAR(20),

salary INT,

dept VARCHAR(10));

2、然后执行导出命令

bin/sqoop export \\

\--connect jdbc:mysql://hdp-node-01:3306/test \\

\--username root \\

\--password root \\

\--table emp2 \\

\--export-dir /user/hadoop/emp/

3、验证表mysql命令行。

mysql>select \* from employee;

如果给定的数据存储成功，那么可以找到数据在如下的employee表。

\+------+--------------+-------------+-------------------+--------+

\+------+--------------+-------------+-------------------+--------+

| 1201 | gopal        | manager     | 50000             | TP     |

| 1202 | manisha      | preader     | 50000             | TP     |

| 1203 | kalil        | php dev     | 30000             | AC     |

| 1204 | prasanth     | php dev     | 30000             | AC     |

| 1205 | kranthi      | admin       | 20000             | TP     |

| 1206 | satish p     | grp des     | 20000             | GR     |

\+------+--------------+-------------+-------------------+--------+

sqoop的导入导出

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关详解：Sqoop的导入和导出数据

相关 sqoop数据导出导入

相关 Sqoop 从MySQL 导入导出HDFS

相关二、Sqoop 的导入导出及任务脚本

相关 sqoop详细导入导出数据步骤

相关 Sqoop导入导出Null存储一致性问题

相关 sqoop数据导入导出应用案例

相关 Sqoop导入导出的几个例子

相关大数据Sqoop系列之Sqoop导入导出数据

相关 sqoop的导入导出