Sqoop导出Mysql到hdfs, Sqoop将Mysql导出到hive 01

女爷i 2022-02-27 19:18 270阅读 0赞

# 1. Sqoop概述 #

*  sqoop是一款数据导入导出的工具，从关系型数据库到大数据平台，从大数据平台到关系型数据库
 *  sqoop的版本分为两大类：  
    sqoop1：主要就是通过命令行来进行操作，比较方便  
    sqoop2：添加了一个服务端的模式，需要启动一个服务端。我们可以通过代码操作，可以通过脚本操作，可以远程连接操作数据的导入导出等
 *  一般我们都是使用sqoop1这种版本，我们只需要写命令就可以将数据导入导出即可。以后就可以把命令，保存到脚本里面去，定时的执行脚本即可
 *  数据导入导出，都是启动了一个job任务，这个job任务只有maptask，没有reduceTask  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]

# 2. Sqoop安装 #

*  下载并解压  
    下载地址  
    [http://archive.cloudera.com/cdh5/cdh/5/][http_archive.cloudera.com_cdh5_cdh_5]  
    sqoop1版本详细下载地址  
    [http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.0.tar.gz][http_archive.cloudera.com_cdh5_cdh_5_sqoop-1.4.6-cdh5.14.0.tar.gz]  
    sqoop2版本详细下载地址  
    [http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.14.0.tar.gz][http_archive.cloudera.com_cdh5_cdh_5_sqoop2-1.99.5-cdh5.14.0.tar.gz]  
    我们这里使用sqoop1的版本，下载之后上传到/export/softwares目录下，然后进行解压

cd /export/softwares
    tar -zxvf sqoop-1.4.6-cdh5.14.0.tar.gz -C ../servers/

*  修改配置文件

cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf/
    cp sqoop-env-template.sh  sqoop-env.sh
    vim sqoop-env.sh

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
    export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
    export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0

*  加入额外的依赖包  
    sqoop的使用需要添加两个额外的依赖包，一个是mysql的驱动包，一个是java-json的的依赖包，不然就会报错  
    **mysql-connector-java-5.1.40.jar  
    java-json.jar**  
    ![在这里插入图片描述][20190328093346667.png]  
    **将这个两个jar包添加到sqoop的lib目录下**
 *  验证启动

cd /export/servers/sqoop-1.4.6-cdh5.14.0
    bin/sqoop-version

![在这里插入图片描述][20190328093417173.png]

# 3. Sqoop导入示例 #

## 3.1 导入数据库表数据到hdfs ##

*  下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。

bin/sqoop import --connect jdbc:mysql://192.168.1.101:3306/userdb --password admin --username root --table emp --m 1

*  如果成功执行，那么会得到下面的输出  
    ![在这里插入图片描述][20190331113749857.png]
 *  为了验证在hdfs导入的数据，请使用以下命令查出导入的数据

hdfs  dfs  -ls  /user/root/emp

## 3.2 导入到hdfs指定目录 ##

**在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。  
使用参数 --target-dir来指定导出目的地，**

*  使用参数—delete-target-dir来判断导出目录是否存在，如果存在就删掉

bin/sqoop import  --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --delete-target-dir --table emp  --target-dir /sqoop/emp --m 1

*  查看到出的数据

hdfs dfs -text /sqoop/emp/part-m-00000

![在这里插入图片描述][20190331113959406.png]

*  它会用逗号（，）分割emp\_add表的数据和字段

1201,gopal,manager,50000,TP
    1202,manisha,Proof reader,50000,TP
    1203,khalil,php dev,30000,AC
    1204,prasanth,php dev,30000,AC
    1205,kranthi,admin,20000,TP

## 3.3 导入到hdfs指定目录并指定字段之间的分隔符 ##

*  命令如下

bin/sqoop import  --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --delete-target-dir --table emp  --target-dir /sqoop/emp2 --m 1 --fields-terminated-by '\t'

*  查看文件内容

hdfs dfs -text /sqoop/emp2/part-m-00000

![在这里插入图片描述][20190331114223281.png]

## 3.4 导入关系表到hive ##

*  拷贝jar包  
    将我们mysql表当中的数据直接导入到hive表中的话，我们需要将hive的一个叫做hive-exec-1.1.0-cdh5.14.0.jar的jar包拷贝到sqoop的lib目录下

cp /export/servers/hive-1.1.0-cdh5.14.0/lib/hive-exec-1.1.0-cdh5.14.0.jar /export/servers/sqoop-1.4.6-cdh5.14.0/lib/

*  准备hive数据库与表  
    将我们mysql当中的数据导入到hive表当中来

hive (default)> create database sqooptohive;
    hive (default)> use sqooptohive;
    hive (sqooptohive)> create external table emp_hive(id int,name string,deg string,salary int ,dept string) row format delimited fields terminated by '\001';

*  开始导入

bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --table emp --fields-terminated-by '\001' --hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --delete-target-dir --m 1

*  hive表数据查看

select * from emp_hive;

![在这里插入图片描述][20190331114557728.png]

## 3.5 导入关系表到hive并自动创建hive表 ##

*  我们也可以通过命令来将我们的mysql的表直接导入到hive表当中去

bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --table emp_conn --hive-import -m 1 --hive-database sqooptohive;

通过这个命令，我们可以直接将我们mysql表当中的数据以及表结构一起倒入到hive当中去

## 3.6 导入表数据子集 ##

我们可以导入表的使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。  
where子句的语法如下。  
–where  
按照条件进行查找，通过—where参数来查找表emp\_add当中city字段的值为sec-bad的所有数据导入到hdfs上面去

bin/sqoop import \
    --connect jdbc:mysql://172.16.43.67:3306/userdb \
    --username root --password admin --table emp_add \
    --target-dir /sqoop/emp_add -m 1  --delete-target-dir \
    --where "city = 'sec-bad'"

## 3.7 sql语句查找导入hdfs ##

*  我们还可以通过 –query参数来指定我们的sql语句，通过sql语句来过滤我们的数据进行导入

bin/sqoop import \
    --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin \
    --delete-target-dir -m 1 \
    --query 'select phno from emp_conn where 1=1 and $CONDITIONS' \
    --target-dir /sqoop/emp_conn

*  查看hdfs数据内容

hdfs dfs -text /sqoop/emp_conn/part*

![在这里插入图片描述][20190331114916357.png]

## 3.8 增量导入 ##

实际工作的当中，一般都是每天导出一次数据库里面的数据出来，一般都是凌晨导入前一天的数据，可以通过sqoop的增量的导入，将我们的数据，每天导入一次到hdfs里面去，这种方式就叫做增量的导入

只需要导入前一天的数据，以前的数据都导入过，就不用再导入了

*  伪增量导入

bin/sqoop import --connect jdbc:mysql://192.168.16.30:3306/userdb --username root --password admin  --table emp --incremental append --check-column id --last-value 1205 -m1 --target-dir /sqoop/increment

*  通过–where来实现我们数据的增量导入

bin/sqoop import --connect jdbc:mysql://192.168.16.30:3306/userdb --username root --password admin  --table emp --incremental append --where "create_time > '2018-06-17 00:00:00' and create_time < '2018-06-17 23:59:59'" --target-dir /sqoop/incement2 --check-column id -m 1

## 3.9 如何解决减量的数据 ##

*  数据的标记，没有什么删除不删除数据只说，所有的删除都是逻辑删除，其实就是更新数据
 *  如果真的要做数据，所有的删除操作都是逻辑删除  
    任何删除的操作都是有一定意义的
 *  没有减量的数据，所有的减量的数据，都是更新操作，一旦更细，更新时间就会变，到时候我们就按照更新时间来进行获取数据即可

bin/sqoop export \
    --connect jdbc:mysql://192.168.16.30:3306/userdb \
    --username root --password admin \
    --table emp_out \
    --export-dir /sqoop/emp \
    --input-fields-terminated-by ","

## 3.10 如果数据导出的时候，出现中断怎么办？ ##

一般可以这么做，将我们的数据导出到一张临时表里面去，如果临时表导入成功，我们再去导入数据到真正的目标表里面去，可以提高我们导入成功的概率

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20220227/4d54e8698a63427aaf5735967a7ee0d9.png
[http_archive.cloudera.com_cdh5_cdh_5]: http://archive.cloudera.com/cdh5/cdh/5/
[http_archive.cloudera.com_cdh5_cdh_5_sqoop-1.4.6-cdh5.14.0.tar.gz]: http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.0.tar.gz
[http_archive.cloudera.com_cdh5_cdh_5_sqoop2-1.99.5-cdh5.14.0.tar.gz]: http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.14.0.tar.gz
[20190328093346667.png]: /images/20220227/85ba32e68cbd408aa6dade5e91b4c6b8.png
[20190328093417173.png]: /images/20220227/b78c2895558643dc93d4f8609b492779.png
[20190331113749857.png]: /images/20220227/bc6c61a5ab0042b99df5616ca908980a.png
[20190331113959406.png]: /images/20220227/9e050c32fefc4ec0b0eb7dc8792ec710.png
[20190331114223281.png]: /images/20220227/314f3ccf96c34cc9b28c7aa3a6dd3df4.png
[20190331114557728.png]: /images/20220227/cc6744f3c57c4d93bdadc59a0e7cdf0b.png
[20190331114916357.png]: /images/20220227/25d31977a8d04788ba50ab4d792e5fbd.png