Sqoop数据迁移工具之简单介绍和安装（一）

逃离我推掉我的手 2022-05-10 05:26 243阅读 0赞

**1、概述 **  
sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。    
导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等    
Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。

![70][]

**2、工作机制 **  
将导入或导出命令翻译成 MapReduce 程序来实现  在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制

** 3、Sqoop 安装 **  
安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境    
安装包下载地址 http://ftp.wayne.edu/apache/sqoop/1.4.6/ 安装包：sqoop-1.4.6.bin\_hadoop-2.0.4-alpha.tar.gz    
安装步骤 1、 准备安装包 sqoop-1.4.6.bin\_hadoop-2.0.4-alpha.tar.gz    
2、 解压安装包到安装目录

tar -zxvf sqoop-1.4.6.bin\_hadoop-2.0.4-alpha.tar.gz  -C  apps/ cd apps

mv sqoop-1.4.6.bin\_hadoop-2.0.4-alpha/  sqoop-1.4.6    
3、 进入到 conf 文件夹，找到 sqoop-env-template.sh，修改其名称为 sqoop-env.sh

mv sqoop-env-template.sh sqoop-env.sh    
4、 修改 sqoop-env.sh   
  
export  HADOOP\_COMMON\_HOME=/home/hadoop/apps/hadoop-2.7.6

export HADOOP\_MAPRED\_HOME=/home/hadoop/apps/hadoop-2.7.6

export HBASE\_HOME=/home/hadoop/apps/hbase-1.2.6

export HIVE\_HOME=/home/hadoop/apps/apache-hive-2.3.2-bin

export ZOOCFGDIR=/home/hadoop/apps/zookeeper-3.4.10/conf    
zookeeper 和 hbase 没有安装。那就不用管了。如果也安装的有，并且要使用，那么就 给配置上

![70 1][]  
5、 加入 mysql 驱动包到 sqoop1.4.6/lib 目录下

cp mysql-connector-java-5.1.40-bin.jar ~/apps/sqoop-1.4.6/lib/    
6、 配置系统环境变量 vi  ~/.bashrc 然后输入： export SQOOP\_HOME=/home/hadoop/apps/sqoop1.4.6 export PATH=$PATH:$SQOOP\_HOME/bin 然后保存退出 source  ~/.bashrc

（也可以修改配置 /etc/profile文件）  
7、 验证安装是否成功 sqoop-version 或者 sqoop version     
8、 出现如图所示画面，证明安装成功，那么接下来就可以正常使用了。

![70 2][]

[70]: /images/20220510/6077a99d44114634a3be1c9305fc73a6.png
[70 1]: /images/20220510/245ff37875d44786bf2e42d6e501c9bb.png
[70 2]: /images/20220510/f1ea09de32974d0d8223afc8a73bae5d.png