Ubuntu16.04上安装配置Sqoop（详细过程）

朴灿烈づ我的快乐病毒、 2021-12-09 04:23 516阅读 0赞

**安装环境：**  
操作系统：Linux系统(Ubuntu16.04)  
Sqoop版本：1.4.6  
Hadoop：2.7.1  
MySQL：5.7.17

**1. Sqoop简介**

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

**2. 下载并解压sqoop1.4.6**

cd ~/下载                \#进入当前用户的用户目录  
sudo tar -zxvf  sqoop-1.4.6.bin\_\_hadoop-2.0.4-alpha.tar.gz -C /usr/local                  \#解压安装文件  
cd /usr/local  
sudo mv sqoop-1.4.6.bin\_\_hadoop-2.0.4-alpha sqoop                                              \#修改文件名  
sudo chown -R hadoop:hadoop sqoop                                                                      \#修改文件夹属主，如当前用户名不是hadoop，请修改成你自己的用户名

**3.  修改配置文件sqoop-env.sh**

cd sqoop/conf/  
cat sqoop-env-template.sh  >> sqoop-env.sh                \#将sqoop-env-template.sh复制一份并命名为sqoop-env.sh  
gedit sqoop-env.sh                                                           \#编辑sqoop-env.sh

**4.  修改sqoop-env.sh的如下信息**

export HADOOP\_COMMON\_HOME=/usr/local/hadoop  
export HADOOP\_MAPRED\_HOME=/usr/local/hadoop  
export HBASE\_HOME=/usr/local/hbase  
export HIVE\_HOME=/usr/local/hive  
\#export ZOOCFGDIR= \#如果读者配置了ZooKeeper,也需要在此配置ZooKeeper的路径

**5. 配置并修改环境变量**

1.  gedit ~/.bashrc
2.  export SQOOP\_HOME=/usr/local/sqoop       export PATH=$PATH:$SQOOP\_HOME/bin

保存该文件，退出编辑器。  
然后，执行命令让配置文件立即生效:source ~/.bashrc

**6. 将mysql驱动包拷贝到$SQOOP\_HOME/lib**

cd ~/下载                        \#切换到下载路径，如果你下载的文件不在这个目录下  
sudo tar -zxvf  mysql-connector-java-5.1.40.tar.gz                     \#解压mysql驱动包  
ls                                    \#这时就可以看到解压缩后得到的目录mysql-connector-java-5.1.40  
cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/sqoop/lib

**7. 测试与MySQL的连接**

首先请确保mysql服务已经启动了，如果没有启动，请执行下面命令启动：

**service mysql start**

然后测试sqoop与MySQL之间的连接是否成功：

**sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P**

mysql的数据库列表显示如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjIwOTU3Mg_size_16_color_FFFFFF_t_70][]

至此，sqoop成功安装并配置。接下来可以用sqoop将数据从Mysql导入到HBase。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjIwOTU3Mg_size_16_color_FFFFFF_t_70]: /images/20211209/51f37e055a644c57bc824200b15c9b85.png