一、Sqoop 简介及安装

分手后的思念是犯贱 2023-06-02 07:56 6阅读 0赞

### 1、简介 ###

Sqoop 是一款开源的工具，**主要用于在 Hadoop(Hive)与传统的数据库(mysql、 postgresql...)间进行数据的传递**，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。

**Sqoop2 的最新版本是 1.99.7。请注意， 2 与 1 不兼容，且特征不完整，2 并不打算用于生产部署**

### 2、原理 ###

*  将导入或导出命令翻译成 **mapreduce** 程序来实现。
 *  在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制

### 3、安装 ###

**（1）、下载 sqoop-1.4.6.bin\_\_hadoop-2.0.4-alpha.tar.gz**

**（2）、解压**

tar -zxvf packages/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/software/

**（3）、修改配置文件**

cd /opt/software/
    mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop
    cd sqoop/
    cp sqoop-env-template.sh  sqoop-env.sh
    vim sqoop-env.sh

sqoop-env.sh中

export HADOOP_COMMON_HOME=/opt/***/hadoop-2.7.2
    export HADOOP_MAPRED_HOME=/opt/***/hadoop-2.7.2
    export HIVE_HOME=/opt/***/hive
    export ZOOKEEPER_HOME=/opt/***/zookeeper-3.4.10
    export ZOOCFGDIR=/opt/***/zookeeper-3.4.10
    export HBASE_HOME=/opt/***/hbase

**4、拷贝 JDBC 驱动**

拷贝 jdbc 驱动到 sqoop 的 lib 目录下

cp mysql-connector-java-5.1.27-bin.jar /opt/software/sqoop/lib/

**5、验证 Sqoop**

可以通过某一个 command 来验证 sqoop 配置是否正确

bin/sqoop help

**6、测试 Sqoop 是否能够成功连接数据库**

bin/sqoop list-databases --connect jdbc:mysql://ip:port/ --username xxxx --password xxxx

出现如下输出

information_schema
    metastore
    mysql
    oozie
    performance_schema

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据入门核心技术-Sqoop】（一）Sqoop简介

目录一、Spoop是做什么的? 二、基本概述三、Sqoop应用 -------------------- 一、Spoop是做什么的? Sqoop(发音：sk

梦里梦外;/ 2024年03月31日 16:39/ 0 赞/ 111 阅读

相关 sqoop简介

![企业微信截图\_16865733749322][16865733749322] Sqoop简介以及使用 Sqoop是什么 Sqoop是一个用于Hadoop和结

Myth丶恋晨/ 2023年10月13日 22:48/ 0 赞/ 106 阅读

相关一、Sqoop 简介及安装

1、简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、 postgresql...)间进行数据的传递，可以将一个关系型数

分手后的思念是犯贱/ 2023年06月02日 07:56/ 0 赞/ 7 阅读

相关 sqoop mysql 安装_sqoop安装及使用

简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中；也可以把数据

傷城~/ 2023年01月12日 12:00/ 0 赞/ 236 阅读

相关 Sqoop（一）安装及基本使用

本文转载自：https://www.cnblogs.com/yfb918/p/10411507.html Sqoop: 1. sqoop从数据库中导入数据到HDFS 2

深碍√TFBOYSˉ_/ 2022年12月30日 07:42/ 0 赞/ 176 阅读

相关 sqoop简介与安装配置

SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

你的名字/ 2022年08月05日 16:24/ 0 赞/ 187 阅读

相关 sqoop_简介及安装

一、简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库间进行数据的传递，可以将一个关系型数据库（例如：MySQL ,Ora

左手的ㄟ右手/ 2022年05月25日 08:48/ 0 赞/ 229 阅读

相关 Sqoop简介及安装

一、Sqoop简介 > Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。二、Sqoop

Bertha 。/ 2022年05月20日 23:51/ 0 赞/ 232 阅读

相关 Sqoop简介及安装部署

简介： > Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导

青旅半醒/ 2022年05月20日 20:42/ 0 赞/ 193 阅读

相关 Sqoop简介

一 Sqoop是什么 ![1161378-20180826104741478-1378176219.png][] 1. Sqoop：SQL-to-Hadoop 2.

客官°小女子只卖身不卖艺/ 2021年09月30日 02:34/ 0 赞/ 608 阅读