sqoop介绍与安装

骑猪看日落 2022-06-12 11:23 228阅读 0赞

# sqoop介绍与安装 #

## 1 概述 ##

sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。  
**导入数据**：将关系型结构化数据如MySQL，oracle数据导入到hadoop的hdfs、hive、hbase的数据存储系统。  
**导出数据**：从hadoop的文件系统中导出数据到关系型数据库。  
![sqoop_E4_BB_8B_E7_BB_8D_E4_B8_8E_E5_AE_89_E8_A3_85_1.png][]

## 2 工作机制 ##

将导入导出命令解析成MapReduce程序来实现，解析出的MapReduce中主要是对inputformat和outputformat进行定制。

## 3 sqoop安装 ##

安装sqoop的前提是已经具备java和hadoop的环境。

### 3.1 下载并解压 ###

最新版下载地址[http://ftp.wayne.edu/apache/sqoop/1.4.6/][http_ftp.wayne.edu_apache_sqoop_1.4.6]

### 3.2 修改配置文件 ###

$ cd $SQOOP_HOME/conf
    $ mv sqoop-env-template.sh sqoop-env.sh
    # 打开sqoop-env.sh并编辑下面几行：
    export HADOOP_COMMON_HOME=/soft/hadoop-2.6.1/ 
    export HADOOP_MAPRED_HOME=/soft/hadoop-2.6.1/
    export HIVE_HOME=/soft/hive-1.2.1

### 3.3 加入mysql的jdbc驱动包 ###

可以从hive的lib中拷贝MySQL驱动到sqoop的lib目录下。  
`cp /soft/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib`  
如果没有mysql的驱动的话需要自己到Apache官网去下载。

### 3.4 验证启动 ###

输入`$sqoop version`命令如果成功应该显示如下信息：

15/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
    Sqoop 1.4.6 git commit id 5b34accaca7de251fc91161733f906af2eddbe83
    Compiled by abe on Fri Aug 1 11:19:26 PDT 2015

OK! 到这里sqoop的安装已经完成。

[sqoop_E4_BB_8B_E7_BB_8D_E4_B8_8E_E5_AE_89_E8_A3_85_1.png]: /images/20220612/430075d774984e1a839ea4e08504b1be.png
[http_ftp.wayne.edu_apache_sqoop_1.4.6]: http://ftp.wayne.edu/apache/sqoop/1.4.6/

发表评论取消回复

表情：

评论列表（有 0 条评论，228人围观）

还没有评论，来说两句吧...

相关阅读

相关详解：Sqoop的介绍

一：Sqoop的介绍官网：[http://sqoop.apache.org][http_sqoop.apache.org] Sqoop : SQL to Hadoop

梦里梦外;/ 2024年02月19日 20:14/ 0 赞/ 19 阅读

相关 sqoop安装

文章目录 1. 上传安装包至虚拟机 2. 解压安装包到指定路径 3. 修改目录名 4. 配置环境变量

小灰灰/ 2023年09月26日 23:23/ 0 赞/ 88 阅读

相关 sqoop mysql 安装_sqoop安装及使用

简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中；也可以把数据

傷城~/ 2023年01月12日 12:00/ 0 赞/ 203 阅读

相关 Sqoop安装教程

1、准备： sqoop的tar包：sqoop-1.4.6-cdh5.14.2.tar.gz 依赖jar包：java-json.jar、 mysql-connector

港控/mmm°/ 2022年12月04日 05:25/ 0 赞/ 128 阅读

相关 sqoop简介与安装配置

SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

你的名字/ 2022年08月05日 16:24/ 0 赞/ 153 阅读

相关 sqoop介绍与安装

sqoop介绍与安装 1 概述 sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：将关系型结构化数据如MyS

骑猪看日落/ 2022年06月12日 11:23/ 0 赞/ 229 阅读

相关 Sqoop2安装

一、简介 sqoop是一个用于结构化数据系统（比如关系型数据库系统RDBMS）和Hadoop系统间的大量数据传输的工具，特别是Hadoop所使用的HDFS分布式文件系统。作

Myth丶恋晨/ 2022年05月23日 12:42/ 0 赞/ 207 阅读

相关 sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/

红太狼/ 2022年03月15日 11:12/ 0 赞/ 215 阅读

相关 Sqoop 安装与基础命令

一、概述 1. sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入 2. 可以从hdfs导出数据到关系型数据库，也可以从关系型数据库

深藏阁楼爱情的钟/ 2022年02月27日 15:34/ 0 赞/ 201 阅读

相关 sqoop之安装与配置

下面来记录并分享下sqoop相关： 1、下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1

r囧r小猫/ 2021年09月23日 15:18/ 0 赞/ 487 阅读