sqoop 连接oracle配置,Sqoop安装配置

一时失言乱红尘 2023-01-18 15:22 14阅读 0赞

Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

官网地址：http://sqoop.apache.org/

1. 下载安装

tar -zxvf sqoop-1.4.7.bin\_\_hadoop-2.6.0.tar.gz /~/software/Hadoop/

2. 配置

在~/.bash\_profile文件添加

\#sqoop

SQOOP\_HOME=/Users/qinxy/software/Hadoop/sqoop-1.4.7.bin\_\_hadoop-2.6.0

PATH=$PATH:$SQOOP\_HOME/bin

export SQOOP\_HOME PATH

配置swoop-env.sh

复制conf/sqoop-env-template.sh 为：conf/sqoop-env.sh

\#Set path to where bin/hadoop is available

export HADOOP\_COMMON\_HOME=/Users/qinxy/software/Hadoop/hadoop-2.9.2

\#Set path to where hadoop-\*-core.jar is available

export HADOOP\_MAPRED\_HOME=/Users/qinxy/software/Hadoop/hadoop-2.9.2

\#set the path to where bin/hbase is available

\#export HBASE\_HOME=

\#Set the path to where bin/hive is available

\#export HIVE\_HOME=

\#Set the path for where zookeper config dir is

\#export ZOOCFGDIR=

(如果数据读取不设计hbase和hive，那么相关hbase和hive的配置可以不加，如果集群有独立的zookeeper集群，那么配置zookeeper，反之，不用配置)

验证命令 ： sqoop help

![9bd4e87a4b53][]

屏幕快照.png

3. 测试mysql数据库的使用

1. 测试数据库连接

sqoop list-databases -connect jdbc:mysql://localhost:3306 -username root -password root

如下图所示，则说明连接没问题

![9bd4e87a4b53][]

屏幕快照.png

2. sqoop的使用

以下所有的命令每行之后都存在一个空格，不要忘记

前提：hadoop已启动，hdfs可以访问

mysql -> hdfs

将mysql中的数据导入到hdfs

sqoop

import

\--connect jdbc:mysql://localhost:3306/testSqoop

\--username root

\--password root

\--table user

\--target-dir /sqoopTest/mysql2hdfs/user

\-m 1

hdfs -> mysql

将hdfs的数据导入到mysql

sqoop

export

\--connect jdbc:mysql://localhost:3306/testSqoop --username root

\--password root

\--table user2

\--export-dir /sqoopTest/mysql2hdfs/user

\--m 1

mysql -> hive

hive -> mysql

mysql -> hbase

base -> mysql

[9bd4e87a4b53]: /images/20221021/2b268ab6aaa04e9b8c7d6ca1ca1466a4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，14人围观）

还没有评论，来说两句吧...

相关阅读

相关 sqoop安装

文章目录 1. 上传安装包至虚拟机 2. 解压安装包到指定路径 3. 修改目录名 4. 配置环境变量

小灰灰/ 2023年09月26日 23:23/ 0 赞/ 125 阅读

相关 sqoop 连接oracle配置,Sqoop安装配置

Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL ,Oracle ,Postgres等)

一时失言乱红尘/ 2023年01月18日 15:22/ 0 赞/ 15 阅读

相关第二章 sqoop的安装和配置连接测试

文章目录安装Sqoop的前提是已经具备Java和Hadoop的环境。下载并解压 Sqoop安装和测试设置配置文

雨点打透心脏的1/2处/ 2022年12月27日 07:59/ 0 赞/ 92 阅读

相关 Centos7下Sqoop安装与配置

目录 Centos7下Sqoop安装与配置第一步：安装软件（1）上传文件（2）解压文件

我会带着你远行/ 2022年11月21日 09:51/ 0 赞/ 269 阅读

相关 Sqoop安装配置及hive导入

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）

╰+攻爆jí腚メ/ 2022年08月09日 03:28/ 0 赞/ 15 阅读

相关 sqoop简介与安装配置

SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

你的名字/ 2022年08月05日 16:24/ 0 赞/ 210 阅读

相关 Sqoop的安装配置及工作机制

文章目录 @\[toc\] 目录： 1、简介 2、sqoop安装 2.1、下载并解压 2.2、修改配置文件 2.3、加入mysql或oracle的jdbc驱动包

雨点打透心脏的1/2处/ 2022年05月14日 00:26/ 0 赞/ 170 阅读

相关 sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/

红太狼/ 2022年03月15日 11:12/ 0 赞/ 254 阅读

相关安装配置Sqoop-1.4.7

安装配置Sqoop-1.4.7 1、下载并上传sqoop相关安装，并将其解包解压 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

客官°小女子只卖身不卖艺/ 2022年01月21日 01:37/ 0 赞/ 277 阅读

相关 sqoop之安装与配置

下面来记录并分享下sqoop相关： 1、下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1

r囧r小猫/ 2021年09月23日 15:18/ 0 赞/ 533 阅读