sqoop_使用

一时失言乱红尘 2022-05-25 08:48 142阅读 0赞

<table> 
 <tbody> 
 <tr> 
 <td>命令</td> 
 <td>说明</td> 
 </tr> 
 <tr> 
 <td>codegen </td> 
 <td>将关系数据库表映射为一个 Java 文件、Java class 类、以及相关的 jar 包</td> 
 </tr> 
 <tr> 
 <td>create-hive-table</td> 
 <td>生成与关系数据库表的表结构对应的 HIVE 表</td> 
 </tr> 
 <tr> 
 <td>eval </td> 
 <td>以快速地使用SQL语句对关系数据库进行操作，这可以使得在使用import这种工具进行数据导入的时候，可以预先了解相关的 SQL 语句是否正确，并能将结果显示在控制台。</td> 
 </tr> 
 <tr> 
 <td>export </td> 
 <td>从 hdfs 中导数据到关系数据库中</td> 
 </tr> 
 <tr> 
 <td>help</td> 
 <td>帮助</td> 
 </tr> 
 <tr> 
 <td>import </td> 
 <td>将数据库表的数据导入到 HDFS 中</td> 
 </tr> 
 <tr> 
 <td>import-all-tables</td> 
 <td>将数据库中所有的表的数据导入到 HDFS 中</td> 
 </tr> 
 <tr> 
 <td>job </td> 
 <td>用来生成一个 sqoop 的任务，生成后，该任务并不执行，除非使用命令执行该任务。</td> 
 </tr> 
 <tr> 
 <td>list-databases</td> 
 <td>打印出关系数据库所有的数据库名</td> 
 </tr> 
 <tr> 
 <td>list-tables </td> 
 <td>打印出关系数据库某一数据库的所有表名</td> 
 </tr> 
 <tr> 
 <td>merge </td> 
 <td>将 HDFS 中不同目录下面的数据合在一起，并存放在指定的目录中</td> 
 </tr> 
 <tr> 
 <td>metastore </td> 
 <td>记录 sqoop job 的元数据信息</td> 
 </tr> 
 <tr> 
 <td>version </td> 
 <td>显示 sqoop 版本信息</td> 
 </tr> 
 </tbody> 
</table>

查看帮助信息，如codegen

sqoop codegen --help

注意：对于Oracle数据库来说，用户名、表名、列名 \------> 一定大写

对于MySQL数据库无所谓

下面的例子是用的oracle数据库，只做了笔记，没有验证。

1.  Codegen

根据表结构自动生成对应的Java程序: 生成员工表的Java类,

sqoop codegen --connect jdbc:oracle:thin:@192.168.157.138:1521/orcl --username SCOTT --password tiger --table EMP --outdir /root/temp

执行后就会在/root/temp目录下看到EMP.java文件，为对应EMP表的java类，默认派生自writable，可用于序列化。

2. create-hive-table

create-hive-table  Import a table definition into Hive

根据表结构去创建Hive的表结构

3. eval

Evaluate a SQL statement and display the results

可以在Sqoop中执行SQL

sqoop eval --connect jdbc:oracle:thin:@192.168.157.138:1521/orcl --username SCOTT --password tiger --query 'select \* from emp'

4. export

export an HDFS directory to a database table

将HDFS数据导出到其他数据库

注意：Oracle数据库中表必须事先存在

5. import

Import a table from a database to HDFS

从关系型数据库中导入数据

(1) 导入Oracle Scott下EMP表的所有数据

sqoop import \--connect jdbc:oracle:thin:@192.168.157.138:1521/orcl --username SCOTT --password tiger \--table EMP \--target-dir /sqoop/import/emp1

导完后去hdfs中看：hdfs dfs -ls /sqoop/import/emp1

其内容即为表数据，一行是一个记录，列之前用逗号分隔。

(2) 导入指定的列

sqoop import \--connect jdbc:oracle:thin:@192.168.157.138:1521/orcl --username SCOTT --password tiger --table EMP \--columns ENAME,SAL --target-dir /sqoop/import/emp2

(3) 导入订单表：92万条数据

sqoop import \--connect jdbc:oracle:thin:@192.168.157.138:1521/orcl --username SH --password sh --table SALES \--target-dir /sqoop/import/sales \-m 1

注：如果表没有主键，需要在命令最后添加：\-m 1 ，否则报错：

Error during import: No primary key could be found for table SALES. Please specify one with --split-by or perform a sequential import with '-m 1'.

6. import-all-tables

Import tables from a database to HDFS

导入某个用户下所有的表: 默认的路径：/user/root

sqoop import-all-tables --connect jdbc:oracle:thin:@192.168.157.138:1521/orcl --username SCOTT --password tiger

7. list-databases

List available databases on a server

(\*) MySQL:   所有数据库的名字

(\*) Oracle:  该数据库中所有用户的名字