sqoop 常用命令

迷南。 2022-01-05 12:55 215阅读 0赞

查看所有数据库  
sqoop list-databases --connect jdbc:mysql://node1:3306/ --username root -P   
查看指定数据库中所有表  
sqoop list-tables --connect jdbc:mysql://node1:3306/test --username root -password 123456  
\-----------------------------------------------------------------------------------------------------------  
导入数据到**HDFS**（字段间默认以‘，’分割）  
sqoop import --connect jdbc:mysql://node1:3306/test --username root --password 123456 --table t\_user

从**HDFS**导出到mysql  
mysql建表--复制表结构：create table t\_user1 select \* from t\_user where 1=2;  
sqoop export --connect jdbc:mysql://node1/test --username root --password 123456 --table t\_user1 --export-dir '/user/root/t\_user/part-m-00000' --fields-terminated-by ','

如果要自定义路径需要增加参数：--warehouse-dir 比如：  
sqoop import --connect jdbc:mysql://node1:3306/test --username root --password 123456 --table t\_user --warehouse-dir /user/test/sqoop

规定map个数 -m  
sqoop import --connect jdbc:mysql://node1:3306/test --username root --password 123456 --table t\_user --delete-target-dir -m 1  
\-----------------------------------------------------------------------------------------------------------  
导入数据到**Hive**,增加参数 –hive-import  
sqoop import --connect jdbc:mysql://node1:3306/test --username root --password 123456 --table t\_user --warehouse-dir /user/sqoop --hive-import --create-hive-table

将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制  
sqoop create-hive-table --connect jdbc:mysql://node1:3306/test --username root --password 123456 --hive-table t\_user  --fields-terminated-by "\\t"  --lines-terminated-by "\\n";

\-----------------------------------------------------------------------------------------------------------

mysql导入到**hbase**  
sqoop import --connect jdbc:mysql://node1:3306/dblab --username root --password 123456 --table user\_action --hbase-table user\_action --column-family cf1 --hbase-row-key id --hbase-create-table -m 1