Sqoop 从MySQL 导入导出HDFS

分手后的思念是犯贱 2023-06-20 06:21 19阅读 0赞

#### 1.Sqoop 导入(import)HDFS ####

# 从MySQL导入到HDFS
    # Caused by: java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)
    # 将127.0.0.1:3306 改为 ip:3306
    --table 是要导入HDFS中的表
    --columns 选择要导入的列，这里选择把fname,lname两列导入的HDFS中。
    --where 对数据进行过滤，只有满足条件的才保存到HDFS中。
    --target-dir 指定导入特定hdfs中的路径 (默认导入到 /user/当前linux用户名/mysql表名/)
    --delete-target-dir 表示如果HDFS表存在，则把他删除。
    -m 指定通过几个map reduce任务去执行 ，如果表比较大的话，建议使用多个map，默认的map为4个 -m=1搬到hdfs上就是一个文件(前提是这个文件是小于128M,不然会拆分成多个block)
    
    sqoop import --connect jdbc:mysql://192.168.18.126:3306/数据库名 --username 用户名 --password 密码 --table 表名 --columns "fname,lname" --where "id>2" --delete-target-dir -m 1

#### 2.Sqoop 导出(export)HDFS ####

# 从HDFS导出到MySQL
    --columns 指定导出到 mysql 中的列
    --input-fields-terminated-by hdfs文件分隔符
    更新数据
    --updata-key
    --update-mode allowinsert 指定更新的模式为可插入，默认为 updateonly
    当数据库中字符为空时的处理
    --input-null-non-string '0' 当不是字符串的数据为空的时候，用 0 替换
    --input-null-string 'string' 当字符串为空的时候，使用string 字符替换
    
    # 前提是该表在MySQL中已经存在
    sqoop export --connect jdbc:mysql://192.168.18.126:3306/数据库名 --username 用户名 --password 密码 --table 表名 --columns "fname,lname" --input-fields-terminated-by ','  --export-dir 数据存在HDFS的文件下(如/user/root/u) -m 1