【Hadoop-Distcp】工具简介及参数说明

绝地灬酷狼 2024-03-03 08:40 93阅读 0赞

#### 文章目录 ####

*  前言
 *   *  0、简介
     *  1、适合的场景及其优点
     *  2 、参数说明
     *  3、Hadoop DistCp进行数据复制的示例命令：
     *  4、shell样例
 *  总结

## 前言 ##

Hadoop DistCp（Distributed Copy）是一种用于在Hadoop集群之间复制数据的工具。它可以在不同的Hadoop存储系统之间，例如HDFS、HBase、Hive等之间复制数据。

**[官网地址][Link 1]**

--------------------

### 0、简介 ###

Distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用 Map/Reduce 实现文件分发，错误处理和恢复，以及报告生成。

Distcp 把文件和目录的列表作为 map 任务的输入，每个任务会完成源列表中部分文件的拷贝。

### 1、适合的场景及其优点 ###

*  1、适合场景：

**数据异地灾，机房下线，数据迁移等。**

*  2、优点：  
    ① 可以`限制带宽`，使用`bandwidth`参数对 distcp 的每个 map 任务限流，同时控制 map 并发数量即可控制整个拷贝任务的带宽，防止拷贝任务将带宽打满，影响其它业务。
    
    ② 支持`overwrite`（覆盖写，无条件覆盖目标文件，即使它们存在），`update`（增量写，如果 dest 文件的名称和大小与 src 文件不同，则覆盖；若目的文件大小和名称与源文件相同则跳过），`delete`（删除写，删除 dest 中存在的文件，但在 src 中不存在）等多种源和目的校验的拷贝方式，大量数据的拷贝必然要做到数据拷贝过程中的校验，来保证源和目的数据的一致性。

### 2 、参数说明 ###

此参数为Hadoop2.x版本

*  `-append:`重用目标文件中的现有数据，并在可能的情况下添加新数据，新增进去而不是覆盖它
 *  `-async:`是否应该阻塞 distcp 执行
 *  `-atomic:`提交所有更改或不提交更改
 *  `-bandwidth <arg>:`以 MB/second 为单位指定每个 map 的带宽
 *  `-delete:`删除目标文件中存在的文件，但在源文件中不存在，走 HDFS 垃圾回收站
 *  `-diff <arg>:`使用 snapshot diff 报告来标识源和目标之间的差异
 *  `-f <arg>:`需要复制的文件列表
 *  `-filelimit <arg>:`（已弃用！）限制复制到 <=n 的文件数
 *  `-filters <arg>:`从复制的文件列表中排除
 *  `-i:`忽略复制过程中的失败
 *  `-log <arg>:`HDFS 上的 distcp 执行日志文件夹保存
 *  `-m <arg>:`限制同步启动的 map 数，默认每个文件对应一个 map，每台机器最多启动20个 map
 *  `-mapredSslConf <arg>:`配置ssl配置文件
 *  `-numListstatusThreads <arg>:`用于构建文件清单的线程数（最多40个），当文件目录结构复杂时应该适当增大该值
 *  `-overwrite:`选择无条件覆盖目标文件，即使它们存在。
 *  `-p <arg>:`保留源文件状态（rbugpcaxt）（复制，块大小，用户，组，权限，校验和类型，ACL，XATTR，时间戳）
 *  `-sizelimit <arg>:`（已弃用！）限制复制到 <=n 的文件数字节
 *  `-skipcrccheck:`是否跳过源和目标路径之间的 CRC 检查。
 *  `-strategy <arg>:`选择复制策略，默认值 uniformsize，每个 map 复制的文件总大小均衡；可以设置为 dynamic，使更快的 map 复制更多的文件，以提高性能
 *  `-tmp:` 要用于原子的中间工作路径承诺
 *  `-update:`如果目标文件的名称和大小与源文件不同，则覆盖；如果目标文件大小和名称与源文件相同则跳过

### 3、Hadoop DistCp进行数据复制的示例命令： ###

hadoop distcp hdfs://<源HDFS路径> hdfs://<目标HDFS路径>

在上面的命令中，你需要将<源HDFS路径>替换为要复制的源数据的HDFS路径，将<目标HDFS路径>替换为要将数据复制到的目标HDFS路径。

例如，如果要将/user/hadoop/data目录中的数据从源HDFS复制到目标HDFS的/user/hadoop/backup目录中，可以使用以下命令：

hadoop distcp hdfs://<源HDFS主机>:<源HDFS端口>/user/hadoop/data hdfs://<目标HDFS主机>:<目标HDFS端口>/user/hadoop/backup

请注意，你需要将<源HDFS主机>和<源HDFS端口>替换为源HDFS的主机名和端口号，将<目标HDFS主机>和<目标HDFS端口>替换为目标HDFS的主机名和端口号。

### 4、shell样例 ###

#!/usr/bin/env bash
    [[ -z $1 || -z $2 ]] && exit 1
    startDate=$1
    endDate=`date -d "$2 1 day" +%Y%m%d`
    startDate2=`date -d $1 +%Y-%m-%d`
    while [[ $startDate -ne $endDate ]]
    do
    echo "run date ："$startDate"  "$startDate2
        hadoop distcp  -bandwidth 0.7  -m 100 -update  hdfs://172.1.1.0:8020//user/hive/warehouse/position.db/parquet_gnss_test/gnsspartition=$startDate/*  hdfs://172.1.1.2:8020/user/hive/warehouse/position.db/parquet_gnss_test/gnsspartition=$startDate/
    startDate=$(date -d "$startDate 1 day" '+%Y%m%d')
    startDate2=$(date -d $startDate '+%Y-%m-%d')
    done

--------------------

## 总结 ##

> 如果此篇文章有帮助到您, 希望打大佬们能`关注`、`点赞`、`收藏`、`评论`支持一波，非常感谢大家！  
> 如果有不对的地方请指正!!!

[参考1][1]

[Link 1]: http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html
[1]: https://blog.csdn.net/weixin_53543905/article/details/131418380