Hadoop distcp 用法/附避坑指南

柔情只为你懂 2021-09-25 08:56 406阅读 0赞

**distcp作用是从hdfs复制一个或多个数据文件或数据目录到一个指定目录下。会启动Map任务去复制，不会启动Reduce任务。**

语法：

$ hadoop distcp  配置参数(-pt -overwrite等) 
    hdfs:......源表1/dt=xxxx/* hdfs:......源表2/dt=xxxx/* 
    hdfs:......目的表/dt=xxxx 
    $ hive -e "select * from 目的表 where dt = 'xxxx'"

1.  以上命令是把源表1和源表2的dt=xxxx下的所有数据文件和子目录复制到目的表的dt=xxxx路径下。
2.  即使目的分区路径不存在也不会报错，distcp会自动创建目的分区路径和添加分区信息（目的表需要先存在）。
3.  distcp有很多配置，比如复制时的最大网络带宽、最大map任务个数、是覆盖还是追加、是否保留源文件时间等等。
4.  '-pt'的作用是保留源文件的修改时间（不然复制到目的路径下的文件的修时间就是复制完成时的时间）
5.  '-overwrite'的作用是覆盖同名文件（不是覆盖路径），如果目的路径下不存在该源文件则是复制过来！（目的路径下的其他文件依然存在且无变化！）
6.  '-update'的作用是修改，如果目的路径已存在与源路径下的某个文件名和大小均相同的文件，则不再复制该文件（不管文件内容和文件修改时间是否变化）。只会复制目的路径下不存在文件、同名且文件大小不一致的文件。目的路径下的其他文件依然存在且无变化！

**实例：请务必仔细体会：**

**具体实例请关注我的微信公众号【程序员实用技能】**

「欢迎关注，一起学习，一起进步」

![图片][95678de3fba567a94f838b93808bff1e.png]

历史文章：

[Hive常用命令你会哪些？][Hive]

[Hive,load data你真的会用吗？附全面解析][Hive_load data]

[95678de3fba567a94f838b93808bff1e.png]: /images/20210923/6ac80cdd525c4f40bf646277e7da5fbc.png
[Hive]: http://mp.weixin.qq.com/s?__biz=MzIyMjI5OTIzOQ==&mid=2247483695&idx=1&sn=1b70d401ee05c2d62e1957b6748155b1&chksm=e82ed427df595d31a1b4e7d9384a8e9cb027480a27acce1fb9c18f5b0daf5b86d3b767fdb5e1&scene=21#wechat_redirect
[Hive_load data]: http://mp.weixin.qq.com/s?__biz=MzIyMjI5OTIzOQ==&mid=2247483701&idx=1&sn=a099f32c75d1f4428419c143a68fe44f&chksm=e82ed43ddf595d2b6e483a2933a117a5300bd89da7d30d83cafc29d07bd3dbfdd9d7f07171d6&scene=21#wechat_redirect