hdfs 拷贝文件 java_hadoop集群间的hdfs文件拷贝

约定不等于承诺〃 2022-11-06 10:51 131阅读 0赞

1、背景

部门有个需求，在网络互通的情况下，把现有的hadoop集群(未做Kerberos认证，集群名为：bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop集群(做了Kerberos认证，集群名为zp-tt-hadoop)

2、实现

2.1 Copying Data between two Insecure cluster

两个都没有做安全认证的集群，通常方法如下：

$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

也可以通过webhdfs的方式：

$ hadoop distcp webhdfs://nn1:8020/foo/bar webhdfs://nn2:8020/bar/foo

对于不同Hadoop版本间的拷贝，用户应该使用HftpFileSystem。 这是一个只读文件系统，所以DistCp必须运行在目标端集群上。 源的格式是

hftp:/// (默认情况dfs.http.address是 :50070)。

distcp的一些参数如下：

\-i:忽略失败(不建议开启)

\-log：记录日志到

\-m：同时拷贝的最大数目(指定了拷贝数据时map的数目。请注意并不是map数越多吞吐量越大。)

\-overwrite：覆盖目标(如果一个map失败并且没有使用-i选项，不仅仅那些拷贝失败的文件，这个分块任务中的所有文件都会被重新拷贝。 就像下面提到的，它会改变生成目标路径的语义，所以 用户要小心使用这个选项。)

\-update：如果源和目标的大小不一样则进行覆盖

\-f：使用 作为源文件列表

2.2 Copying Data between a Secure and an Insecure

在secure-cluster上的core-site.xml配置文件中添加：

ipc.client.fallback-to-simple-auth-allowed

true

然后在secure-cluster执行如下命令：

distcp webhdfs://insecureCluster webhdfs://secureCluster

distcp webhdfs://secureCluster webhdfs://insecureCluster

在我实际操作过程中，两个集群hdfs都有做ha，使用上面的命令会报错：

16/09/27 14:47:52 ERROR tools.DistCp: Exception encountered

java.lang.IllegalArgumentException: java.net.UnknownHostException: bd-stg-hadoop

at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)

at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:392)

at org.apache.hadoop.hdfs.web.WebHdfsFileSystem.initialize(WebHdfsFileSystem.java:167)

at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2643)

at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:93)

at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2680)

at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2662)

at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:379)

at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)

at org.apache.hadoop.tools.GlobbedCopyListing.doBuildListing(GlobbedCopyListing.java:76)

at org.apache.hadoop.tools.CopyListing.buildListing(CopyListing.java:86)

at org.apache.hadoop.tools.DistCp.createInputFileListing(DistCp.java:365)

at org.apache.hadoop.tools.DistCp.execute(DistCp.java:171)

at org.apache.hadoop.tools.DistCp.run(DistCp.java:122)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

at org.apache.hadoop.tools.DistCp.main(DistCp.java:429)

Caused by: java.net.UnknownHostException: bd-stg-hadoop

解决如下：

把bd-stg-hadoop集群名字改成了active-namenode的host再进行操作，如下：

$ hadoop distcp webhdfs://bd-stg-namenode-138/tmp/hivebackup/app/app\_stg\_session webhdfs://zp-tt-hadoop:8020/tmp/hivebackup/app/app\_stg\_session

成功执行后， 可以发现原理就是启动一个只有map的MapReduce作业来实现两个集群间的数据复制。

2.3 Copying Data between two Secure cluster

这种情况相对有些复杂了，需要Kerberos做跨域的配置。本文暂不研究讨论。

发表评论取消回复

表情：

评论列表（有 0 条评论，131人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop：集群间数据拷贝

集群间数据拷贝 1）scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/atguigu/hel

Dear 丶/ 2024年03月17日 22:42/ 0 赞/ 22 阅读

相关 HDFS删除文件

一.删除HDFS上的文件需求:删除HDFS上的一个文件代码: -- 查看文件 hadoop fs -ls /user/hive/warehouse

╰半橙微兮°/ 2022年11月07日 04:05/ 0 赞/ 108 阅读

相关 hdfs 拷贝文件 java_hadoop集群间的hdfs文件拷贝

1、背景部门有个需求，在网络互通的情况下，把现有的hadoop集群(未做Kerberos认证，集群名为：bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop

约定不等于承诺〃/ 2022年11月06日 10:51/ 0 赞/ 132 阅读

相关文件拷贝

package cn.mldn.demo; import java.io.File; import java.io.FileInputStream; import

水深无声/ 2022年09月25日 07:23/ 0 赞/ 157 阅读

相关文件的拷贝

步骤：文件的拷贝 1.建立联系 File对象 2.选择流输入流、输出流 InputStream、outputStrea

青旅半醒/ 2022年06月17日 11:19/ 0 赞/ 116 阅读

相关文件的拷贝

package FileStream; import java.io.File; import java.io.FileInputStream

骑猪看日落/ 2022年06月11日 06:38/ 0 赞/ 138 阅读

相关集群间文件的拷贝

如果你根据上篇总结搭建了三个虚拟机的环境那么你应该发现了配置的过程还是有点麻烦的（如果这样配置集群，我想你应该会疯掉），那有没有一种方法可以减少我们的配置呢？集群间

Love The Way You Lie/ 2022年04月06日 05:42/ 0 赞/ 311 阅读

相关集群HDFS文件操作（客户端开发java）

集群HDFS文件操作（客户端开.发java） 1 环境 1.1 ==win10专业版下编译过的hadoop jar包== 1.2 配置HA

柔光的暖阳◎/ 2022年04月04日 03:57/ 0 赞/ 293 阅读

相关集群HDFS文件的操作（Shell）

集群HDFS文件的操作（Shell） 1.基本语法 2.一些帮助理解的例子 2.1命令执行条件（启动集群） 2.2查看常用命令

ゞ浴缸里的玫瑰/ 2022年04月04日 03:46/ 0 赞/ 194 阅读

相关 Hadoop集群间数据拷贝distcp使用

一、hadoop集群间拷贝工具简介 distcp是hadoop集群间拷贝工具，使用MapReduce的方式，进行大数据在集群的拷贝，不同于简单的数据copy，distcp

秒速五厘米/ 2022年02月19日 05:43/ 0 赞/ 725 阅读