如何在HDFS hadoop中从blockName中找到文件(how to find file from blockName in HDFS hadoop)

超、凢脫俗 2022-09-07 12:29 30阅读 0赞

痛苦的方式，假设你已经读取了所有文件的访问权限（并且执行目录）：  
  
$ p $ hadoop fsck / -files - 块| grep blk\_520275863902385418\_1002 -B 20

然后从块匹配扫描回上一个文件名：

/hadoop/mapred/system/jobtracker.info 4个字节，1个块：OK 
     0. blk_520275863902385418_1002 len = 4 repl = 1

在这种情况下blk\_5202 ...是 /hadoop/mapred/system/jobtracker.info file

在编程上，这不是名称节点的接口，它允许您按块ID搜索，但可以查看次要名称节点的来源并查看它如何合并编辑 - 然后尝试从次要名称节点中保存的输出（而不是冒着处理实时名称节点文件的风险）。< / p>

祝你好运！

*  [原文][Link 1]

What's the easiest way to find file associated with a block in HDFS given a block Name/ID

解决方案

The long and painful way, assuming you have read access to all the files (and execute for the directories):

hadoop fsck / -files -blocks | grep blk_520275863902385418_1002 -B 20

Then scan back up from your block match to the previous file name:

/hadoop/mapred/system/jobtracker.info 4 bytes, 1 block(s):  OK
    0. blk_520275863902385418_1002 len=4 repl=1

In this case blk\_5202... is part of the /hadoop/mapred/system/jobtracker.info file

Programmatically, these isn't an interface to the name node that allows you to search by block ID, but you could look into the source for the secondary name node and see how it consolidates the edits - then experiment on the saved output from the secondary name node (rather than risking working on the live name node file).

Good luck!

[Link 1]: https://www.it1352.com/843177.html#yuanwen

发表评论取消回复

表情：

评论列表（有 0 条评论，30人围观）

还没有评论，来说两句吧...

相关阅读

相关如何在Windows系统中安装Hadoop分布式文件系统（HDFS）

在Windows系统中安装Hadoop分布式文件系统（HDFS） Hadoop分布式文件系统（HDFS）是一个分布式文件系统，用于存储和处理大数据集。本文将介绍如何在Wi

╰+攻爆jí腚メ/ 2023年10月10日 19:28/ 0 赞/ 30 阅读

相关【Hadoop-HDFS】HDFS中Fsimage与Edits详解

【Hadoop-HDFS】HDFS中Fsimage与Edits详解 1）概述 2）NameNode元数据解析 3）Fsimage 3.1.F

蔚落/ 2023年10月09日 20:30/ 0 赞/ 32 阅读

相关 Hadoop——HDFS文件存储

目录添加Hadoop依赖 HDFS操作工具类 FileSystem的缓存机制缓存模式非缓存模式 -------------------- Hadoop中

朴灿烈づ我的快乐病毒、/ 2022年11月02日 11:57/ 0 赞/ 160 阅读

相关 HADOOP中HDFS工作原理

转载：http://www.weixuehao.com/archives/596 http://www.cnblogs.com/iloveyouforever/p/43039

àì夳堔傛蜴生んèń/ 2022年09月29日 05:23/ 0 赞/ 260 阅读

相关如何在HDFS hadoop中从blockName中找到文件(how to find file from blockName in HDFS hadoop)

痛苦的方式，假设你已经读取了所有文件的访问权限（并且执行目录）： $ p $ hadoop fsck / -files - 块| grep blk\_52027586

超、凢脫俗/ 2022年09月07日 12:29/ 0 赞/ 31 阅读

相关 Hadoop - HDFS

简介 Hadoop Distributed File System，分布式文件系统架构 ![7f6aa8d597c45642984257e7089c7077.p

「爱情、让人受尽委屈。」/ 2022年06月05日 10:46/ 0 赞/ 1150 阅读

相关 Hadoop HDFS文件操作

1、添加目录，HDFS默认工作目录为 /user/\{user\},其中\{USER\}为当前登录的用户名。 hadoop fs -mkdir -p /user/root

我不是女神ヾ/ 2022年05月27日 10:28/ 0 赞/ 281 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 357 阅读

相关 hadoop-hdfs

HDFS： HDFS即Hadoop的分布式文件系统，以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在

缺乏、安全感/ 2022年04月10日 04:38/ 0 赞/ 274 阅读

相关 Hadoop HDFS

一、简介 Hadoop Distributed File System，分布式文件系统二、架构 ![hdfs-architecture][] Block数据块

向右看齐/ 2021年10月15日 22:21/ 0 赞/ 425 阅读