hadoop多次格式化后，导致的问题

叁歲伎倆 2022-05-09 00:38 426阅读 0赞

## 1.hadoop namenode多次格式化可能导致的问题 ##

1.1 各个单独结点可以起来（jps有进程提示）但是用hdfs dfsadmin -report去查各项结果都为0。

1.2使用start-dfs.sh只启动了namenode没有启动datanode，且-report的结果也全0

遇到这个问题我开始怎么也解决不了，只好从头重新安装配置了一次lunix和hadoop，成功解决。

结果在配置hadoop.tmp.dir时，又要重新对hdfs namenode -format,又出现了上述2的现象，这次接受不了这个重装的方法，于是借鉴各位网有的博客，终于解决了。

解决方法如下：

1.在Hadoop的解压包下，找到share/doc/index.html,找到core-default.xml,里面找到dfs.namenode.dir和dfs.datanode.dir(如果你没有修改过的话)

![70][]

2.到hadoop环境中根据以上查询到的目录，首先找到namenode.dir对应的目录下，找到dfs/name/current/VERSION,

vim VERSION,查看clusterID值并复制保存下来。

按照以上方式，（对所有的datanode进行操作）找到datanode.dir对应的目录，找到dfs/name/current/VERSION,vim VERSION,查看clusterID值。

3.对比两个clusterID值，如果不同，说明找到问题所在。

4.将datanode的clusterID值改成namenode一样的。

5.重启集群start-dfs.sh

以上完成。

笔者在因为之前改了namenode的hadoop.tmp.dir所以在找namenode的dfs.namenode.dir时，根据index.html提示就找到了目录，但是再找dfs.datanode.dir出现了问题，根据namenode的tmp.dir找不到，自己默认的也找不到，只好去查datanode的logs文件，所幸在里面看到了一条记录

2018-09-28 12:43:51,515 INFO org.apache.hadoop.hdfs.server.common.Storage: Locking is disabled for /tmp/hadoop-root/dfs/data/current/BP-1462737579-192.168.56.100-1538109733553

/tmp/hadoop-root/dfs/data/current/就找到了。

找不到以上目录的可以尝试上面的方法

[70]: /images/20220509/75fcd39a6a8b40849ec8920d3743682a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，426人围观）

还没有评论，来说两句吧...

相关阅读

相关排查格式化符与待格式化参数不一致导致的程序崩溃问题

录 1、问题说明 2、初步分析 3、进一步分析 3.1、查看崩溃时的函数调用堆栈

我就是我/ 2024年04月17日 11:12/ 0 赞/ 46 阅读

相关 Hadoop：格式化脚本【删除所有节点的所有数据，重新格式化HDFS】【使用Hadoop之前需要格式化】

如果集群是第一次启动，需要在配置为NameNode的节点（比如：hadoop102节点）格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameN

Myth丶恋晨/ 2023年09月25日 21:01/ 0 赞/ 43 阅读

相关 @InitBinder 导致切面多次执行的问题

文章目录 @InitBinder 导致切面多次执行的问题 1、表现 2、解决 @InitBinder 导致

- 日理万妓/ 2022年09月12日 15:54/ 0 赞/ 303 阅读

相关 UItableViewCell 重用导致控件多次加载去除cell重用导致视图控件多次加载问题

UITableView中的cell可以有很多，一般会通过重用cell来达到节省内存的目的:通过为每个cell指定一个重用标识符(reuseIdentifier),即指定了

Love The Way You Lie/ 2022年08月21日 11:37/ 0 赞/ 157 阅读

相关关于Android中的onCreate()多次被调用导致bindService被多次调用的问题

最近在做公司项目的时候，遇到了一个很怪的问题，就是Application的onCreate()方法多次被调用，导致bindServi

谁借莪１个温暖的怀抱￠/ 2022年08月19日 12:13/ 0 赞/ 189 阅读

相关 Hadoop格式化后出现异常

我在正常安装Hadoop 格式化后正常启动，在安装成功后再次格式化就出现了异常，对文件进行上传和删除时都出现了同样的异常说是DataNode没有启动，我使用jps查看一下别

￡神魔★判官ぃ/ 2022年06月10日 11:08/ 0 赞/ 198 阅读

相关 hadoop多次格式化后，导致的问题

1.hadoop namenode多次格式化可能导致的问题 1.1 各个单独结点可以起来（jps有进程提示）但是用hdfs dfsadmin -report去查各项

叁歲伎倆/ 2022年05月09日 00:38/ 0 赞/ 427 阅读

相关 VScode格式化后没有了空格的问题

![20190626142144180.png][]==》![20190626142215511.png][] 在settings.json里加入： "vetur.

比眉伴天荒/ 2021年12月23日 22:47/ 0 赞/ 653 阅读

相关 Hadoop格式化hdfs

0.停止集群 ./stop-all.sh 1.删除目录格式化NameNode时，会产生新的clusterID,导致NameNode和DataNode的c

「爱情、让人受尽委屈。」/ 2021年11月10日 10:34/ 0 赞/ 342 阅读

相关 hadoop2.x.x格式化遇到的问题

1 概述解决hadoop启动hdfs时，datanode无法启动的问题。错误为： java.io.IOException: Incompatible cl

心已赠人/ 2021年09月25日 16:04/ 0 赞/ 337 阅读