CDH Hadoop HDFS EOFException异常的问题

╰+哭是因爲堅強的太久メ 2022-12-02 15:29 222阅读 0赞

CDH hadoop HDFS系统中，看了下出现异常的DataNode节点日志

018-09-04 23:24:38,446 WARN org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: No block pool scanner found for block pool id: BP-21853433-xxxxxxxxx-1484835379573
    2018-09-05 00:45:13,777 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Unsuccessfully sent block report 0xa7b72c5217b7ac,  containing 1 storage report(s), of which we sent 0. The reports had 6076010 total blocks and used 0 RPC(s). This took 1636 msec to generate and 1082 msecs for RPC and NN processing. Got back no commands.
    2018-09-05 00:45:13,777 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService
    java.io.EOFException: End of File Exception between local host is: "xxxx"; destination host is: "xxx":53310; : java.io.EOFException; For more details see:  http://wiki.apache.org/hadoop/EOFException
        at sun.reflect.GeneratedConstructorAccessor8.newInstance(Unknown Source)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)
        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
        at org.apache.hadoop.ipc.Client.call(Client.java:1473)
        at org.apache.hadoop.ipc.Client.call(Client.java:1400)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
        at com.sun.proxy.$Proxy12.blockReport(Unknown Source)
        at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.blockReport(DatanodeProtocolClientSideTranslatorPB.java:177)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.blockReport(BPServiceActor.java:524)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:750)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:889)
        at java.lang.Thread.run(Thread.java:745)
    Caused by: java.io.EOFException
        at java.io.DataInputStream.readInt(DataInputStream.java:392)
        at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1072)
        at org.apache.hadoop.ipc.Client$Connection.run(Client.java:967)

关注了下EOFException这个异常，根据异常给的链接提示[http://wiki.apache.org/hadoop/EOFException][http_wiki.apache.org_hadoop_EOFException]，看了下这个异常的原因：

1.  服务异常重启了，RPC过程中网络通信异常（比如服务重启，HA failover发生主从切换）
2.  通信协议不匹配，如：DataNode节点的Hadoop版本和NameNode不一致

要说服务重启，只有DataNode重启了，NameNode没变化；集群的Hadoop版本也是一致的，所以，都不是以上2点原因导致的`EOFException`异常。好没头绪，又看了下NameNode日志，发现一个关键性的信息：

hadoop Requested data length 86483783 is longer than maximum configured RPC length 67108864

在结合DataNode的异常堆栈信息，应该是ipc的数据包过大导致的，知道问题所在，应该就好解决了。

## 解决 ##

修改NameNode的hdfs-site.xml配置文件，添加以下配置：

<property>
        <name>ipc.maximum.data.length</name>
        <value>134217728</value>
    </property>

在CDH HADOOP系统中，则需要从CDH CM主页上去修改，见下图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JpZ3RyZWVfMzcyMQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JpZ3RyZWVfMzcyMQ_size_16_color_FFFFFF_t_70 1][]

允许ipc通讯最大的数据包为128MB，默认配置为64MB。最后平滑重启NameNode，在重启异常的DataNode解决。

## 总结 ##

出问题的集群规模比较小，但是小文件数量特别多。从日志看是内存不足导致DataNode跪了，然后随即的重启，DataNode要给NameNode上报block信息，由于block信息较多，ipc通信的数据包超过了64MB，NameNode返回异常了，导致DataNode这边出现`EOFException`的异常，由于这个异常，DataNode没能把block信息上报给NameNode，NameNode就认为block丢失了。

这次的问题是由于block数量较多导致，也分析了下block数量与资源消耗的关系，针对单个DataNode上有500W个左右的block，大概消耗如下：

*  DataNode内存6GB左右
 *  一次性向NameNode汇报block的ipc数据包大小约为64MB

今后维护HDFS可以根据block的数量信息分配合理的内存和`ipc.maximum.data.length`大小了

[http_wiki.apache.org_hadoop_EOFException]: https://link.zhihu.com/?target=http%3A//wiki.apache.org/hadoop/EOFException
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JpZ3RyZWVfMzcyMQ_size_16_color_FFFFFF_t_70]: /images/20221123/8aea355221974682be4379cad43dad61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JpZ3RyZWVfMzcyMQ_size_16_color_FFFFFF_t_70 1]: /images/20221123/c160a84e29d94bd58863feee10123546.png

发表评论取消回复

表情：

评论列表（有 0 条评论，222人围观）

还没有评论，来说两句吧...

相关阅读

相关 CDH Hadoop HDFS EOFException异常的问题

CDH hadoop HDFS系统中，看了下出现异常的DataNode节点日志 018-09-04 23:24:38,446 WARN org.apache.had

╰+哭是因爲堅強的太久メ/ 2022年12月02日 15:29/ 0 赞/ 223 阅读

相关 hadoop异常：java.io.EOFException

at java.io.DataInputStream.readFully(DataInputStream.java:197) 解决方法：序列文件的问题,最后结尾的时候没

迷南。/ 2022年10月21日 12:58/ 0 赞/ 147 阅读

相关 Hadoop的HDFS

大数据的特点 1.TB,PB类别的数据 2.数据是以高速增长的趋势 3.数据都是半结构化或者非结构化的数据，需要我们存储以及处理成直观的数据 H

青旅半醒/ 2022年07月12日 04:38/ 0 赞/ 189 阅读

相关 Hadoop - HDFS

简介 Hadoop Distributed File System，分布式文件系统架构 ![7f6aa8d597c45642984257e7089c7077.p

「爱情、让人受尽委屈。」/ 2022年06月05日 10:46/ 0 赞/ 281 阅读

相关 WebSocket发生EOFException异常

聊天系统使用WebSocket进行消息传递，应用服务器使用两台做负载均衡，一台Web服务器部署Nginx做代理，登录系统之后总是会报java.io.EOFException异常

╰+攻爆jí腚メ/ 2022年05月16日 05:43/ 0 赞/ 940 阅读

相关 hadoop CDH + kylin安装

一：实验环境三台CentOS 6.7主机，IP地址 172.16.10.50 master 172.16.10.51 slave1 172.16.10.

以你之姓@/ 2022年04月16日 00:30/ 0 赞/ 264 阅读

相关如何远程读取CDH的hadoop上的HDFS数据？

\[b\]\[color=olive\]\[size=large\]以前，散仙曾写过一篇如何在win上使用eclipse远程读取HDFS上的数据，不过当时使用的hadoop是1

左手的ㄟ右手/ 2022年04月12日 07:09/ 0 赞/ 520 阅读

相关 hadoop-hdfs

HDFS： HDFS即Hadoop的分布式文件系统，以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在

缺乏、安全感/ 2022年04月10日 04:38/ 0 赞/ 258 阅读

相关 CDH HDFS High Availability（CDH启用HDFS高可用）5.11.x

Table of Contents HDFS高可用性介绍背景 HA实现 Quorum-based存储自动故障转移关于HDFS HA的一般问题 “Operat

电玩女神/ 2022年03月16日 16:56/ 0 赞/ 330 阅读

相关 Hadoop HDFS

一、简介 Hadoop Distributed File System，分布式文件系统二、架构 ![hdfs-architecture][] Block数据块

向右看齐/ 2021年10月15日 22:21/ 0 赞/ 405 阅读