HDFS读取和写入剖析

Love The Way You Lie 2022-04-24 09:02 170阅读 0赞

参考《hadoop权威指南》

# 读取 #

客户端通过DistributedFileSystem对象的open（）方法打开希望读取的文件。

1.  这个对象通过RPC（远程过程调用）调用namenode来确定文件的起始块位置
2.  DistributedFileSystem类返回一个FSDataInputStream输入流对象。
3.  客户端对这个输入流调用read（）方法，连接距离最近的文件中第一个块所在datanode。验证datanode中的校验和。
    
    如果检测到数据块有错误，向namenode报告已损坏的数据块和正在读的datanode。  
    namenode标记这个数据块已损坏。  
    安排这个数据块的一个副本复制到另一个datanode。  
    删除已损坏副本。
4.  读取数据。  
    到达块末尾时，关闭与此datanode的连接，然后寻找下一个块的最佳Datanode
5.  客户端读取完成，对输入流调用close方法。

# 写入 #

1.  客户端通过DistributedFileSystem对象调用create()创建文件。
2.  DistributedFileSystem对namenode创建一个RPC调用，在文件系统命名空间创建一个文件，namenode执行检查（已存在，权限）
3.  DistributedFileSystem类返回一个FSDataInputStream输入流对象。  
    输入流将数据分成数据包（分块），形成数据队列。  
    DataStreamer挑选合适的一组datanode存放数据，称为一个管线。  
    （默认）复本存放策略：  
    1 客户端所在节点（客户端在集群外的话，随机选节点）  
    2 不同于第一个节点的机架上  
    3 同2机架的不同节点  
    其他 随机
4.  数据包和校验和流式传入管线中的节点
5.  当datanode发生故障，关闭管线。  
    在该数据块所在的其他datanode做个标识，发送给namenode。  
    管线中删除故障datanode。  
    数据包继续在管线中的正常namenode间发送。  
    （副本量不足时，在另一个节点上创建新副本）
6.  一个数据包写完后datanode通知客户端和namendoe，然后写下一个数据包。
7.  都写完以后，通知namenode
8.  客户端对数据流调用close方法
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70]: /images/20220217/7c21058a33344e498146eaad24c6a53f.png