DataNode节点的数据块管理(1)——FSDir

- 日理万妓 2022-06-16 09:47 171阅读 0赞

在前面我说过，一个DataNode可以配置多个本地存储目录来存储与自己相关的数据，这些数据主要是NameNode分配给它并要它存储的文件数据块，另外，这些数据块是存储在本地存储目录的current/子目录下面的，那么DataNode就需要能对这些数据块进行管理了，而且还能够为一个数据块分配足够的存储空间。因此，HDFS专门设计了org.apache.hadoop.hdfs.server.datanode.FSDir类，每一个FSDir实例可以管理DataNode节点的一个存储路径中文件数据块。每一个数据块的信息对应两个文件，其中一个存数据，一个存储校验信息，如在DataNode的一个存储路径中：

![0_1325488618AaGL.gif][]

在上面的信息中，7938414676282962418是数据块的id，1002是数据块的版本号，blk\_7938414676282962418存储的是该数据块的内容，blk\_7938414676282962418\_1002.meta存储的是该数据块的校验信息。

对于FSDir类，它主要包含四个属性：

![0_1325489587E36A.gif][]

dir：存储路径的子目录current/；

numBlocks：存储目录当前已经存储的数据块的数量；

children：目录current/的子目录；

lastChildIdx：存储上一个数据块的子目录序号；

为了能够根据数据块的id快速找到对应的数据块文件(说白了就是在DataNode启动时能够快速地收集所有的Block信息好向NameNode报告)，任何一个存储数据块的存储目录存储的数据块数量不能超过maxBlocksPerDir。具体来说是这样的：DataNode节点会首先把文件的数据块存储到存储路径的子目录current/下；当子目录current/中已经存储了maxBlocksPerDir个数据块之后，就会在目录current/下创建maxBlocksPerDir个子目录，然后从中选择一个子目录，把数据块存储到这个子目录中；如果选择的子目录也已经存储了maxBlocksPerDir个数据块，则又在这个子目录下创建maxBlocksPerDir个子目录，从这些子目录中选一个来存储数据块，就这样一次递归下去，直到存储路径的剩余存储空间不够存储一个数据块为止。哦，对了，maxBlocksPerDir的默认值是64，但也可以通过DataNode的配置文件来设置，它对应的配置选项是dsf.datanode.numblocks。

ok，再来看看与FSDir相关联的类吧！

![0_1325491401MZQO.gif][]

每一个数据块被抽象成了一个Block对象，它主要有三个属性，blockId表示这个数据块的标识，它在整个HDFS集群中都是唯一的，numBytes表示这个数据块的大小，generationStamp表示这个数据块最近一次修改的时间戳。DataNodeBlockInfo存放的是Block在文件系统上的信息。它保存了Block存放的卷(FSVolume)，文件名和detach状态。这里有必要解释一下detach状态：我们前面分析过，系统在升级/备份是会创建一个snapshot，snapshot的文件和current里面的数据块文件和数据块元文件是通过硬链接指向了相同的内容。当我们需要改变current里面的文件时，如果不进行detach操作，那么，修改的内容会影响snapshot里的文件，这是，我们就需要将对应的硬链接解除掉。方法很简单，就是在临时文件夹里复制文件，然后将临时文件改名为current里的对应文件，这样的话，crrent里的文件就和snapshot里的文件detach了(关于数据块的detach操作，我在后面还会讲到)。这样的技术也叫copy-on-write，是一种有效提高系统性能的方法。DataNodeBlockInfo中的detachBlock方法能够对应的数据文件和元数据文件进行detach操作。上面detach操作所提到的临时文件夹就是存储路径下的detach/子目录，这个子目录和对应的current/子目录在同一父路径下。

当有数据块到达DataNode节点时，DataNode并不是马上在current/中为这个数据块选择合适的存储目录，而是先把它存放到存储路径的tmp/子目录下，当这个数据块被DataNode节点成功接受之后，才把它移动到current/下的合适目录中。因此，FSDir主要有以下几个方法：

1.添加一个数据块到curent/下

为了让存储目录的子目录存储的数据块达到负载均衡，FSDir使用了lastChildIdx来循环的选择子目录存储数据块。

public File addBlock(Block b, File src) throws IOException {
          //First try without creating subdirectories
          File file = addBlock(b, src, false, false);          
          return (file != null) ? file : addBlock(b, src, true, true);
        }
    
        private File addBlock(Block b, File src, boolean createOk,  boolean resetIdx) throws IOException {
          //直接将数据块保存到当前主目录下
          if (numBlocks < maxBlocksPerDir) {
            File dest = new File(dir, b.getBlockName());
            File metaData = getMetaFile( src, b );
            File newmeta = getMetaFile(dest, b);
            
            if ( ! metaData.renameTo( newmeta ) || ! src.renameTo( dest ) ) {
              throw new IOException( "could not move files for " + b + " from tmp to " + dest.getAbsolutePath() );
            }
            
            if (DataNode.LOG.isDebugEnabled()) {
              DataNode.LOG.debug("addBlock: Moved " + metaData + " to " + newmeta);
              DataNode.LOG.debug("addBlock: Moved " + src + " to " + dest);
            }
            //当前主目录存储的数据块加1       
             numBlocks += 1;
             return dest;
          }
                
          if (lastChildIdx < 0 && resetIdx) {
            //reset so that all children will be checked
            lastChildIdx = random.nextInt(children.length);              
          }
                
          if (lastChildIdx >= 0 && children != null) {
            //Check if any child-tree has room for a block.
            for (int i=0; i < children.length; i++) {
              int idx = (lastChildIdx + i)%children.length;
              File file = children[idx].addBlock(b, src, false, resetIdx);
              if (file != null) {
                lastChildIdx = idx;
                return file;
              }
            }
            lastChildIdx = -1;
          }
                
          if (!createOk) {
            return null;
          }
          //在当前主目录下创建若干个子目录来存储数据块
           if (children == null || children.length == 0) {
            children = new FSDir[maxBlocksPerDir];
            for (int idx = 0; idx < maxBlocksPerDir; idx++) {
              children[idx] = new FSDir(new File(dir, DataStorage.BLOCK_SUBDIR_PREFIX+idx));
            }
          }
                
          //now pick a child randomly for creating a new set of subdirs.
          lastChildIdx = random.nextInt(children.length);
          return children[ lastChildIdx ].addBlock(b, src, true, false);
        }
     
     
     
     
     2.从数据块对应的元数据文件名中解析文件的时间戳
     
     long getGenerationStampFromFile(File[] listdir, File blockFile) {
          String blockName = blockFile.getName();
          for (int j = 0; j < listdir.length; j++) {
            String path = listdir[j].getName();
            if (!path.startsWith(blockName)) {
              continue;
            }
            String[] vals = path.split("_");
            if (vals.length != 3) {     // blk, blkid, genstamp.meta
              continue;
            }
            String[] str = vals[2].split("\\.");
            if (str.length != 2) {
              continue;
            }
            return Long.parseLong(str[0]);
          }
          DataNode.LOG.warn("Block " + blockFile + " does not have a metafile!");
          
          return Block.GRANDFATHER_GENERATION_STAMP;
        }
    
     
     3.获取存储目录下的所有数据块信息
     
     /*采用递归的方式*/
    public void getBlockInfo(TreeSet<Block> blockSet) {
          if (children != null) {
            for (int i = 0; i < children.length; i++) {
              children[i].getBlockInfo(blockSet);
            }
          }
    
          File blockFiles[] = dir.listFiles();
          for (int i = 0; i < blockFiles.length; i++) {
            if (Block.isBlockFilename(blockFiles[i])) {
              long genStamp = getGenerationStampFromFile(blockFiles, blockFiles[i]);
              blockSet.add(new Block(blockFiles[i], blockFiles[i].length(), genStamp));
            }
          }
          
        }4.获取存储目录下的所有数据块的卷信息
    
     void getVolumeMap(HashMap<Block, DatanodeBlockInfo> volumeMap, FSVolume volume) {
          if (children != null) {
            for (int i = 0; i < children.length; i++) {
              children[i].getVolumeMap(volumeMap, volume);
            }
          }
    
          File blockFiles[] = dir.listFiles();
          for (int i = 0; i < blockFiles.length; i++) {
            if (Block.isBlockFilename(blockFiles[i])) {
              long genStamp = getGenerationStampFromFile(blockFiles, blockFiles[i]);
               
              Block _block= new Block(blockFiles[i], blockFiles[i].length(), genStamp);
              volumeMap.put(_block, new DatanodeBlockInfo(volume, blockFiles[i]));
            }
          }
        }

[0_1325488618AaGL.gif]: /images/20220616/f894c83c28c249668f8ee16e9542603f.png
[0_1325489587E36A.gif]: /images/20220616/b9913ede7e3841d4bedebfce19550aaf.png
[0_1325491401MZQO.gif]: /images/20220616/25c4b165b3a34d78b2e5d92a608dd6c2.png