Hadoop3.2.1 【 HDFS 】源码分析 : NameNode -format 解析

小咪咪 2022-12-04 04:27 171阅读 0赞

# 一.前言 #

众所周知, 在安装hadoop的时候, 必须对hdfs的Namenode进行格式化操作. 本文主要介绍格式化操作.

> 格式化命令如下.
> 
>          **bin/hdfs namenode -format**

# 二.代码入口 #

Namenode的格式化操作是 : **org.apache.hadoop.hdfs.server.namenode.NameNode**

/**
       */
      public static void main(String argv[]) throws Exception {
        //参数校验
        if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
          System.exit(0);
        }
    
        try {
          StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
    
          //调用createNameNode()方法创建NameNode对象
          NameNode namenode = createNameNode(argv, null);
    
          if (namenode != null) {
            //等待Namenode RPC服务结束
            namenode.join();
          }
        } catch (Throwable e) {
          LOG.error("Failed to start namenode.", e);
          //出现异常则直接退出执行
          terminate(1, e);
        }
      }

通过main入口的方法,我们可以知道接下来是调用createNameNode方法. 然后根据传入的参数不同执行不同的代码片段.

我们主要是看格式化操作, 我们关注一下 FORMAT 这个代码片段就可以了.

public static NameNode createNameNode(String argv[], Configuration conf)
          throws IOException {
        LOG.info("createNameNode " + Arrays.asList(argv));
    
        //构建配置文件
        if (conf == null)
          conf = new HdfsConfiguration();
    
        // Parse out some generic args into Configuration.
        GenericOptionsParser hParser = new GenericOptionsParser(conf, argv);
        argv = hParser.getRemainingArgs();
    
        // Parse the rest, NN specific args.
        //解析命令行的参数
        StartupOption startOpt = parseArguments(argv);
        if (startOpt == null) {
          printUsage(System.err);
          return null;
        }
        setStartupOption(conf, startOpt);
    
        boolean aborted = false;
    
        //根据启动选项调用对应的方法执行操作
        switch (startOpt) {
    
        //格式化当前Namenode， 调用format()方法执行格式化操作
        case FORMAT:
          aborted = format(conf, startOpt.getForceFormat(),
              startOpt.getInteractiveFormat());
          terminate(aborted ? 1 : 0);
          return null; // avoid javac warning
        case GENCLUSTERID:
          // 代码略...
    
        //回滚上一次升级， 调用doRollback()方法执行回滚操作。
        case ROLLBACK:
          // 代码略...
    
        // 拷贝Active Namenode的最新命名空间数据到StandbyNamenode，
        // 调用BootstrapStandby.run()方法执行操作
        case BOOTSTRAPSTANDBY:
         // 代码略...
    
        //初始化editlog的共享存储空间， 并从Active
        //Namenode中拷贝足够的editlog数据， 使得Standby节点能够顺利启动。 这里调用
        //了静态方法initializeSharedEdits()执行操作
        case INITIALIZESHAREDEDITS:
          // 代码略...
        case BACKUP:
    
    
        //启动checkpoint节点， 也是直接构造BackupNode对象并返回。
        case CHECKPOINT:
          // 代码略...
    
        //恢复损坏的元数据以及文件系统， 这里调用了doRecovery()方法执行操作
        case RECOVER:
          // 代码略...
    
        //确认配置文件夹存在， 并且打印fsimage文件和文件系统的元数据版本
        case METADATAVERSION:
          // 代码略...
    
        //升级Namenode， 升级完成后关闭Namenode。
        case UPGRADEONLY:
          // 代码略...
    
    
        //在默认情况下直接构造NameNode对象并返回
        default:
          // 初始化 度量服务
          DefaultMetricsSystem.initialize("NameNode");
          //  构建NameNode
          return new NameNode(conf);
        }
      }

所以我们主要关注format方法即可.

# 三.格式化操作 format #

这里我就不细说了,后面在说FSNamesystem的时候,会做详细讲解. 这里大概就是 生成一个集群id

\[clusterId : 规则 CID-UUID 如: CID-d5e21420-46b8-41fb-acc7-8562be611472\]

然后构建一个FSImage

// 构建 FSImage
    FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat);

然后根据FSImage构建和配置文件构建 FSNamesystem, 最后再调用:

fsImage.format(fsn, clusterId, force);

这个进行初始化操作. 生成文件.

/**
       * Verify that configured directories exist, then
       * Interactively confirm that formatting is desired 
       * for each existing directory and format them.
       * 
       * @param conf configuration to use
       * @param force if true, format regardless of whether dirs exist
       * @return true if formatting was aborted, false otherwise
       * @throws IOException
       */
      private static boolean format(Configuration conf, boolean force,  boolean isInteractive) throws IOException {
        // nsId =  null
        String nsId = DFSUtil.getNamenodeNameServiceId(conf);
        // namenodeId =  null
        String namenodeId = HAUtil.getNameNodeId(conf, nsId);
    
        initializeGenericKeys(conf, nsId, namenodeId);
        //读取配置dfs.namenode.support.allow.format  namenode是否可以格式化: 默认true
        checkAllowFormat(conf);
    
        if (UserGroupInformation.isSecurityEnabled()) {
          InetSocketAddress socAddr = DFSUtilClient.getNNAddress(conf);
          SecurityUtil.login(conf, DFS_NAMENODE_KEYTAB_FILE_KEY,
              DFS_NAMENODE_KERBEROS_PRINCIPAL_KEY, socAddr.getHostName());
        }
        
        Collection<URI> nameDirsToFormat = FSNamesystem.getNamespaceDirs(conf);
    
        // list<URI> 0 : file:/tools/hadoop-3.2.1/data/namenode
        List<URI> sharedDirs = FSNamesystem.getSharedEditsDirs(conf);
    
    
        List<URI> dirsToPrompt = new ArrayList<URI>();
    
    
        dirsToPrompt.addAll(nameDirsToFormat);
        dirsToPrompt.addAll(sharedDirs);
    
        // list<URI> 0 : file:/tools/hadoop-3.2.1/data/namenode
        List<URI> editDirsToFormat =  FSNamesystem.getNamespaceEditsDirs(conf);
    
        // if clusterID is not provided - see if you can find the current one
        String clusterId = StartupOption.FORMAT.getClusterId();
        if(clusterId == null || clusterId.equals("")) {
          //Generate a new cluster id   生成新的id  举例: CID-UUID  ==>  CID-d5e21420-46b8-41fb-acc7-8562be611472
          clusterId = NNStorage.newClusterID();
        }
        System.out.println("Formatting using clusterid: " + clusterId);
        // 构建 FSImage
        FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat);
    
        //构建 FSNamesystem
        try {
          FSNamesystem fsn = new FSNamesystem(conf, fsImage);
          fsImage.getEditLog().initJournalsForWrite();
    
          // Abort NameNode format if reformat is disabled and if
          // meta-dir already exists
          if (conf.getBoolean(DFSConfigKeys.DFS_REFORMAT_DISABLED,
              DFSConfigKeys.DFS_REFORMAT_DISABLED_DEFAULT)) {
            force = false;
            isInteractive = false;
            for (StorageDirectory sd : fsImage.storage.dirIterable(null)) {
              if (sd.hasSomeData()) {
                throw new NameNodeFormatException(
                    "NameNode format aborted as reformat is disabled for "
                        + "this cluster.");
              }
            }
          }
    
          if (!fsImage.confirmFormat(force, isInteractive)) {
            return true; // aborted
          }
    
          //
          fsImage.format(fsn, clusterId, force);
    
    
        } catch (IOException ioe) {
          LOG.warn("Encountered exception during format: ", ioe);
          fsImage.close();
          throw ioe;
        }
        return false;
      }

# 四. 格式化后生成的文件&内容 #

格式化之后,会在配置namenode的目录生成一个current文件夹,里面会有四个文件.

> VERSION    记录版本信息  
> fsimage\_0000000000000000000.md5   记录fsimage\_0000000000000000000对应的md5  
> fsimage\_0000000000000000000 namenode对应的fsimage文件  
> seen\_txid 事务标识

-rw-r--r--@ 1 sysadmin  staff  218  9  6 22:11 VERSION
    -rw-r--r--@ 1 sysadmin  staff  401  9  6 22:13 fsimage_0000000000000000000
    -rw-r--r--  1 sysadmin  staff   62  9  6 22:13 fsimage_0000000000000000000.md5
    -rw-r--r--@ 1 sysadmin  staff    2  9  6 22:11 seen_txid

**1.VERSION 文件:**

#Sun Sep 06 22:11:02 CST 2020
    namespaceID=1147175932
    clusterID=CID-d5e21420-46b8-41fb-acc7-8562be611472
    cTime=1599401184918
    storageType=NAME_NODE
    blockpoolID=BP-1598486647-192.168.8.156-1599401184918
    layoutVersion=-65

**2.seen\_txid :**  只是存储了一个数字 0

**3.fsimage\_0000000000000000000.md5**  记录fsimage\_0000000000000000000 对应的md5 值

48dd36a9bd6e7ad0ca017afbef91c7cb *fsimage_0000000000000000000

**4.fsimage\_0000000000000000000**

这里面的内容比较繁琐主要包含以下信息:

保存命名空间信息
    保存 ErasureCoding 信息
    保存命名空间中的inode信息
    保存快照信息
    保存安全信息
    保存缓存信息
    保存StringTable