Mapreduce中获取输入文件名及路径的方法

男娘i 2022-02-19 07:17 693阅读 0赞

在map函数中想要获取当前split所读取的文件名，方法如下：

### **1 不通用方法** ###

1 如果读入的文件类型为 TextInputFormat，则获取文件名如下：

String filePath = context.getConfiguration().get("mapreduce.map.input.file");
    Path tmpFilePath = new Path(filePath);
    
    // 获取文件路径
    filePath = tmpFilePath.getParent().toUri().getPath();
    
    // 获取文件文件名
    String fileName = tmpFilePath.getName();

### **2 通用方法** ###

import org.apache.hadoop.mapreduce.InputSplit;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.lib.input.FileSplit;
    
    InputSplit inputSplit =context.getInputSplit();
    
    // 获取文件名
    String fileName = ((FileSplit)inputSplit).getPath().getName();
    
    // 获取文件路径
    String filePath = ((FileSplit)inputSplit).getPath().getParent().toUri().getPath();

该方法在使用 MultipleInputs.*addInputPath* 时有时候会报一个错误，原因是在强制转换为FileSplit时出现错误。

**解决办法：**

***（1）将MultipleInputs.addInputPath 修改为：***

FileInputFormat.addInputPath(job, new Path(input+"/*"));

***（2）以上的解决办法只对于单输入的，即使用FileInputFormat.addInputPath。而对于使用MultipleInputs.addInputPath的情况，获取文件名比较复杂：***

InputSplit inputSplit = context.getInputSplit();                          // 获取记录对应的文件信息
    Class<? extends InputSplit> splitClass = inputSplit.getClass();
    FileSplit fileSplit = null;
    if (splitClass.equals(FileSplit.class)) {
        fileSplit = (FileSplit)inputSplit;
    }else if (splitClass.getName().equals("org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit")) {
        try {
            Method getInputSplitMethod = splitClass.getDeclaredMethod("getInputSplit");
            getInputSplitMethod.setAccessible(true);
            fileSplit = (FileSplit)getInputSplitMethod.invoke(inputSplit);
        } catch (Exception e) {
            System.out.println(e);
            throw new IOException(e);
        }
    }
    
    String fileName = fileSplit.getPath().getName();                         // 获取文件名
    String filePath = fileSplit.getPath().getParent().toUri().getPath();     // 获取文件所在的路径名

参考：\[1\] [https://stackoverflow.com/questions/11130145/hadoop-multipleinputs-fails-with-classcastexception][https_stackoverflow.com_questions_11130145_hadoop-multipleinputs-fails-with-classcastexception]

[https_stackoverflow.com_questions_11130145_hadoop-multipleinputs-fails-with-classcastexception]: https://stackoverflow.com/questions/11130145/hadoop-multipleinputs-fails-with-classcastexception