将本地文件读成sequenceFile文件，处理海量小文件的一种方式

r囧r小猫 2022-06-12 07:55 146阅读 0赞

**个人观点：当处理海量小文件时，先将小文件进行sequenceFile操作或者类似操作处理，然后再上传到HDFS系统进行下一步的处理。（如有其它建议，欢迎留言）**

**一、直接上传本地栅格数据将导致的问题**

根据栅格数据的特点，每层的图片个数都为上层数量的四倍。在第20层时，仅仅第20层的图片的数量达到了“2199023255552”张（世界地图在第一层被切成了两张图片，第二十层的数量为：4\*\*7\*2），且每张图片的大小都为10-20kb不等。HDFS在存储文件时，会将文件break them into chunks，默认inputSplit的大小与block块的大小一致，为128M，如果单个文件的大小小于block块的大小则不会切分，直接将改小文件存储到一个block块中。因此如果不对栅格数据文件做处理，将导致占据大量的block块；由于namenode中会存储为元数据信息，因此也将导致namenode节点记录大量小文件的位置等元数据信息而产生压力过大，甚至namenode节点的内存可能会被占满。

**二、在本地将栅格数据处理成sequenceFile文件**

SequenceFile文件是[Hadoop][]用来存储二进制形式的key-value对而设计的一种平面文件。通常对小文件的处理是使用sequenceFile文件或MapFile文件。此次选用的处理方式是使用SequenceFile文件。（MapFile文件由两部分组成，data和index，index作为文件的索引，存储每个Record的key值以及它的偏移量。mapFile文件的检索效率较sequenceFile文件高，但是访问mapFile文件时需要先将索引文件加载到内存）

由于sequenceFile文件由Key和value组成，此处的key值存放的为文件的路径，例如：file:/home/greatmap/World/6/109/48.jpeg；value的值存放的为图片的字节数组文件。栅格数据存放在的文件夹下，通过遍历文件夹，将所有的图片都写成一个sequenceFile文件。

下面是具体实现过程：

**\[java\]** [view plain][] [copy][view plain]

1.  **public****class** SequenceFileTest \{ 
2.  
3.  
4.  //本地linux磁盘输出路径
5.  **static** String PATH = "/home/greatmap/out"; 
6.  **static** SequenceFile.Writer writer = **null**; 
7.  
8.  **public****static****void** main(String\[\] args) **throws** Exception\{ 
9.  
10. //设置读取本地磁盘文件
11.  Configuration conf = **new** Configuration(); 
12.  conf.set("fs.default.name", "file:///"); 
13.  conf.set("mapred.job.tracker", "local"); 
14. 
15. 
16. 
17. //linux磁盘下路径
18.  String path = "/home/greatmap/World/"; 
19.  URI uri = **new** URI(path); 
20.  FileSystem fileSystem = FileSystem.get(uri, conf); 
21. //实例化writer对象
22.  writer = SequenceFile.createWriter(fileSystem, conf, **new** Path(PATH), Text.**class**, BytesWritable.**class**); 
23. 
24. //递归遍历文件夹，并将文件下的文件写入sequenceFile文件
25.  listFileAndWriteToSequenceFile(fileSystem,path); 
26. 
27. //关闭流
28.  org.apache.hadoop.io.IOUtils.closeStream(writer); 
29. 
30. \} 
31. 
32. 
33. 
34. /\*\*\*\*
35.  \* 递归文件;并将文件写成SequenceFile文件
36.  \* @param fileSystem
37.  \* @param path
38.  \* @throws Exception
39.  \*/
40. **public****static****void** listFileAndWriteToSequenceFile(FileSystem fileSystem,String path) **throws** Exception\{ 
41. **final** FileStatus\[\] listStatuses = fileSystem.listStatus(**new** Path(path)); 
42. **for** (FileStatus fileStatus : listStatuses) \{ 
43. **if**(fileStatus.isFile())\{ 
44.  Text fileText = **new** Text(fileStatus.getPath().toString()); 
45.  System.out.println(fileText.toString()); 
46. //返回一个SequenceFile.Writer实例 需要数据流和path对象 将数据写入了path对象
47.  FSDataInputStream in = fileSystem.open(**new** Path(fileText.toString())); 
48. **byte**\[\] buffer = IOUtils.toByteArray(in); 
49.  in.read(buffer); 
50.  BytesWritable value = **new** BytesWritable(buffer); 
51. 
52. //写成SequenceFile文件
53.  writer.append(fileText, value); 
54. 
55.  \} 
56. **if**(fileStatus.isDirectory())\{ 
57.  listFileAndWriteToSequenceFile(fileSystem,fileStatus.getPath().toString()); 
58.  \} 
59. // org.apache.hadoop.io.IOUtils.closeStream(writer);
60. 
61.  \} 
62.  \}\}

[Hadoop]: http://lib.csdn.net/base/hadoop
[view plain]: http://blog.csdn.net/ls386239766/article/details/38320115#