读写文件时内存溢出问题思考（OutOfMemoryError: Java heap space）

太过爱你忘了你带给我的痛 2022-05-11 11:04 136阅读 0赞

回忆一下：1年前在做断点续传因粗心编码导致的内存溢出问题。当时在做分片时，当分片容量大于512M时，内存溢出，抛出异常：java.lang.OutOfMemoryError: Java heap space。

分析一下：当时虚拟机堆内存正好设置为512M，当申请堆空间大于该值时出现如上异常。

今日重写代码测试，讲解出错的原因以及解决方案。

public static void testOutMemory() throws IOException {
    		//绝对路径
    		String inPath = "D:/TestFile/in/bigFileTest.zip";
    		String outPath = "D:/TestFile/out/bigFileTest.zip";
    		
    		File inFile = new File(inPath);
    		File outFile = new File(outPath);
    		if (!inFile.exists()) {
    			//TODO 文件不存在
    		}
    		long fileLength = inFile.length();//文件大小，我的测试值为： 1820595407
    		
    		ByteArrayOutputStream bos = new ByteArrayOutputStream((int) fileLength);//这一行会抛出异常
    		BufferedInputStream in = new BufferedInputStream(new FileInputStream(inFile));
    		FileOutputStream fileOutputStream = new FileOutputStream(outFile);
    			
    		int buf_size = 1024;
    		byte[] buffer = new byte[buf_size];
    		int len = 0;
    		while (-1 != (len = in.read(buffer, 0, buf_size))) {
    			bos.write(buffer, 0, len);
    		}
    			
    		byte[] data = bos.toByteArray();
    		fileOutputStream.write(data);
    		fileOutputStream.flush();
    		fileOutputStream.close();
            bos.close();
    		System.out.println("测试完成");
    	}

执行方法，在ByteArrayOutputStream bos = new ByteArrayOutputStream((int) fileLength);这一行会抛出异常，查看ByteArrayOutputStream构造方法，其中有一句为buf = new byte\[size\]， 也正是在这一句抛出的异常，问题已经找到。

难道需要通过增加堆内存的方式来解决这个问题？当然不是。虽然可以暂时解决问题，但依然会埋下一枚地雷，当下一文件更大时，这个问题将会重新出现。

废话不多说，在代码中用一次缓存较大数据本身就不可取，上面的代码实现的文件传输本就不应该先把文件存放到内存，再将内存中的数据传输到其他位置，很明显这是一次很垃圾的编码。于是，优化如下：

public void testOutMemory() throws IOException {
    		// 绝对路径
    		String inPath = "D:/TestFile/in/bigFileTest.zip";
    		String outPath = "D:/TestFile/out/bigFileTest.zip";
    
    		File inFile = new File(inPath);
    		File outFile = new File(outPath);
    		if (!inFile.exists()) {
    			// TODO 文件不存在
    		}
    		BufferedInputStream in = new BufferedInputStream(new FileInputStream(inFile));
    		FileOutputStream fileOutputStream = new FileOutputStream(outFile);
    
    		int buf_size = 1024;
    		byte[] buffer = new byte[buf_size];
    		int len = 0;
    		while (-1 != (len = in.read(buffer, 0, buf_size))) {
    			fileOutputStream.write(buffer, 0, len);//一次仅传输1K，不会溢出
    		}
    
    		fileOutputStream.flush();
    		fileOutputStream.close();
    		System.out.println("测试完成");
    	}

（PS：我的堆内存为2G，文件大小约1.7G，为什么会内存溢出了，在**[这篇文章中][Link 1]**会进行详细探索）。

**回复里面好像不参添加图片，为了说明这段代码不会出现OOM，刚才亲测文件下载，大约5个G**，@[我问佛陀][Link 2] 请见：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxODgxNzg_size_16_color_FFFFFF_t_70][]

[Link 1]: https://blog.csdn.net/u010188178/article/details/83183894
[Link 2]: https://me.csdn.net/zhangzhenlei099
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxODgxNzg_size_16_color_FFFFFF_t_70]: /images/20220505/68f588a15ca7434eafa131a8cb54940d.png