java NIO之MappedByteBuffer

墨蓝 2021-06-24 15:57 521阅读 0赞

java io操作中通常采用BufferedReader，BufferedInputStream等带缓冲的IO类处理大文件，不过java nio中引入了一种基于MappedByteBuffer操作大文件的方式，其读写性能极高。

通过java.nio包和MappedByteBuffer允许Java程序直接从内存中读取文件内容，通过将整个或部分文件映射到内存，由操作系统来处理加载请求和写入文件，应用只需要和内存打交道，这使得IO操作非常快。加载内存映射文件所使用的内存在Java堆区之外。

在传统的文件IO操作中，我们都是调用操作系统提供的底层标准IO系统调用函数 read()、write() ，此时调用此函数的进程（在JAVA中即java进程）由当前的用户态切换到内核态，然后OS的内核代码负责将相应的文件数据读取到内核的IO缓冲区，然 后再把数据从内核IO缓冲区拷贝到进程的私有地址空间中去，这样便完成了一次IO操作。这么做是为了减少磁盘的IO操作，为了提高性能而考虑的，因为我们的程序访问一般都带有局部性，也就是所 谓的局部性原理，在这里主要是指的空间局部性，即我们访问了文件的某一段数据，那么接下去很可能还会访问接下去的一段数据，由于磁盘IO操作的速度比直接 访问内存慢了好几个数量级，所以OS根据局部性原理会在一次 read()系统调用过程中预读更多的文件数据缓存在内核IO缓冲区中，当继续访问的文件数据在缓冲区中时便直接拷贝数据到进程私有空间，避免了再次的低 效率磁盘IO操作。

内存映射文件和之前说的 标准IO操作最大的不同之处就在于它虽然最终也是要从磁盘读取数据，但是它并不需要将数据读取到OS内核缓冲区，而是直接将进程的用户私有地址空间中的一 部分区域与文件对象建立起映射关系，就好像直接从内存中读、写文件一样，速度当然快了。

**1、性能分析**

从代码层面上看，从硬盘上将文件读入内存，都要经过文件系统进行数据拷贝，并且数据拷贝操作是由文件系统和硬件驱动实现的，理论上来说，拷贝数据的效率是一样的。但是通过内存映射的方法访问硬盘上的文件，效率要比read和write系统调用高，这是为什么？  
  
read()是系统调用，首先将文件从硬盘拷贝到内核空间的一个缓冲区，再将这些数据拷贝到用户空间，实际上进行了两次数据拷贝；  
map()也是系统调用，但没有进行数据拷贝，当缺页中断发生时，直接将文件从硬盘拷贝到用户空间，只进行了一次数据拷贝。  
所以，采用内存映射的读写效率要比传统的read/write性能高。

**2、优缺点**

1）MappedByteBuffer使用虚拟内存，因此分配(map)的内存大小不受JVM的-Xmx参数限制，但是也是有大小限制的。

2）如果当文件超出1.5G限制时，可以通过position参数重新map文件后面的内容；

3）MappedByteBuffer在处理大文件时的确性能很高，但也存在一些问题，如内存占用、文件关闭不确定，被其打开的文件只有在垃圾回收的才会被关闭，而且这个时间点是不确定的。  
javadoc中也提到：A mapped byte buffer and the file mapping that it represents remain\* valid until the buffer itself is garbage-collected.

实例：

package cn.edu.nuc.MyTestSimple.nio;
    
    import java.io.ByteArrayInputStream;
    import java.io.File;
    import java.io.FileNotFoundException;
    import java.io.IOException;
    import java.io.RandomAccessFile;
    import java.nio.MappedByteBuffer;
    import java.nio.channels.FileChannel;
    import java.util.Scanner;
    
    public class MappedBytesTest {
    
    	public static void main(String[] args) throws FileNotFoundException,
    			IOException {
    		long start = System.currentTimeMillis();// 开始时间
    		long fileLength = 0;
    		final int BUFFER_SIZE = 0x300000;// 3M的缓冲
    		File file = new File("d:\\new_ip_city_dict.txt");
    		fileLength = file.length();
    		
    		MappedByteBuffer inputBuffer = null;
    		try {
    			inputBuffer = new RandomAccessFile(file, "r")
    					.getChannel().map(FileChannel.MapMode.READ_ONLY, 0,
    							fileLength);// 读取大文件
    
    			byte[] dst = new byte[BUFFER_SIZE];// 每次读出3M的内容
    
    			for (int offset = 0; offset < fileLength; offset += BUFFER_SIZE) {
    				if (fileLength - offset >= BUFFER_SIZE) {
    					for (int i = 0; i < BUFFER_SIZE; i++)
    						dst[i] = inputBuffer.get(offset + i);
    				} else {
    					for (int i = 0; i < fileLength - offset; i++)
    						dst[i] = inputBuffer.get(offset + i);
    				}
    				System.out.print(new String(dst,"utf-8"));
    			}
    			System.out.println();
    			long end = System.currentTimeMillis();// 结束时间
    			System.out.println("NIO 内存映射读大文件，总共耗时：" + (end - start) + "ms");
    		} catch (Exception e) {
    			e.printStackTrace();
    		} finally {
    		}
    	}
    
    }