Java nio之内存映射

迈不过友情╰ 2022-07-19 01:18 285阅读 0赞

# Java nio之内存映射 #

## 介绍 ##

内存映射文件非常特别，它允许Java程序直接从内存中读取文件内容，通过将整个或部分文件映射到内存，由操作系统来处理加载请求和写入文件，应用只需要和内存打交道，这使得IO操作非常快。加载内存映射文件所使用的内存在Java堆区之外。Java编程语言支持内存映射文件，通过java.nio包和MappedByteBuffer 可以从内存直接读写文件。
    
    支持内存映射IO的操作系统大多数主流操作系统比如Windows平台，UNIX，Solaris和其他类UNIX操作系统都支持内存映射IO和64位架构，你几乎可以将所有文件映射到内存并通过JAVA编程语言直接访问。

## 使用内存映射优缺点 ##

内存映射IO最大的优点可能在于性能，这对于建立高频电子交易系统尤其重要。内存映射文件通常比标准通过正常IO访问文件要快。另一个巨大的优势是内存映 射IO允许加载不能直接访问的潜在巨大文件 。经验表明，内存映射IO在大文件处理方面性能更加优异。尽管它也有不足——增加了页面错误的数目。由于操作系统只将一部分文件加载到内存，如果一个请求 页面没有在内存中，它将导致页面错误。同样它可以被用来在两个进程中共享数据。

## Java的内存映射IO的要点 ##

1、java通过java.nio包来支持内存映射IO。
    2、内存映射文件主要用于性能敏感的应用，例如高频电子交易平台。
    3、通过使用内存映射IO，你可以将大文件加载到内存。
    4、内存映射文件可能导致页面请求错误，如果请求页面不在内存中的话。
    5、映射文件区域的能力取决于于内存寻址的大小。在32位机器中，你不能访问超过4GB或2 ^ 32（以上的文件）。
    6、内存映射IO比起Java中的IO流要快的多。
    7、加载文件所使用的内存是Java堆区之外，并驻留共享内存，允许两个不同进程共享文件。
    8、内存映射文件读写由操作系统完成，所以即使在将内容写入内存后java程序崩溃了，它将仍然会将它写入文件直到操作系统恢复。
    9、出于性能考虑，推荐使用直接字节缓冲而不是非直接缓冲。
    10、不要频繁调用MappedByteBuffer.force()方法，这个方法意味着强制操作系统将内存中的内容写入磁盘，所以如果你每次写入内存映射文件都调用force()方法，你将不会体会到使用映射字节缓冲的好处，相反，它(的性能)将类似于磁盘IO的性能。
    11、万一发生了电源故障或主机故障，将会有很小的机率发生内存映射文件没有写入到磁盘，这意味着你可能会丢失关键数据。

## 使用内存映射拷贝文件 ##

public void testMappedByteBuffer1() throws Exception {
    
        FileInputStream inputStream = new FileInputStream(new File("e:/nio/test.txt"));
        FileChannel inChannel = inputStream.getChannel();
        FileOutputStream outputStream = new FileOutputStream(new File("e:/nio/testcopy.txt"),true);
        FileChannel outChannel = outputStream.getChannel();
    
        long fileSize = inChannel.size();
        MappedByteBuffer mappedByteBuffer = inChannel.map(MapMode.READ_ONLY, 0, fileSize);
    
        outChannel.write(mappedByteBuffer);
    
        System.out.println(System.currentTimeMillis() - start);
        outputStream.close();
        inputStream.close();
    }
    
    
    //这个拷贝方法是有问题的，还没分析出原因？
    public void testMappedByteBuffer() throws Exception {
    
        FileInputStream inputStream = new FileInputStream(new File("e:/nio/ideaIC-15.0.2.exe"));
        FileChannel inChannel = inputStream.getChannel();
        FileOutputStream outputStream = new FileOutputStream(new File("e:/nio/ideaIC-15.0.2Copy.exe"));
        FileChannel outChannel = outputStream.getChannel();
    
        byte[] bytes = new byte[4 * 1024 * 1024];
        int byteSize = bytes.length;
        long fileSize = inChannel.size();
        MappedByteBuffer mappedByteBuffer = inChannel.map(MapMode.READ_ONLY, 0, fileSize);
        long start = System.currentTimeMillis();
        for (long len = 0; len < fileSize; len = len + byteSize) {
            ByteBuffer buffer = null;
            if (len <= fileSize - byteSize) {
                buffer = mappedByteBuffer.get(bytes);
            }
            if (len > fileSize - byteSize) {
                int length = (int) (fileSize - len);
                buffer = mappedByteBuffer.get(new byte[length]);
            }
            buffer.flip();
            outChannel.write(buffer);
            buffer.clear();
        }
        System.out.println(System.currentTimeMillis() - start);
        outputStream.close();
        inputStream.close();
    }

## 总结 ##

在操作大文件时使用内存映射是有一定优势的，其高效的性能能够带来速度的提升。平时开发遇到场景并不多。

## 参考 ##

1、[https://www.ibm.com/developerworks/cn/java/l-javaio/][https_www.ibm.com_developerworks_cn_java_l-javaio]  
2、[https://www.ibm.com/developerworks/cn/java/j-nativememory-linux/][https_www.ibm.com_developerworks_cn_java_j-nativememory-linux]  
3、[http://www.oschina.net/translate/10-things-to-know-about-memory-mapped-file-in-java][http_www.oschina.net_translate_10-things-to-know-about-memory-mapped-file-in-java]

[https_www.ibm.com_developerworks_cn_java_l-javaio]: https://www.ibm.com/developerworks/cn/java/l-javaio/
[https_www.ibm.com_developerworks_cn_java_j-nativememory-linux]: https://www.ibm.com/developerworks/cn/java/j-nativememory-linux/
[http_www.oschina.net_translate_10-things-to-know-about-memory-mapped-file-in-java]: http://www.oschina.net/translate/10-things-to-know-about-memory-mapped-file-in-java