java 内存映射分片技术_Java中用内存映射处理大文件

秒速五厘米 2022-11-06 08:57 98阅读 0赞

有如下情况下可以用到内存文件映射技术解决问题:

 1.不要复制文件中所有的数据，只需要修改文件中局部的数据。

 2.并行/分段处理大文件。

如下代码示使用javaNIO局部修改文件中指定位置的部分数据：

/\*\*\* 修改文件中的某一部分的数据测试:将字定位置的字母改为大写

\*@paramfName :要修改的文件名字

\*@paramstart:起始字节

\*@paramlen:要修改多少个字节

\*@return:是否修改成功

\*@throwsException:文件读写中可能出的错

\*@authorjavaFound\*/

public static boolean changeFile(String fName,int start,int len) throwsException\{//创建一个随机读写文件对象

java.io.RandomAccessFile raf=new java.io.RandomAccessFile(fName,"rw");long totalLen=raf.length();

System.out.println("文件总长字节是: "+totalLen);//打开一个文件通道

java.nio.channels.FileChannel channel=raf.getChannel();//映射文件中的某一部分数据以读写模式到内存中

java.nio.MappedByteBuffer buffer=channel.map(FileChannel.MapMode.READ\_WRITE, start, len);//示例修改字节

for(int i=0;i

buffer.put(i,(byte)(src-31));//修改Buffer中映射的字节的值

System.out.println("被改为大写的原始字节是:"+src);

buffer.force();//强制输出,在buffer中的改动生效到文件

buffer.clear();

channel.close();

raf.close();return true;

\}//测试主方法

public static void main(String\[\] args) throwsException\{

changeFile("BigFileRW.java",3,5);

System.out.println(" change OK... ");

内存映射文件能让你创建和修改那些因为太大而无法放入内存的文件。有了内存映射文件，你就可以认为文件已经全部读进了内存，然后把它当成一个非常大的数组来访问。这种解决办法能大大简化修改文件的代码。

fileChannel.map(FileChannel.MapMode

mode, long position, long

size)将此通道的文件区域直接映射到内存中。注意，你必须指明，它是从文件的哪个位置开始映射的，映射的范围又有多大；也就是说，它还可以映射一个大

文件的某个小片断。

MappedByteBuffer

是ByteBuffer的子类，因此它具备了ByteBuffer的所有方法，但新添了force()将缓冲区的内容强制刷新到存储设备中去、

load()将存储设备中的数据加载到内存中、isLoaded()位置内存中的数据是否与存储设置上同步。这里只简单地演示了一下put()和

get()方法，除此之外，你还可以使用asCharBuffer( )之类的方法得到相应基本类型数据的缓冲视图后，可以方便的读写基本类型数据。

importjava.io.RandomAccessFile;importjava.nio.MappedByteBuffer;importjava.nio.channels.FileChannel;public classLargeMappedFiles \{static int length = 0x8000000; //128 Mb

public static void main(String\[\] args) throwsException \{//为了以可读可写的方式打开文件，这里使用RandomAccessFile来创建文件。

FileChannel fc = new RandomAccessFile("test.dat", "rw").getChannel();//注意，文件通道的可读可写要建立在文件流本身可读写的基础之上

MappedByteBuffer out = fc.map(FileChannel.MapMode.READ\_WRITE, 0, length);//写128M的内容

for (int i = 0; i < length; i++) \{

out.put((byte) 'x');

System.out.println("Finished writing");//读取文件中间6个字节内容

for (int i = length / 2; i < length / 2 + 6; i++) \{

System.out.print((char) out.get(i));

fc.close();

尽管映射写似乎要用到FileOutputStream，但是映射文件中的所有输出 必须使用RandomAccessFile，但如果只需要读时可以使用FileInputStream，写映射文件时一定要使用随机访问文件，可能写时要读的原因吧。

该程序创建了一个128Mb的文件，如果一次性读到内存可能导致内存溢出，但 这里访问好像只是一瞬间的事，这是因为，真正调入内存的只是其中的一小部分，其余部分则被放在交换文件上。这样你就可以很方便地修改超大型的文件了(最大 可以到2 GB)。注意，Java是调用操作系统的"文件映射机制"来提升性能的。

java 内存映射分片技术_Java中用内存映射处理大文件

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Java 中的内存映射Mmap

相关 Java内存映射，上G大文件轻松处理

相关 java 内存映射分片技术_Java中用内存映射处理大文件

相关内存文件映射

相关 VC++中使用内存映射文件处理大文件

相关 Java NIO内存映射---上G大文件处理

相关 java nio file 内存映射文件

相关文件内存映射

相关 Java NIO内存映射---上G大文件处理

相关 Java中用内存映射处理大文件