基于FileChannel实现高效大数据量文件写入

缺乏、安全感 2022-01-17 02:13 314阅读 0赞

测试结果：

500W数据 5000一写，15秒写入完成

import java.io.*;
    import java.nio.ByteBuffer;
    import java.nio.channels.FileChannel;
    
    public abstract class FileUtils {
    
    	/**
    	 * append写入
    	 * @param file 文件路径
    	 * @param content 待写入的文件内容
    	 * @param bufferSize 单次写入缓冲区大小 默认4M 1024 * 1024 * 4
    	 */
    	public static void write(String file, String content, Integer bufferSize) {
    
    		bufferSize = null == bufferSize ? 4194304 : bufferSize;
    		ByteBuffer buf = ByteBuffer.allocate(bufferSize);
    		FileChannel channel = null;
    		try {
    			File fileTemp = new File(file);
    			File parent = fileTemp.getParentFile();
    			if (!parent.exists()) parent.mkdirs();
    			if (!fileTemp.exists()) fileTemp.createNewFile();
    
    			// new FileOutputStream(file, append)  第二个参数为true表示追加写入
    			channel = new FileOutputStream(file, true).getChannel();
    
    			buf.put(content.getBytes());
    			buf.flip();   // 切换为读模式
    
    			while(buf.hasRemaining()) {
    				channel.write(buf);
    			}
    		} catch (Exception e) {
    			e.printStackTrace();
    		} finally {
    			try {
    				channel.close();
    			} catch (IOException e) {
    				e.printStackTrace();
    			}
    		}
    	}
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，314人围观）

还没有评论，来说两句吧...

相关阅读

相关高效利用 jmeter 性能测试数据写入文件

使用过 jmeter 的同学，应该都会使用监听器，在每个监听器中，都会有一个“所有数据写入一个文件”的功能，那这个功能应该怎么用呢？今天，我们就来讲讲这个功能的使用。 ![高

怼烎@/ 2023年09月28日 09:58/ 0 赞/ 120 阅读

相关 Poi读取大数据量Excel文件

前言最近生产环境有个老项目一直内存报警，不时的还出现内存泄漏，导致需要重启服务器，已经严重影响正常服务了。分析 1.dump内存文件 liunx使用如下命令： [

阳光穿透心脏的1/2处/ 2023年08月17日 17:11/ 0 赞/ 117 阅读

相关基于mysql大数据量limit查询优化

今天一个业务场景，定时任务同步全量的历史数据。Java中用一个list去接收sql查询返回的数据。想到list的存储及sql性能瓶颈，于是就需要对数据进行分页查询。使用得m

刺骨的言语ヽ痛彻心扉/ 2022年12月29日 09:43/ 0 赞/ 190 阅读

相关 php运用C拓展excel高效大数据量导出

导出excel功能在一些需要报表的系统中是非常常见的功能，在一般数据量较少的情况下phpexcel能够完美解决我们的问题，并且能够对表格做很多例如颜色，字体，单元格等处理

我会带着你远行/ 2022年12月07日 15:12/ 0 赞/ 254 阅读

相关大数据量业务报表实现思考

大数据量业务报表实现的思考最近闲（假）来（装）无（不）事（忙），不（周）用（末）带（娃）娃（奴），在夜阑人静之时总在考虑如何改进A系统的业务报表输出，最近也翻了好些相关

超、凢脫俗/ 2022年05月27日 09:09/ 0 赞/ 186 阅读

相关 Java实现excel大数据量导出

1.pom.xml配置依赖包 <dependency> <groupId>org.apache.poi</groupId> <arti

淡淡的烟草味﹌/ 2022年04月24日 12:34/ 0 赞/ 464 阅读

相关 JAVA实现大数据量导出excel

JAVA 实现大数据量导出操作时，如果采用POI直接导出，会出现内存溢出的情况。再者EXCEL的SHEET也存在行数的限制，Excel2003版最大行数是655536行、Exc

男娘i/ 2022年04月02日 05:08/ 0 赞/ 456 阅读

相关 Java实现excel大数据量导入

情景分析：通常我们通过poi读取excel文件时，若在用户模式下，由于数据量较大、Sheet较多，很容易出现内存溢出的情况用户模式读取excel的典

素颜马尾好姑娘i/ 2022年02月18日 23:27/ 0 赞/ 356 阅读

相关基于FileChannel实现高效大数据量文件写入

测试结果： 500W数据 5000一写，15秒写入完成 import java.io.; import java.nio.ByteBuffer

缺乏、安全感/ 2022年01月17日 02:13/ 0 赞/ 315 阅读

相关基于MappedByteBuffer & FileChannel 的大文件读取工具

import java.io.FileInputStream; import java.io.IOException; import java.nio.

╰半夏微凉°/ 2022年01月11日 21:33/ 0 赞/ 161 阅读