【开发篇】八、导出大文件导致内存溢出

柔光的暖阳◎ 2024-04-23 15:48 3阅读 0赞

#### 文章目录 ####

*  1、背景
 *  2、快照文件分析
 *  3、复现
 *  4、解决

## 1、背景 ##

有个管理系统，支持几十万条数据导出到excel，但当有几十人同时导出文件，就会内存溢出。

![在这里插入图片描述][3dfdeea9dab640eea5217cba63e41251.png]

此外，系统用k8s部署，程序运行在容器中。整体架构如下：客户端通过负载均衡达到Service，底下一堆Pod在干活儿，pod中的容器里运行着微服务。最后，文件的导出，选择导出到阿里云的oss。

![在这里插入图片描述][3182d30486414e48b4b1999a30a08e30.png]

## 2、快照文件分析 ##

打开生产环境OOM时的快照文件，这次从overview首页进入，点击比例最大的：

![在这里插入图片描述][fd0e7ac9648a47f492a5e06219765b86.png]

找到线程对象下的HanlderMethod --> List Objects

![在这里插入图片描述][0d887412d39a411fad5f80db1d5c9a71.png]

找到问题代码：

![在这里插入图片描述][6608a5fcf0ea47cba610fa089248b08e.png]

直方图按深堆排序也证明了这一点：

![在这里插入图片描述][5ca715303c5b4fbda75f2007615345b6.png]

## 3、复现 ##

文件导出目前使用了阿帕奇的POI框架：

<dependency>
        <groupId>org.apache.poi</groupId>
        <artifactId>poi</artifactId>
        <version>4.1.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.poi</groupId>
        <artifactId>poi-ooxml</artifactId>
        <version>4.1.2</version>
    </dependency>

实现：

import org.apache.commons.lang3.RandomStringUtils;
    import org.apache.poi.ss.usermodel.Row;
    import org.apache.poi.ss.usermodel.Sheet;
    import org.apache.poi.ss.usermodel.Workbook;
    import org.apache.poi.xssf.usermodel.XSSFWorkbook;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.web.bind.annotation.*;
    
    import java.io.FileNotFoundException;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.time.format.DateTimeFormatter;
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     * -XX:+HeapDumpOnOutOfMemoryError
     */
    @RestController
    @RequestMapping("/excel")
    public class Demo2ExcelController {
        
    
        /**
         * 方式一：使用阿帕奇的POI框架完成导出
         * @param size excel的行数
         * @param path 文件导出路径
         */
        @GetMapping("/export")
        public void export(int size, String path) throws IOException {
        
            // 1 、创建工作薄
            Workbook workbook = new XSSFWorkbook();
            // 2、在工作薄中创建sheet，起名测试
            Sheet sheet = workbook.createSheet("测试");
    
            for (int i = 0; i < size; i++) {
        
                // 3、在sheet中创建行
                Row row0 = sheet.createRow(i);
                // 4、创建单元格并存入数据
                row0.createCell(0).setCellValue(RandomStringUtils.randomAlphabetic(1000));
            }
    
    
            // 将文件输出到指定文件
            FileOutputStream fileOutputStream = null;
            try {
        
                fileOutputStream = new FileOutputStream(path + RandomStringUtils.randomAlphabetic(10) + ".xlsx");
                workbook.write(fileOutputStream);
            } catch (Exception e) {
        
                e.printStackTrace();
            } finally {
        
                if (fileOutputStream != null) {
        
                    fileOutputStream.close();
                }
                if (workbook != null) {
        
                    workbook.close();
                }
            }
    
        }
    }

Jmeter模拟5并发导出10w条数据：

![在这里插入图片描述][26549f2007004061a276e0da65220a07.png]

![在这里插入图片描述][2d077b72c75647b4b830fb008698eb02.png]  
堆内存溢出复现，快照文件分析结果和生产环境一致：

![在这里插入图片描述][2cc9fcabf11c4565bfa0ff36c591ba3d.png]

## 4、解决 ##

*  方式一：使用poi的SXSSFWorkbook（上面的优化版本）
 *  方式二：hutool的BigExcelWriter（比方式一好，但数据再大些也会oom）
 *  方式三：Easy Excel（推荐）

方式二的依赖：

<dependency>
        <groupId>cn.hutool</groupId>
        <artifactId>hutool-all</artifactId>
        <version>5.7.22</version>
    </dependency>

方式三的依赖：

<dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>3.1.1</version>
    </dependency>

Controller：

import cn.hutool.core.collection.CollUtil;
    import cn.hutool.poi.excel.BigExcelWriter;
    import cn.hutool.poi.excel.ExcelUtil;
    import com.alibaba.excel.EasyExcel;
    import com.alibaba.excel.ExcelWriter;
    import com.alibaba.excel.write.metadata.WriteSheet;
    import com.plat.jvmoptimize.practice.demo.pojo.DemoData;
    import org.apache.commons.lang3.RandomStringUtils;
    import org.apache.poi.ss.usermodel.Row;
    import org.apache.poi.ss.usermodel.Sheet;
    import org.apache.poi.ss.usermodel.Workbook;
    import org.apache.poi.xssf.usermodel.XSSFWorkbook;
    import org.springframework.web.bind.annotation.*;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    @RestController
    @RequestMapping("/excel")
    public class Demo2ExcelController {
        
    
        /**
         * 方式一：使用阿帕奇的POI框架完成导出
         * @param size excel的行数
         * @param path 文件导出路径
         */
        @GetMapping("/export")
        public void export(int size, String path) throws IOException {
        
            // 1 、创建工作薄
            Workbook workbook = new XSSFWorkbook();
            // 2、在工作薄中创建sheet，起名测试
            Sheet sheet = workbook.createSheet("测试");
    
            for (int i = 0; i < size; i++) {
        
                // 3、在sheet中创建行
                Row row0 = sheet.createRow(i);
                // 4、创建单元格并存入数据
                row0.createCell(0).setCellValue(RandomStringUtils.randomAlphabetic(1000));
            }
    
    
            // 将文件输出到指定文件
            FileOutputStream fileOutputStream = null;
            try {
        
                fileOutputStream = new FileOutputStream(path + RandomStringUtils.randomAlphabetic(10) + ".xlsx");
                workbook.write(fileOutputStream);
            } catch (Exception e) {
        
                e.printStackTrace();
            } finally {
        
                if (fileOutputStream != null) {
        
                    fileOutputStream.close();
                }
                if (workbook != null) {
        
                    workbook.close();
                }
            }
    
        }
    
    
        //http://www.hutool.cn/docs/#/poi/Excel%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%94%9F%E6%88%90-BigExcelWriter
        @GetMapping("/export_hutool")
        public void export_hutool(int size, String path) throws IOException {
        
    
    
            List<List<?>> rows = new ArrayList<>();
            for (int i = 0; i < size; i++) {
        
               rows.add( CollUtil.newArrayList(RandomStringUtils.randomAlphabetic(1000)));
            }
    
            BigExcelWriter writer= ExcelUtil.getBigWriter(path + RandomStringUtils.randomAlphabetic(10) + ".xlsx");
            // 一次性写出内容，使用默认样式
            writer.write(rows);
            // 关闭writer，释放内存
            writer.close();
    
    
        }
    
    
        /**
         * 最优方案
         * @param size 导出行数
         * @param path 导出路径
         * @param batch 分批，比如size=100000,batch=1000,则分batch批，每批100个数据对象在内存里中转
         * @throws IOException
         */
        //https://easyexcel.opensource.alibaba.com/docs/current/quickstart/write#%E9%87%8D%E5%A4%8D%E5%A4%9A%E6%AC%A1%E5%86%99%E5%85%A5%E5%86%99%E5%88%B0%E5%8D%95%E4%B8%AA%E6%88%96%E8%80%85%E5%A4%9A%E4%B8%AAsheet
        @GetMapping("/export_easyexcel")
        public void export_easyexcel(int size, String path,int batch) throws IOException {
        
    
            // 方法1: 如果写到同一个sheet
            String fileName = path + RandomStringUtils.randomAlphabetic(10) + ".xlsx";
            // 这里注意 如果同一个sheet只要创建一次
            WriteSheet writeSheet = EasyExcel.writerSheet("测试").build();
            // 这里 需要指定写用哪个class去写
            try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
        
                // 分batch次写入
                for (int i = 0; i < batch; i++) {
        
                    // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
                    List<DemoData> datas = new ArrayList<>();
                    for (int j = 0; j < size / batch; j++) {
        
                        DemoData demoData = new DemoData();
                        demoData.setString(RandomStringUtils.randomAlphabetic(1000));
                        datas.add(demoData);
                    }
                    excelWriter.write(datas, writeSheet);
                    //写入之后datas数据就可以释放了
                }
            }
    
        }
    }

easyexcel用到的一个excel对应实体类，当前测试只用一列，那就直接一个属性就行

import com.alibaba.excel.annotation.ExcelProperty;
    import lombok.Data;
    
    @Data
    public class DemoData {
        
        @ExcelProperty("测试")
        private String string;
    
    }

推荐使用easyExcel，它采用分批导出，不会让内存中的对象数量达到一个很高的值。虽然这样会让导出的时间长一点，但不会OOM，分批，写完一批就从堆中清掉一批的对象。并发测试easyexcel接口，平稳实现：

![在这里插入图片描述][e04677b5ea4c4cb8add53292ab8dfa71.png]

Visual里，每一次升降，就代表一批数据在内存中完成中转。

[3dfdeea9dab640eea5217cba63e41251.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/04cfdc1f049a4943907e59128df5d88b.png
[3182d30486414e48b4b1999a30a08e30.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/ecd7d56e3d124404bc865f28d878ccbc.png
[fd0e7ac9648a47f492a5e06219765b86.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/63b9b1348cc74207ac0f820b2208f27a.png
[0d887412d39a411fad5f80db1d5c9a71.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/f4a1b28d4da6430bbd4111f3d4ec36f9.png
[6608a5fcf0ea47cba610fa089248b08e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/59dcead7b6f4459f8a70be68ca10a8c7.png
[5ca715303c5b4fbda75f2007615345b6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/f3f21ccde1ee451c81a59bff3600241b.png
[26549f2007004061a276e0da65220a07.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/f7777cd4d06d41f48ed7c29b4f547c15.png
[2d077b72c75647b4b830fb008698eb02.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/f5f994791ef24f3c9c6cf6eaeff2ea62.png
[2cc9fcabf11c4565bfa0ff36c591ba3d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/6a894c3afb4140f990c288ed851684ef.png
[e04677b5ea4c4cb8add53292ab8dfa71.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/2c82ffdf0c8246d6a43057ceda343c12.png