poi内存溢出解决办法

向右看齐 2022-06-02 04:19 448阅读 0赞

## 前言 ##

java操作Excel常用的两种方式，分别为：jxl和poi。今天记录一下我在使用poi写Excel时遇到的内存溢出问题，以及poi是如何提供的解决方法。  
先附上各版本poi官网下载链接[https://archive.apache.org/dist/poi/release/bin/][https_archive.apache.org_dist_poi_release_bin]

## 具体实现 ##

1.  poi提供了两种创建Excel的类：  
    一种是2003版本的HSSF（文件扩展名为xls），一张sheet表允许存2^16=65536次方行数据，2^8 = 256列数据；  
    另一种是2007版本的XSSH（文件扩展名为xlsx），一张sheet表允许存2^20 = 1048576行，2^14 = 16384列数据。
2.  我在使用XSSH创建一张包含18万数据的sheet时，程序报错内存溢出，为解决这个问题找到官方解决办法，poi为解决内存溢出在3.8之后的版本（不包含3.8）中添加一个新类SXSSF，它是2007版本的一个升级，通过限定内存中到达一定行数清空内存的方式解决内存溢出。但这个类只能写，不能读。
3.  具体场景是从FTP上读取一个txt文件，里面包含18万行的数据，需要读取后保存到Excel中，代码如下

import java.io.BufferedReader;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.util.Arrays;
    import java.util.List;
    
    import org.apache.commons.net.ftp.FTPClient;
    import org.apache.commons.net.ftp.FTPReply;
    import org.apache.poi.ss.usermodel.Cell;
    import org.apache.poi.ss.usermodel.Row;
    import org.apache.poi.ss.usermodel.Sheet;
    import org.apache.poi.xssf.streaming.SXSSFSheet;
    import org.apache.poi.xssf.streaming.SXSSFWorkbook;
    
    public class Test {
    
        public static void main(String[] args) throws IOException {
             try{
                 long curr_time=System.currentTimeMillis();
    
                 FTPClient ftp = new FTPClient();
                 int reply;
                 ftp.connect("ip地址", 端口);
                 ftp.setControlEncoding("GBK");
                 ftp.login("用户名","密码");// 登录
                 ftp.setFileType(FTPClient.BINARY_FILE_TYPE);// 采用二进制上传
                 reply = ftp.getReplyCode();
                 if (!FTPReply.isPositiveCompletion(reply)) {
                    ftp.disconnect();
                 }
                // 设置PassiveMode被动模式-向服务发送传输请求  
                 ftp.enterLocalPassiveMode(); 
    
                 // 设置以二进制流的方式传输  
                 ftp.setFileType(FTPClient.BINARY_FILE_TYPE);
                 ftp.changeWorkingDirectory("/student");//转移到FTP服务器目录
    
                 int rowaccess=100;//内存中缓存记录行数
    
                 SXSSFWorkbook wb = new SXSSFWorkbook(rowaccess); //创建的workbook类是SXSSF
                 Sheet sh = wb.createSheet();
                 Row row = sh.createRow(0);
    
                 Cell cell = row.createCell(0);
                 cell.setCellValue("学号");
    
                 cell = row.createCell(1);
                 cell.setCellValue("姓名");
    
                 cell = row.createCell(2);
                 cell.setCellValue("性别");
    
                 cell = row.createCell(3);
                 cell.setCellValue("年龄");
    
                 cell = row.createCell(4);
                 cell.setCellValue("出生日期");
    
                 InputStream ins = null; 
                 String fileName = "student_2017.txt";
                 ins = ftp.retrieveFileStream(fileName); // 从服务器上读取指定的文件 
                 BufferedReader reader = new BufferedReader(new InputStreamReader(ins, "GBK")); 
                 String line = null; 
                 int j = 0;
                 while ((line = reader.readLine()) != null) {   
                        List<String> list = Arrays.asList(line.toString().split("\\|"));
                        j++;
                        row = sh.createRow((int) j);
                        for (int i = 0; i < list.size(); i++) { 
                            row.createCell(i).setCellValue(list.get(i));
                        }
                        if( j % rowaccess==0){//每当行数达到设置的值就刷新数据到硬盘,以清理内存
                             ((SXSSFSheet)sh).flushRows();//关键就在这
                        }
                    }
    
                    /*写数据到文件中*/
                    FileOutputStream os = new FileOutputStream("d:/student/student_2017.xlsx"); 
                    wb.write(os);
                    os.close();
    
                    ftp.logout();
    
                    /*计算耗时*/
                    System.out.println("耗时:"+(System.currentTimeMillis()-curr_time)/1000);
               } catch(Exception e) {
                   e.printStackTrace();
               }
            }
    }

代码中的关键点在于首先创建的workbook是SXSSFWorkbook ,并在参数中指定了多少行时清空内存，其次在于写一个if判断，判断是否到达了指定行数，如果到达指定的行数执行((SXSSFSheet)sh).flushRows()用以清空缓存。  
4. 效率  
可以看到上面代码中缓存行数为100，那么多少行一清是最好的呢，我特意用这18万数据做了如下测试：

缓存行数 —- 执行时间  
10000 ——— 196s  
1000 ———– 26s  
100 ———— 10s  
10 ————– 8s  
1 ————— 9s

所有总结得出在100行时是效率最好的选择。

## 说明 ##

下图是我用到的包。  
![用到的包][SouthEast]

[https_archive.apache.org_dist_poi_release_bin]: https://archive.apache.org/dist/poi/release/bin/
[SouthEast]: /images/20220602/32fe02460a9a41eb964322751f010187.png