Springboot 那年我双手插兜，手写一个excel导出

谁借莪１个温暖的怀抱￠ 2023-09-23 18:31 94阅读 0赞

## 前言 ##

其实就是利用了csv 和txt 文件转换 。

![52e82b817bd5462aad99482bbc0f1678.jpeg][]

不多说，开始玩代码。

## 正文 ##

###    本篇内容： ###

####    ① 了解根本生成excel内容的CSV文件玩法 ####

#### ② 手动拼接文本演示 ####

#### ③ 项目内实战写法，从数据库到导出 ####

#### ④ 解决list数据过多，使用分批分页处理生成csv （EXCEL）    ####

**思路：**  
  
创建csv文件， 往里面写入符合转换成csv文件的内容 即可。

#### **① 了解根本生成excel内容的CSV文件玩法** ####

先看看什么原理 ：

首先我们创建一个csv文件

![003e765abefe4f04897cc69fce7f4548.png][]

然后打开里面填充一些数据：

![32f9ccb1583c43889829f0f406b6dd34.png][]

然后反手把文件后缀改成.txt 看看里面是啥 ：

![026d289629754c158d83392189363eb7.png][]

看看里面：

![f43f05a8558c44cba89273aef099f448.png][]

#### **② 手动拼接文本演示** ####

![ed93499013ef47aba24618ac5de10bb1.png][]

工具类 ：  
  
MyCsvFileUtil.java

import lombok.extern.slf4j.Slf4j;
    import org.apache.commons.io.IOUtils;
    
    import java.io.File;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.OutputStreamWriter;
    
    @Slf4j
    public class MyCsvFileUtil {
        public static final String CSV_DELIMITER = ",";
        public static final String CSV_TAIL = "\r\n";
        /**
         * 将字符串转成csv文件
         */
        public  static  void createCsvFile(String savePath,String contextStr) throws IOException {
    
            File file = new File(savePath);
            //创建文件
            file.createNewFile();
            //创建文件输出流
            FileOutputStream fileOutputStream = new FileOutputStream(file);
            //将指定字节写入此文件输出流
            fileOutputStream.write(contextStr.getBytes("gbk"));
            fileOutputStream.flush();
            fileOutputStream.close();
        }
    
        /**
         * 写文件
         *
         * @param fileName
         * @param content
         */
        public static void writeFile(String fileName, String content) {
            FileOutputStream fos = null;
            OutputStreamWriter writer = null;
            try {
                fos = new FileOutputStream(fileName, true);
                writer = new OutputStreamWriter(fos, "GBK");
                writer.write(content);
                writer.flush();
            } catch (Exception e) {
                log.error("写文件异常|{}", e);
            } finally {
                if (fos != null) {
                    IOUtils.closeQuietly(fos);
                }
                if (writer != null) {
                    IOUtils.closeQuietly(writer);
                }
            }
        }

演示拼接调用工具类生成CSV文件：

@RequestMapping("/createCsvFileTest")
        public void doTest() throws IOException {
            //存放地址
            String path = "D:\\mycsv\\test.csv";
            String word = "";
            //表头固定好
            String tableNames = "CODE,NAME,PARENT_CODE,FULL_NAME";
            //数据内容。
            String oneRows = "110100,北京市,110000,北京北京市";
            String twoRows = "110101,东城区,110100,北京北京市东城区";
            String threeRows = "110102,西城区,110100,北京北京市西城区";
            String fourRows = "110105,朝阳区,110100,北京北京市朝阳区";
            //拼接
            word += tableNames + "\r\n";
            word += oneRows+ "\r\n";
            word += twoRows+ "\r\n";
            word += threeRows+ "\r\n";
            word += fourRows+ "\r\n";
            //调用方法生成
            MyCsvFileUtil.createCsvFile(path,word);
        }

代码简析：

![f6a3db8f815a4e8f8de94afabd74c6b4.png][]

调用这个示例接口，看看效果：  
![370cc118f4c04a5ab820e8c83fd35d8d.png][]

![7d501db9e61947caa6c629247d4cd490.png][]

#### **③ 项目内实战写法，从数据库到导出** ####

接口使用写法：

@RequestMapping("/createCsvFileTest2")
        public void createCsvFileTest2() throws IOException {
    
            List<District> districts = districtMapper.queryByParentCodes(Arrays.asList("110100"));
            //存放地址&文件名
            String fileName = "D:\\mycsv\\test2.csv";
            String tableNames = "CODE,NAME,PARENT_CODE,FULL_NAME"+MyCsvFileUtil.CSV_DELIMITER;
           //创建文件
            MyCsvFileUtil.createCsvFile(fileName,tableNames);
            //写入数据
            String contentBody =buildCsvFileBody(districts);
            //调用方法生成
            MyCsvFileUtil.createCsvFile(fileName,contentBody);
        }

解析数据list 做内容拼接处理 函数：

> ps： 表头 多少个，字段就多少个， 默认值赋值啥的，格式转换啥的都可以，只要每一行数量对的上即可，每一个最后结尾的标记就是 String CSV\_TAIL = "\\r\\n"

@RequestMapping("/createCsvFileTest2")
        public void createCsvFileTest2() throws IOException {
    
            List<District> districts = districtMapper.queryByParentCodes(Arrays.asList("110100"));
            //存放地址&文件名
            String fileName = "D:\\mycsv\\test2.csv";
            String tableNames = "CODE,NAME,PARENT_CODE,FULL_NAME"+MyCsvFileUtil.CSV_TAIL;
           //创建文件
            MyCsvFileUtil.writeFile(fileName,tableNames);
            //写入数据
            String contentBody =buildCsvFileBody(districts);
            //调用方法生成
            MyCsvFileUtil.writeFile(fileName,contentBody);
        }

private String buildCsvFileBody(List<District> dataLists) {
            StringBuilder lineBuilder = new StringBuilder();
            for (District rowData : dataLists) {
                lineBuilder
                        .append(rowData.getCode()).append(MyCsvFileUtil.CSV_DELIMITER)
                        .append(rowData.getName()).append(MyCsvFileUtil.CSV_DELIMITER)
                        .append(rowData.getParentCode()).append(MyCsvFileUtil.CSV_DELIMITER)
                        .append(rowData.getFullName()).append(MyCsvFileUtil.CSV_DELIMITER)
                        .append(MyCsvFileUtil.CSV_TAIL);
            }
            return lineBuilder.toString();
        }

![b47edabdc4eb41019f5da1111e0f30af.png][]

事不宜迟，看看接口调用效果：

可以看到从数据量里面查出来这 16条数据，list集合：

![2aa223bb760e4854905cb3ce794de987.jpeg][]

最后转换生成文件：

![773416d5775e45559ba911f793d960d0.png][]

可以看到成功出货：

![b9ee823b3a934136b5dea2622b8b5682.png][]

那么问题来了，如果我们需要导出的数据条数很多，拼接的contentBody 会非常长。

那么我们就需要考虑分批查询、分批拼接处理、分批写入，按照实际业务场景和数据长度去考量，每一批的限制。 甚至还可以实现拼接好每一批，然后慢慢再根据当前批次ID，做顺序写入。

#### **④ 解决list数据过多，使用分批分页处理生成csv （EXCEL）** ####

抛转引玉，给大家整个简单的分批玩法，生成csv 。

改造点 1 ， 整一个分页查询。

**老面孔手动分页DTO：**

import lombok.Data;
    
    /**
     * @Author: JCccc
     * @Date: 2022-6-15 16:53
     * @Description:
     */
    @Data
    public class PageLimitDTO {
    
        private Integer pageSize;
        private Integer currIndex;
    
    }

工具类 MyPageCutUtil.java

import lombok.extern.slf4j.Slf4j;
    
    import java.util.LinkedList;
    import java.util.List;
    
    @Slf4j
    public class MyPageCutUtil {
    
        public static List<PageLimitDTO> getPageLimitGroupList(Integer totalCount, Integer batchSizeLimit) {
            log.info("这一次处理的总数据条数为 ={} 条, 每一批次处理条数为 ={} 条,现在开始做分批切割处理。",totalCount,batchSizeLimit);
            int pageNum = totalCount / batchSizeLimit;
            int surplus = totalCount % batchSizeLimit;
            if (surplus > 0) {
                pageNum = pageNum + 1;
            }
            List<PageLimitDTO> pageLimitGroupList =new LinkedList<>();
            for(int i = 0; i < pageNum; i++){
                Integer currIndex = i * batchSizeLimit;
                PageLimitDTO pageLimitDTO=new PageLimitDTO();
                pageLimitDTO.setPageSize(batchSizeLimit);
                pageLimitDTO.setCurrIndex(currIndex);
                pageLimitGroupList.add(pageLimitDTO);
                log.info("分批切割,第={}次,每次={}条,最终会处理到={}条。",pageLimitGroupList.size(),batchSizeLimit,currIndex+batchSizeLimit);
    
            }
            log.info("这一次处理的总数据条数为 ={} 条, 每一批次处理条数为 ={} 条,总共切割分成了 ={} 次,一切准备就绪。",totalCount,batchSizeLimit,pageLimitGroupList.size());
            return pageLimitGroupList;
        }
        
    }

**老面孔手动分页统计sql ：**  
  
mapper 简单打个样

>     /**
>      * 统计所有符合搜索条件的数据
>      * @param codeList
>      * @return
>      */
>     int  getCountAllList(@Param("codeList") List<String> codeList);

对应xml 的sql

>     <select id="getCountAllList" resultType="java.lang.Integer">
>         SELECT
>         COUNT(*)
>         FROM district_info
>         WHERE PARENT_CODE IN
>         <foreach collection="codeList" item="code" open="(" separator="," close=")">
>             #{code}
>         </foreach>
>     
>     </select>

**老面孔手动分页查询sql：**

>     /**
>      * 手动分页查询
>      * @param codeList
>      * @param currIndex
>      * @param pageSize
>      * @return
>      */
>     List<District> getPageList(@Param("codeList") List<String> codeList,Integer currIndex,Integer pageSize);

sql：

>     <select id="getPageList" resultMap="BaseResultMap">
>         SELECT
>         <include refid="Base_Column_List"/>
>         FROM district_info
>         <where>
>             <if test="codeList != null and  !codeList.isEmpty()">
>                 PARENT_CODE  IN
>                 <foreach collection="codeList" item="code" open="(" separator="," close=")">
>                     #{code}
>                 </foreach>
>             </if>
>         </where>
>         LIMIT #{currIndex} , #{pageSize}
>     </select>

![64c902dc73464c7a90244b7ffcdc8074.png][]

ok接下来继续改造我们的分批查询，处理数据：

@RequestMapping("/createCsvFileTest3")
        public void createCsvFileTest3() throws IOException {
    
            //存放地址&文件名
            String fileName = "D:\\mycsv\\test3.csv";
            String tableNames = "地域编码,地域名称,父级编码,地域全称" + MyCsvFileUtil.CSV_TAIL;
            //创建文件
            MyCsvFileUtil.writeFile(fileName, tableNames);
    
            //获取数据总计数
            Integer totalCount = districtMapper.getCountAllList(null);
            //每批同步的数据条数
            Integer batchSizeLimit = 500;
            //分批切割处理
            List<PageLimitDTO> pageLimitGroupList = MyPageCutUtil.getPageLimitGroupList(totalCount, batchSizeLimit);
            int count = 1;
            //物理批次查询
            for (PageLimitDTO pageBatchLimit : pageLimitGroupList) {
                List<District> pageBatchList = districtMapper.getPageList(null, pageBatchLimit.getCurrIndex(), pageBatchLimit.getPageSize());
                if (!CollectionUtils.isEmpty(pageBatchList)) {
                    //写入数据
                    String contentBody = buildCsvFileBody(pageBatchList);
                    //调用方法生成
                    MyCsvFileUtil.writeFile(fileName, contentBody);
                }
                log.info("第{}批次,District数据处理结束执行", count);
                count = count + 1;
            }
        }

代码简析：  
![86d6968701534c7db340f03bdab1e9ae.png][]

OK，调用一下接口，看看效果：  
![f902eafb46d14ed0b21b6776dc045ffb.png][]

打开看看数据：

![7805946f2df14879a51cc9844b451819.png][]

![1525c2a66e404b4ab128d095a311215b.png][]

ps：还有没有优化封装余地？  
有的，文中讲到了，还可以考虑加上整个大批次的ID，然后考虑并行查询，并行拼接后，再按顺序插入。  
有想法的还可以写个注解，标记相关表头别名，是否参与导出，然后再拼接的时候魔改一手，反射自动拿字段属性等等。

好了该篇就到这。

![a3868eb19776458c930d84b5a8b15298.png][]

[52e82b817bd5462aad99482bbc0f1678.jpeg]: https://img-blog.csdnimg.cn/52e82b817bd5462aad99482bbc0f1678.jpeg
[003e765abefe4f04897cc69fce7f4548.png]: https://img-blog.csdnimg.cn/003e765abefe4f04897cc69fce7f4548.png
[32f9ccb1583c43889829f0f406b6dd34.png]: https://img-blog.csdnimg.cn/32f9ccb1583c43889829f0f406b6dd34.png
[026d289629754c158d83392189363eb7.png]: https://img-blog.csdnimg.cn/026d289629754c158d83392189363eb7.png
[f43f05a8558c44cba89273aef099f448.png]: https://img-blog.csdnimg.cn/f43f05a8558c44cba89273aef099f448.png
[ed93499013ef47aba24618ac5de10bb1.png]: https://img-blog.csdnimg.cn/ed93499013ef47aba24618ac5de10bb1.png
[f6a3db8f815a4e8f8de94afabd74c6b4.png]: https://img-blog.csdnimg.cn/f6a3db8f815a4e8f8de94afabd74c6b4.png
[370cc118f4c04a5ab820e8c83fd35d8d.png]: https://img-blog.csdnimg.cn/370cc118f4c04a5ab820e8c83fd35d8d.png
[7d501db9e61947caa6c629247d4cd490.png]: https://img-blog.csdnimg.cn/7d501db9e61947caa6c629247d4cd490.png
[b47edabdc4eb41019f5da1111e0f30af.png]: https://img-blog.csdnimg.cn/b47edabdc4eb41019f5da1111e0f30af.png
[2aa223bb760e4854905cb3ce794de987.jpeg]: https://img-blog.csdnimg.cn/2aa223bb760e4854905cb3ce794de987.jpeg
[773416d5775e45559ba911f793d960d0.png]: https://img-blog.csdnimg.cn/773416d5775e45559ba911f793d960d0.png
[b9ee823b3a934136b5dea2622b8b5682.png]: https://img-blog.csdnimg.cn/b9ee823b3a934136b5dea2622b8b5682.png
[64c902dc73464c7a90244b7ffcdc8074.png]: https://img-blog.csdnimg.cn/64c902dc73464c7a90244b7ffcdc8074.png
[86d6968701534c7db340f03bdab1e9ae.png]: https://img-blog.csdnimg.cn/86d6968701534c7db340f03bdab1e9ae.png
[f902eafb46d14ed0b21b6776dc045ffb.png]: https://img-blog.csdnimg.cn/f902eafb46d14ed0b21b6776dc045ffb.png
[7805946f2df14879a51cc9844b451819.png]: https://img-blog.csdnimg.cn/7805946f2df14879a51cc9844b451819.png
[1525c2a66e404b4ab128d095a311215b.png]: https://img-blog.csdnimg.cn/1525c2a66e404b4ab128d095a311215b.png
[a3868eb19776458c930d84b5a8b15298.png]: https://img-blog.csdnimg.cn/a3868eb19776458c930d84b5a8b15298.png