导出excel方案-续篇

我就是我 2022-10-18 11:30 154阅读 0赞

背景：较上一篇文章简单使用easyexcel已经过去一年半了，[https://blog.csdn.net/qq\_32447321/article/details/103793475][https_blog.csdn.net_qq_32447321_article_details_103793475] 回想去年今天，完成了首次从老东家（就不说名字了，也的确不是BAT或TMD 咋好意思说自己在互联网公司待过）交接辞职，进入一个小创业团队，之后几个月 做了一个景区小火车购票系统直到11月份验收完，之后公司经营不行，收缩至合肥，11月开始到合肥，各种原因21年3月份回上海找工作，这一年下来实际的产出也就一套系统，一套方案设计，从需求-》设计-》原型-》开发-》交付-》验收-》运维 ，套路是全了深度就呵呵，就这；对比这20-》21年的收获，一是年龄涨了岁，二：熟悉了些微服务架构设计；就这；

--------------------

展望：21-》22年，现公司每天早间新闻晨会贯彻“一切为了打仗”，警务自己“时刻准备着”，同事都百万年薪了，自己还一人吃饱就好状态，可不敢要，今天午休聊天同事修产假四个月，每天按公司平均工资发薪，四个月发了12w,卧槽，人均工资3w,太特么羡慕人了，不由得嘲讽自己，另同事说现在工资少点没关系，下家补过来，害，听起来也不是很开心，说这个呢就是说大家好好努力，**思想是有边界的，你未知的幸福，不代表没有，提升自己不是负担，“大概是认知不同”阿巴阿巴**

--------------------

正事给忘了：这边是excel导出升级篇 ，背景：导出excel(一次 >3百万记录，十八字段，文件size: >100M)，数据存储在mongodb,数据容量：< 100G

演变  导不出来 -》2min -> 30s；

talk is cheap ,show you code;具体![20210708004041295.png][]

// 导出订单生成excel处理池
        private ExecutorService processExportOrderExcelPool = new ThreadPoolExecutor(10, 20,
                0L, TimeUnit.MILLISECONDS,
                new LinkedBlockingQueue<Runnable>(30),
                Executors.defaultThreadFactory(),new ThreadPoolExecutor.CallerRunsPolicy());
    
    public BaseResultVo exportOrderInfo(BaseDto dto, StationInfoQueryBO bo, HttpServletResponse response) {
            BaseResultVo vo = new BaseResultVo();
            long s1 = System.currentTimeMillis();
            try {
                int ndrcNum = SyuserSyroleMapper.countUserIsNDRC(dto.getSyuserId());
                DBObject sql = getMatchFields(dto, bo, ndrcNum);
                long totalRowCount =mongoTemplate.getCollection("notificationChargeOrderInfo").count(sql);
                //计算总数量，进行分批
                System.out.println("导出总数totalRowCount|" + totalRowCount+"|count耗时："+(System.currentTimeMillis()-s1));
                logger.info("导出总数totalRowCount|" + totalRowCount+"|count耗时："+(System.currentTimeMillis()-s1));
                response.setHeader("Content-disposition", "attachment;filename=exportOrder.xlsx");
                ExcelWriter excelWriter = EasyExcel.write(response.getOutputStream(), ExportOrder2Bo.class).build();
                List<Future> headerflist = new ArrayList<>();
                Long toIndex = Consts.PER_SHEET_ROW_COUNT_10W.longValue(); //数据100000条处理存一次
                int sheetIndex = 0;//根据分批数创建对用数sheet
                // 这里 指定文件
                List<BlockingQueue> syncOrderLists =  Collections.synchronizedList(new LinkedList<BlockingQueue>());
                for (int i = 0; i < totalRowCount; i += Consts.PER_SHEET_ROW_COUNT_10W) {
                    if (i + Consts.PER_SHEET_ROW_COUNT_10W > totalRowCount) {        //作用为toIndex最后没有100条数据则剩余几条newList中就装几条
                        toIndex = totalRowCount - i;
                    }
                    System.out.println("fori|"+Thread.currentThread().getName() +"|i:"+i);
                    // 并发执行
                    DBCollectionFindOptions copiedOptions = new DBCollectionFindOptions();
                    copiedOptions.limit(toIndex.intValue());//分页条数
                    copiedOptions.skip(i);//开始位置
                    copiedOptions.sort(new BasicDBObject("EndTime", -1));
                    headerflist.add(processExportOrderExcelPool.submit(new Runnable() {
                        @Override
                        public void run() {
                            try {
                            //根据条件查询订单（并行处理）
    //                            long c1 = System.currentTimeMillis();
                                Iterable<DBObject> dbObjects = mongoTemplate.getCollection("notificationChargeOrderInfo").find(sql,copiedOptions);
    //                            long c2 = System.currentTimeMillis();
    //                            System.out.println(Thread.currentThread().getName()+"|执行sql耗时:"+(c2-c1));
                                BlockingQueue queue = new LinkedBlockingQueue(new LinkedList<ExportOrder2Bo>());
    //                            List<ExportOrder2Bo> synchronizedList = new LinkedBlockingQueue(new LinkedList<ExportOrder2Bo>());//Collections.synchronizedList(new LinkedList<ExportOrder2Bo>());
    //                            int i=0;
                                for (DBObject next:dbObjects) {
    //                                i++;
                                    asyncSetObjectCallback.submit(new Runnable() {
                                        @Override
                                        public void run() {
                                            ExportOrder2Bo res = new ExportOrder2Bo();
                                            res.setStartChargeSeq((String) next.get("StartChargeSeq"));
                                            res.setCreatedTime((Date) next.get("CreatedTime"));
                                            res.setEquipmentId((String) next.get("equipmentId"));
                                            res.setConnectorID((String) next.get("ConnectorID"));
                                            res.setStationName((String) next.get("stationName"));
                                            res.setAreaName((String) next.get("areaName"));
                                            res.setOrgName((String) next.get("orgName"));
                                            res.setStartTime((Date) next.get("StartTime"));
                                            res.setEndTime((Date) next.get("EndTime"));
                                            res.setCostTime((Integer) next.get("costTime"));
                                            res.setTotalPower((Double) next.get("TotalPower"));
                                            res.setTotalElecMoney((Double) next.get("TotalElecMoney"));
                                            res.setTotalSeviceMoney((Double) next.get("TotalSeviceMoney"));
                                            res.setTotalMoney((Double) next.get("TotalMoney"));
    //                                        synchronizedList.add(res);
                                            queue.add(res);
                                        }
                                    });
                                }
    //                            long c3 = System.currentTimeMillis();
    //                            logger.info(Thread.currentThread().getName() + "|mongo返回setList大小|"+queue.size()+"|mongo sql耗时|"+(c2-c1)+"|遍历耗时："+(c3-c2));
                                syncOrderLists.add(queue);
                            } catch (Exception e) {
                                logger.error("--------exportOrderInfo error--------:");
                                e.printStackTrace();
                            }
                        }
                    }));
                    sheetIndex++;
                }
    //            logger.info("for headerflist阻塞等待返回|");
                //阻塞等待返回
                try {
                    for (int i = 0; i < headerflist.size(); i++) {
    //                    logger.info("headerflist阻塞等待返回|" + i);
                        headerflist.get(i).get();
    //                    logger.info("headerflist get 阻塞等待返回|" + i);
                        if (syncOrderLists.size() >0) {
    //                        long s3 = System.currentTimeMillis();
                            WriteSheet writeSheet = EasyExcel.writerSheet(i, "sheet" + i).head(ExportOrder2Bo.class).build();
                            List order=new ArrayList<ExportOrder2Bo>();
                            syncOrderLists.get(i).drainTo(order,100000);
                            excelWriter.write(order, writeSheet);
    //                        long s4 = System.currentTimeMillis();
    //                        logger.info("excelWriter SheetName:" + i + "|SheetNo: " + writeSheet.getSheetNo() + "|writerSheet 耗时|" + (s4 - s3));
                        }
                    }
    
                    /// 千万别忘记finish 会帮忙关闭流
                    excelWriter.finish();
                    System.out.println("--帮忙关闭流----");
                } catch (Exception e) {
                    response.setStatus(400);
                    logger.error("--------process callback error--------:", e);
                }
                long s2 = System.currentTimeMillis();
                response.setContentType("application/vnd.ms-excel");
                response.setCharacterEncoding("utf-8");
            } catch (Exception e) {
                logger.info("exportOrderInfo error!");
                response.setStatus(400);
                e.printStackTrace();
            }
            long s2 = System.currentTimeMillis();
            logger.info("导出订单耗时|" + (s2 - s1));
            return vo;
        }

[https_blog.csdn.net_qq_32447321_article_details_103793475]: https://blog.csdn.net/qq_32447321/article/details/103793475
[20210708004041295.png]: /images/20221005/50c7879b101e47d0b5e6fa774357f248.png