100w+ mybatis+mysql批量新增实现方式

刺骨的言语ヽ痛彻心扉 2022-05-09 13:22 423阅读 0赞

/**
         * 批量插入的数量需要根据性能而定
         */
        private static Integer BATCH_INSERT_MAX_SIZE = 100;
    
        /**
         * 批量插入
         *
         * @param fileHandleList
         */
        protected void insertBatch(List<FileHandle> fileHandleList) {
            int pageSize = BATCH_INSERT_MAX_SIZE;
            int pageNo = fileHandleList.size() / pageSize;
    
            List subList;
            if (fileHandleList.size() <= pageSize) {
                fileHandleMapper.batchInsert(fileHandleList);
            } else {
                for (int i = 0; i < pageNo; i++) {
                    subList = fileHandleList.subList(0, pageSize);
                    fileHandleMapper.batchInsert(subList);
                    fileHandleList.subList(0, pageSize).clear();
                }
                if(list.size()>0){
                        fileHandleMapper.batchInsert(fileHandleList);
                    }
            }
        }
    
        <insert id="batchInsert">
            INSERT INTO t_file_handle(id,fileId, data, tag,`status`, logicType, creTime, updTime)
            VALUES
            <foreach collection="list" item="item" index="index" separator=",">
                (#{item.id},#{item.fileId},#{item.data},#{item.tag},#{item.status},#{item.logicType},#{item.creTime},#{item.updTime})
            </foreach>
        </insert>

100w+数据保存mysql。由于mysql每次新增时slq长度限制为4M(跟版本有关，可配置)大小，故对sql进行了拆分，仅做记录。

202011.19更新

分割list可以使用guava Lists.partion(List<T> list,Integer size)实现，简化代码。

发表评论取消回复

表情：

评论列表（有 0 条评论，423人围观）

还没有评论，来说两句吧...

相关阅读

相关批量新增批量删除

批量删除 mapper.xml文件 <delete id="bathDelByIds"> delete from t_good

深藏阁楼爱情的钟/ 2023年10月11日 20:27/ 0 赞/ 61 阅读

相关 Oracle + MyBatis 3 实现批量新增/修改

批量新增Mapper 定义 public interface BaseHouseMapper { // 批量新增Mapper 定义 v

梦里梦外;/ 2023年10月10日 17:23/ 0 赞/ 34 阅读

相关 MyBatis + Oracle 实现批量新增和批量修改

MyBatis + Oracle 实现批量新增（基于序列化自增长主键） mapper 接口 void batchInsert(List<ASingleProject

浅浅的花香味﹌/ 2023年10月10日 11:46/ 0 赞/ 53 阅读

相关 100w

股市我觉得是机会最大的，原因很简单，A股离成熟还差的远，不成熟的市场才有机会挣大钱。这一波熊市让很多行业的估值都已经跌到了10年来的低点，堪比2008，如果能全仓压到

朴灿烈づ我的快乐病毒、/ 2022年12月24日 11:50/ 0 赞/ 131 阅读

相关 springboot项目实现批量新增功能

首先是mybatis中的批量新增sql语句。注意：这里我给的是我需要新增的字段，你们改成你们需要的字段。 <insert id="insertBatch" >

太过爱你忘了你带给我的痛/ 2022年10月01日 06:58/ 0 赞/ 295 阅读

相关 mybatis批量新增和批量修改

批量新增 <insert id="saveBatch"> INSERT INTO tb_test(chapterId,parentId,cou

柔情只为你懂/ 2022年09月08日 13:00/ 0 赞/ 332 阅读

相关批量新增数据

项目环境：My sql 新项目，需要测试发送多条email的情况，数据库中的数据没有，怎么快速创造出几千条测试数据呢，使用 insert的批量插入语句。 insert in

小灰灰/ 2022年06月13日 09:55/ 0 赞/ 215 阅读

相关 100w+ mybatis+mysql批量新增实现方式

/ 批量插入的数量需要根据性能而定 / private static Integer BATCH_INSERT_M

刺骨的言语ヽ痛彻心扉/ 2022年05月09日 13:22/ 0 赞/ 424 阅读

相关 Hadoop实现100W数据取最大值

代码实现 pom.xml文件配置 <dependency> <groupId>org.apache.hadoop</

ゞ浴缸里的玫瑰/ 2022年04月25日 01:34/ 0 赞/ 170 阅读

相关 MyBatis实现数据的批量新增和删除

在项目的开发中，我们经常需要对数据进行批量的操作，如：批量新增、批量删除等。下面将介绍MyBatis如何实现数据的批量新增和删除操作。创建UserMapper接口（用户信息

阳光穿透心脏的1/2处/ 2021年08月31日 03:38/ 0 赞/ 439 阅读