mybatis使用流式查询避免一次性查询数据量过大导致OOM（内存溢出）

冷不防 2023-06-19 09:51 18阅读 0赞

# 问题 #

开发中难免会遇到大批量数据的导出，比如几十万（几百万）条数据，而服务器的内存过小则会导致内存溢出

# 解决方案 #

使用mybatis的流式查询，步骤如下：  
dao层接口：

@Mapper
    public interface CustomerDao { 
     		List<BpmsCustomerManageFormalEntity> selectAll();
            List<BpmsCustomerManageFormalEntity> selectFetchSize2();
    }

xml文件：

<select id="selectAll" resultType="com.ratel.streaming.entity.BpmsCustomerManageFormalEntity">
            SELECT * FROM bpms_customer_manage_formal
        </select>
        
        
    #这个是关键 其中fetchSize="-2147483648"，Integer.MIN_VALUE=-2147483648
    <select id="selectFetchSize2" resultType="bpmsCustomerManageFormalEntity" fetchSize="-2147483648">
            SELECT * FROM bpms_customer_manage_formal
        </select>

**本次数据库准备的数据量是40万条左右**

# 结果 #

使用java自带的java内存监控工具jvisualvm.exe查看内存使用：  
由图可知：普通查询的峰值使用内存为1500M ，而流式查询大约为1000M左右，大大节省了内存！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dldGVyX2Ryb3A_size_16_color_FFFFFF_t_70]

# 参考链接： #

[Mysql中使用流式查询避免数据量过大导致OOM][Mysql_OOM]  
[MySQL中流式查询使用][MySQL]  
[MyBatis中使用流式查询避免数据量过大导致OOM][MyBatis_OOM]  
[Mybatis 3.4.0 Cursor的使用][Mybatis 3.4.0 Cursor]  
[正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space][MySQL JDBC setFetchSize_JDBC_ java.lang.OutOfMemoryError_ Java heap space]  
[MyBatis中使用流式查询避免数据量过大导致OOM][MyBatis_OOM 1]  
[关于oracle与mysql官方jdbc的一些区别][oracle_mysql_jdbc]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dldGVyX2Ryb3A_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191205181053984.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dldGVyX2Ryb3A=,size_16,color_FFFFFF,t_70
[Mysql_OOM]: https://www.jianshu.com/p/c1e6eeb71c74
[MySQL]: https://www.jianshu.com/p/eedc9350f700
[MyBatis_OOM]: https://www.jianshu.com/p/0339c6fe8b61
[Mybatis 3.4.0 Cursor]: https://www.jianshu.com/p/97d96201295b
[MySQL JDBC setFetchSize_JDBC_ java.lang.OutOfMemoryError_ Java heap space]: https://blog.csdn.net/seven_3306/article/details/9303879
[MyBatis_OOM 1]: https://blog.csdn.net/weixin_43221845/article/details/84871362
[oracle_mysql_jdbc]: https://blog.csdn.net/yzsind/article/details/7853029