Java通过JDBC向数据库批量插入数据（MySQL为例）

野性酷女 2023-10-08 15:13 5阅读 0赞

注：本文仅供学习参考，作者水平有限，如有错误还请指正！

#### 文章目录 ####

*   *   *   *  1、 JDBC的批量处理语句：
             *  2、批量指向SQL语句的情况：
             *  3、关于本案例的注意事项：
             *  4、驱动程序
             *  5、案例源码

***在数据库中需要大量插入或更新记录时，可以使用java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。***

##### 1、 JDBC的批量处理语句： #####

*  addBatch(String)：添加需要批量处理的SQL语句或是参数；
 *  executeBatch()：执行批量处理语句；
 *  clearBatch():清空缓存的数据

##### 2、批量指向SQL语句的情况： #####

*  多条SQL语句的批量处理
 *  一个SQL语句的批量处理

##### 3、关于本案例的注意事项： #####

*  该案例中使用的MySQL版本为8.0.x，故对应的mysql-connection-java驱动应为8.0.x
 *  5.x版本的驱动使用的驱动路径为：com.mysql.jdbc.Driver， 8.x版本的驱动路径为com.mysql.cj.jdbc.Driver
 *  在本案例的三、四中方式中使用了java的批处理（Batch），MySQL服务器默认是关闭的，我们需要通过一个参数，让mysql开启批处理支持。即，在配置文件的url后面加上参数“&rewriteBatchedStatements=true”。如下：
    
    > user=root  
    > password=abc123  
    > url=jdbc:mysql://localhost:3306/test?characterEncoding=utf8&useUnicode=true&rewriteBatchedStatements=true  
    > driverClass=com.mysql.cj.jdbc.Driver
 *  有关数据库的连接、插入等操作可参考博文：
    
     *  连接数据库：https://blog.csdn.net/m0\_47015897/article/details/123206573?spm=1001.2014.3001.5501
     *  对数据库增删改查：https://blog.csdn.net/m0\_47015897/article/details/123342211?spm=1001.2014.3001.5501

##### 4、驱动程序 #####

*  我使用的驱动程序为8.0.27版本，官网下载：[MySQL :: Download MySQL Connector/J (Archived Versions)][MySQL _ Download MySQL Connector_J _Archived Versions]  
    ![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARXR1adu5KO-9peC8pe-9pcK0KdmIIMyRzJE_size_20_color_FFFFFF_t_70_g_se_x_16]
 *  使用方式：将mysql-connectior-java-8.0.27.jar解压至lib文件夹下加载即可  
    ![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARXR1adu5KO-9peC8pe-9pcK0KdmIIMyRzJE_size_20_color_FFFFFF_t_70_g_se_x_16 1]

##### 5、案例源码 #####

*  实验使用的表结构：

CREATE TABLE goods(
    	id INT PRIMARY KEY AUTO_INCREMENT,
    	NAME VARCHAR(25)
    );

*  java源码

package com.Etui5.blob;
    
    import java.sql.Connection;
    import java.sql.PreparedStatement;
    import java.sql.Statement;
    
    import org.junit.Test;
    
    import com.Etui3.util.JDBCUtils;
    
    /**
     * 使用PreparedStatement实现批量数据的操作
     * 
     * update、delete本身就具备批量操作的效果
     * 此时的批量操作主要指的是批量插入。使用PreparedStatement实现更高效的批量操作
     * 
     * 方式一：使用Statement
     * 
     *
     */
    public class insertTest {
        
    	
    	// 批量插入数据方式一：使用Statement
    //	@Test 
    	public void testInsert1() throws Exception {
        
    		Connection conn = JDBCUtils.getConnection();
    		Statement st = conn.createStatement();
    		for(int i = 0; i < 20000; i++) {
        
    			String sql = "insert into goods(name) values('nmae_" + i + "')";
    			st.execute(sql);
    		}
    		conn.close();
    		st.close();
    	}
    	
    	// 方式二：使用PreparedStatement
    //	@Test
    	public void testInsert2() {
        
    		Connection conn = null;
    		PreparedStatement ps = null;
    		try {
        
    			long start = System.currentTimeMillis();
    			conn = JDBCUtils.getConnection();
    			String sql = "insert into goods(name) values(?)";
    			ps = conn.prepareStatement(sql);
    			for(int i = 0; i < 20000; i++) {
        
    				ps.setObject(1, "name_" + i);
    				ps.execute();
    			}
    			
    			long end = System.currentTimeMillis();
    			
    			System.out.println("花费时间为：" + (end - start) + "ms"); // 20000条:51188ms
    		} catch (Exception e) {
        
    			e.printStackTrace();
    		} finally {
        
    			JDBCUtils.closeResource(conn, ps);			
    		}
    	}
    	
    	// 方式三：
    	// 1、批量处理方式：addBatch(), executeBatch(), clearBatch()
    	// 2、mysql 服务器默认是关闭批处理的，我们需要通过一个参数，让mysql开启批处理支持
    	// 			?rewriteBatchedStatements=true写在配置文件的url后面
    	// 3、使用更新的mysql驱动：5.1.37，该驱动需与mysql的版本对应，我使用的为8.0.27
    	// 4、以往练习使用的都是5.1.7驱动，连接驱动为com.mysql.jdbc.Driver，8.0.x版本需改为com.mysql.cj.jdbc.Driver
    //	@Test
    	public void testInsert3() {
        
    		Connection conn = null;
    		PreparedStatement ps = null;
    		try {
        
    			long start = System.currentTimeMillis();
    			conn = JDBCUtils.getConnection();
    			String sql = "insert into goods(name) values(?)";
    			ps = conn.prepareStatement(sql);
    			for(int i = 0; i < 1000000; i++) {
        
    				ps.setObject(1, "name_" + i);
    //				ps.execute();
    				
    				// 每插入500条插入一次
    				// 添加到批处理
    				ps.addBatch();
    				if(i % 500 == 0) {
        
    					// 执行批量操作
    					ps.executeBatch();
    					// 清空batch
    					ps.clearBatch();
    				}
    			}
    			
    			long end = System.currentTimeMillis();
    			
    			System.out.println("花费时间为：" + (end - start) + "ms"); // 20000条：349ms，1000000条：15833ms
    		} catch (Exception e) {
        
    			e.printStackTrace();
    		} finally {
        
    			JDBCUtils.closeResource(conn, ps);			
    		}
    	}
    	
    	// 方式四： 
    	// 将自动提交关闭
    	@Test
    	public void testInsert4() {
        
    		Connection conn = null;
    		PreparedStatement ps = null;
    		try {
        
    			long start = System.currentTimeMillis();
    			conn = JDBCUtils.getConnection();
    			
    			conn.setAutoCommit(false);// 关闭自动提交
    			
    			String sql = "insert into goods(name) values(?)";
    			ps = conn.prepareStatement(sql);
    			for(int i = 0; i < 1000000; i++) {
        
    				ps.setObject(1, "name_" + i);
    				ps.addBatch();
    				if(i % 500 == 0) {
        
    					ps.executeBatch();
    					ps.clearBatch();
    				}
    			}
    			
    			conn.commit();// 预处理完成后统一提交
    			
    			long end = System.currentTimeMillis();
    			
    			System.out.println("花费时间为：" + (end - start) + "ms"); // 1000000条：9505ms
    		} catch (Exception e) {
        
    			e.printStackTrace();
    		} finally {
        
    			JDBCUtils.closeResource(conn, ps);			
    		}
    	}
    }

[MySQL _ Download MySQL Connector_J _Archived Versions]: https://downloads.mysql.com/archives/c-j/
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARXR1adu5KO-9peC8pe-9pcK0KdmIIMyRzJE_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/f22d273d5db94933ae28b16416d922ef.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARXR1adu5KO-9peC8pe-9pcK0KdmIIMyRzJE=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARXR1adu5KO-9peC8pe-9pcK0KdmIIMyRzJE_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/02e6c1bd59054663855a089bee9f2c22.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARXR1adu5KO-9peC8pe-9pcK0KdmIIMyRzJE=,size_20,color_FFFFFF,t_70,g_se,x_16