mysql jdbc batch insert性能改善

àì夳堔傛蜴生んèń 2024-04-18 12:16 66阅读 0赞

原文参考https://stackoverflow.com/questions/2993251/jdbc-batch-insert-performance

## 问题描述： ##

当有数百万的数据需要insert的时候，如何改善性能呢？

// Disable auto-commit
       connection.setAutoCommit(false);
    
       // Create a prepared statement
       String sql = "INSERT INTO mytable (xxx), VALUES(?)";
       PreparedStatement pstmt = connection.prepareStatement(sql);
    
       Object[] vals=set.toArray();
       for (int i=0; i<vals.length; i++) { 
           pstmt.setString(1, vals[i].toString());
           pstmt.addBatch();
       }
    
       // Execute the batch
       int [] updateCounts = pstmt.executeBatch();
       System.out.append("inserted "+updateCounts.length);

通过使用batch以后，执行时间依然很长。

## 最佳答案: ##

mysql数据库通过设置参数rewriteBatchedStatements=true来达到目的。

jdbc:mysql://host:3306/db?rewriteBatchedStatements=true

## 原理 ##

rewriteBatchedStatements=true是如何提升效率的呢？“It does so by rewriting of prepared statements for INSERT into multi-value inserts when executeBatch()”([Source][])。这句话的意思是，当每次使用executeBatch() 的时候，不是发送n条insert到mysql。而是发送1条insert语句和多个值到mysql。

INSERT INTO X VALUES (A1,B1,C1)
    INSERT INTO X VALUES (A2,B2,C2)
    ...
    INSERT INTO X VALUES (An,Bn,Cn)

上述多条语句取而代之:

INSERT INTO X VALUES (A1,B1,C1),(A2,B2,C2),...,(An,Bn,Cn)

你可以设置mysql日志记录参数 (by SET global general\_log = 1) ，来通过日志文件查看发送到mysql server的每一个sql语句。

[Source]: http://dev.mysql.com/doc/connector-j/en/connector-j-reference-configuration-properties.html