各种jdbc批处理效率比较

ゝ一纸荒年。 2022-03-08 05:28 401阅读 0赞

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> 花了一天的时间试验了一下各种jdbc批处理，一共测试了4种10万条数据本地mysql插入： &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.原装jdbc PreparedStatement addBatch();&nbsp;&nbsp;耗时（7.7秒） &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.原装jdbc Statement addBatch(sql);&nbsp; 耗时（9.2秒） &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3.原装jdbc&nbsp;Statement execute(sql);&nbsp; 耗时（8秒） &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4.spring jdbcTemplate.batchUpdate(sql,new BatchPreparedStatementSetter() {...})&nbsp;；耗时（30分钟以上） &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5.hibernate session.flush()&nbsp; (很早以前测试的) （10分钟） &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;程序片段如下： public void test() { &nbsp;&nbsp;StopWatch sw = new StopWatch(); &nbsp;&nbsp;System.out.println("-----------------start---------------"); &nbsp;&nbsp;final List&lt;String&gt; list1 = new ArrayList&lt;String&gt;(); &nbsp;&nbsp; &nbsp;&nbsp;sw.start(); &nbsp;&nbsp;for (int i = 0; i &lt; 2000; i++) { //&nbsp;&nbsp;&nbsp;list1.add("douzi"); //&nbsp;&nbsp;&nbsp;jdbcTemplate.execute(); &nbsp;&nbsp;} &nbsp;&nbsp;Connection con = null; //&nbsp;&nbsp;PreparedStatement ps = null; &nbsp;&nbsp;Statement st = null; &nbsp;&nbsp;try { &nbsp;&nbsp;&nbsp;con = jdbcTemplate.getDataSource().getConnection(); &nbsp;&nbsp;&nbsp;con.setAutoCommit(false); //&nbsp;&nbsp;&nbsp;ps = con.prepareStatement("insert into Aa(name) values('douzi')"); &nbsp;&nbsp;&nbsp;st = con.createStatement(); &nbsp;&nbsp;&nbsp;for (int i = 0; i &lt; 100000; i++) { //&nbsp;&nbsp;&nbsp;&nbsp;ps.setString(1, "douzi" + i); //&nbsp;&nbsp;&nbsp;&nbsp;st.addBatch("insert into Aa(name) values('douzi')"); &nbsp;&nbsp;&nbsp;&nbsp;st.execute("insert into Aa(name) values('douzi')"); //&nbsp;&nbsp;&nbsp;&nbsp;ps.addBatch(); //&nbsp;&nbsp;&nbsp;&nbsp;if (i % 10000 == 0) { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ps.executeBatch(); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ps.clearBatch(); //&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;st.executeBatch(); //&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;st.clearBatch(); //&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;con.commit(); //&nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;} //&nbsp;&nbsp;&nbsp;ps.executeBatch(); &nbsp;&nbsp;&nbsp;st.executeBatch(); &nbsp;&nbsp;&nbsp;st.clearBatch(); &nbsp;&nbsp;&nbsp;con.commit(); &nbsp;&nbsp;&nbsp;con.setAutoCommit(true); &nbsp;&nbsp;} catch (SQLException e) { &nbsp;&nbsp;&nbsp;e.printStackTrace(); &nbsp;&nbsp;} finally { &nbsp;&nbsp;&nbsp;try { //&nbsp;&nbsp;&nbsp;&nbsp;ps.close(); &nbsp;&nbsp;&nbsp;&nbsp;st.close(); &nbsp;&nbsp;&nbsp;&nbsp;con.close(); &nbsp;&nbsp;&nbsp;} catch (SQLException e) { &nbsp;&nbsp;&nbsp;&nbsp;e.printStackTrace(); &nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;} &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;sw.stop(); &nbsp;&nbsp;System.out.println("-----------------end---------------" + sw.getTime()); &nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;得出结论为：以后的批处理，就用原始的jdbc批处理即可，其他的框架批处理可以直接忽略掉了，其次前三种jdbc中，我认为使用前两种代码是到哪里都ok的；第三种虽然速度快，但不适用与远程数据库； &nbsp;&nbsp;&nbsp;&nbsp;第四种速度慢的根本原因我不清楚，但是知道它是每次都commit一句sql引起的；如何关闭autoCommit，没有实验出来；欢迎知道的告知一下 </td> 
 </tr> 
 </tbody> 
</table>