SSM框架中集成批量插入Mysql数据库功能

男娘i 2022-06-05 03:10 213阅读 0赞

如果导入的数据在万条以上，项目中生成的导入功能数据在万条以上会变得非常慢，然后优化了一下，经测试，几万的数据在10秒内成功导入。感觉还是有需要优化的地方，时间精力有限，有优化的希望多交流交流。上代码：

\[java\] [view plain][] [copy][view plain]

1.  **package** com.jh5bframework.test.testdemo;  
2.  /\*\* 
3.   \* 批量导入功能优化（万条以上） 
4.   \*/  
5.  **import** java.util.ArrayList;  
6.  **import** java.util.Date;  
7.  **import** java.util.List;  
8.  **import** org.apache.commons.lang3.StringUtils;  
9.  **import** org.junit.Test;  
10. **import** org.springframework.beans.factory.annotation.Autowired;  
11. **import** org.springframework.jdbc.core.JdbcTemplate;  
12.   
13. **public** **class** TestDemo \{  
14.   
15.     @Autowired  
16.     **private**  JdbcTemplate jt;  
17.       
18.     @Test  
19.     **public** **void** test1() \{  
20.         String sql = "INSERT INTO test\_import(id,name) VALUES";// 假设表test\_import中有两个字段id和name  
21.         List<String\[\]> liststr = **new** ArrayList<String\[\]>();  
22.         **int** listSize = 12;// 定义要插入数据的总条数  
23.   
24.         String\[\] str = **null**;  
25.         **for** (**int** i = 0; i < listSize; i++) \{  
26.             str = **new** String\[2\];// 假设有两个字段  
27.             str\[0\] = i + "";// 对第一个字段赋值  
28.             str\[1\] = "name" + i;// 对第二个字段赋值  
29.             liststr.add(str);  
30.         \}  
31.         System.out.println("liststr:" + liststr);  
32.         System.out.println("开始时间：" + **new** Date());  
33.         dataBatchInsertToMysqlDao(sql, liststr);  
34.         System.out.println("结束时间：" + **new** Date());  
35.     \}  
36.   
37.     /\*\* 
38.      \* 数据批量插入Mysql 
39.      \*/  
40.     **public** **int** dataBatchInsertToMysqlDao(String sql, List<String\[\]> list) \{  
41.         **try** \{  
42.             **int** x = list.size() / 10000;  
43.             **int** y = 0;  
44.             String strb;  
45.             StringBuffer strb1 = **null**;  
46.             **if** (x < 2) \{  
47.                 strb1 = **new** StringBuffer(sql);  
48.                 **for** (**int** i = 0; i < list.size(); i++) \{  
49.                     String\[\] str = list.get(i);  
50.                     strb = "('" + StringUtils.join(str, "','") + "',";  
51.                     strb1.append(strb.substring(0, strb.length() - 1) + "),");  
52.                 \}  
53.                 System.out.println("sql:"\+strb1.substring(0, strb1.length() - 1));  
54.                 **return** jt.update(strb1.substring(0, strb1.length() - 1));  
55.             \} **else** \{  
56.                 **for** (**int** k = 0; k < x; k++) \{ // 2万条以上的数据先插入整数万条  
57.                     strb1 = **new** StringBuffer(sql);  
58.                     **for** (**int** i = k \* 10000; i < (k + 1) \* 10000; i++) \{  
59.                         String\[\] str = list.get(i);  
60.                         strb = "('" + StringUtils.join(str, "','") + "',";  
61.                         strb1.append(strb.substring(0, strb.length() - 1)  
62.                                 + "),");  
63.                     \}  
64.                     System.out.println("sql:"  
65.                             + strb1.substring(0, strb1.length() - 1));  
66.                     y += jt.update(strb1.substring(0, strb1.length() - 1));  
67.                 \}  
68.                 **if** (list.size() > y) \{ // 对整万剩下的数据进行插入  
69.                     strb1 = **new** StringBuffer(sql);  
70.                     **for** (**int** k = y; k < list.size(); k++) \{  
71.                         String\[\] str = list.get(k);  
72.                         strb = "('" + StringUtils.join(str, "','") + "',";  
73.                         strb1.append(strb.substring(0, strb.length() - 1)  
74.                                 + "),");  
75.   
76.                     \}  
77.                     y += jt.update(strb1.substring(0, strb1.length() - 1));  
78.                 \}  
79.                 **return** y;  
80.             \}  
81.         \} **catch** (Exception e) \{  
82.               
83.             **return** 0;  
84.         \}  
85.     \}  
86.   
87. \}

配置文件中修改：

\[java\] [view plain][] [copy][view plain]

1.    
3.         <bean id="jdbcTemplate" **class**="org.springframework.jdbc.core.JdbcTemplate">  
4.         <property name="dataSource" ref="dataSource">  
5.         </property>  
6.         </bean>

代码中调用StringUtils.join()方法需要使用commons-lang3-3.3.2.jar这个包。这个实际上是导入Excel表格，读取其中的数据，并将数据插入到Mysql数据库中代码的一部分，这里我省略了读取excel表格中的数据这部分。

转载地址：[http://blog.csdn.net/qq\_16497617/article/details/52462051][http_blog.csdn.net_qq_16497617_article_details_52462051]

[view plain]: http://blog.csdn.net/qq_16497617/article/details/52462051#
[http_blog.csdn.net_qq_16497617_article_details_52462051]: http://blog.csdn.net/qq_16497617/article/details/52462051