Mysql千万级别数据批量插入insert

桃扇骨 2022-02-17 10:49 614阅读 0赞

**批量插入比单条插入速度快**

INSERT INTO table (field1,field2,field3) VALUES (‘a’,”b”,”c”), (‘a’,”b”,”c”),(‘a’,”b”,”c”);

INSERT INTO table (field1,field2,field3) VALUES (‘a’,”b”,”c”);INSERT INTO table (field1,field2,field3) VALUES (‘a’,”b”,”c”);INSERT INTO table (field1,field2,field3) VALUES (‘a’,”b”,”c”);

使用1的批量插入写法，能大大提高插入速度。

**合理利用数据库buffer**

可以调大bulk\_insert\_buffer\_size这个参数。默认为8M。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FoYW90YXRh_size_16_color_FFFFFF_t_70]  
这个参数仅作用于使用 MyISAM存储引擎，用来缓存批量插入数据的时候临时缓存写入数据。mysql会使用这个内存区域来缓存批量结构的数据以帮助批量写入数据文件。  
例如将该buffer大小设置为100M。  
set global bulk\_insert\_buffer\_size = 1024*1024*100;

**用INSERT DELAYED延迟插入**

这个insert delayed不同之处在于：立即返回结果，后台进行处理插入。

当一个客户端使用INSERT DELAYED时，会立刻从服务器处得到一个确定。并且行被排入队列，当表没有被其它线程使用时，此行被插入。  
使用INSERT DELAYED的另一个重要的好处是，来自许多客户端的插入被集中在一起，并被编写入一个块。这比执行许多独立的插入要快很多。  
需要注意：

1.  INSERT DELAYED应该仅用于指定值清单的INSERT语句。服务器忽略用于INSERT DELAYED…SELECT语句的DELAYED。
2.  服务器忽略用于INSERT DELAYED…ON DUPLICATE UPDATE语句的DELAYED。
3.  因为在行被插入前，语句立刻返回，所以您不能使用LAST\_INSERT\_ID()来获取AUTO\_INCREMENT值。AUTO\_INCREMENT值可能由语句生成。
4.  对于SELECT语句，DELAYED行不可见，直到这些行确实被插入了为止。
5.  DELAYED在从属复制服务器中被忽略了，因为DELAYED不会在从属服务器中产生与主服务器不一样的数据。
6.  目前在队列中的各行只保存在存储器中，直到它们被插入到表中为止。这意味着，如果您强行中止了mysqld（例如，使用kill -9） 或者如果mysqld意外停止，则所有没有被写入磁盘的行都会丢失。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FoYW90YXRh_size_16_color_FFFFFF_t_70]: /images/20220217/2eeff48feb294b8c860e11f960f890e1.png