mysql快速导出导入百万以内条数据

╰+攻爆jí腚メ 2022-02-03 16:51 410阅读 0赞

### 文章目录 ###

*  SQLyog
 *   *  csv介绍
     *  导出csv格式数据
     *  导入csvg格式数据!\[在这里插入图片描述\](https://img-blog.csdnimg.cn/20190509211725302.jpg?x-oss-process=image/watermark,type\_ZmFuZ3poZW5naGVpdGk,shadow\_10,text\_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA==,size\_16,color\_FFFFFF,t\_70)
 *  Navicat Premium

# SQLyog #

开发中我们一般有一个测试数据库，一个正式数据库，测试的时候我们需要把正式的数据拉到测试上来测试，

我一开始是把表中的数据导成sql，然后在sqlyog中执行此sql脚本，报错 “内存不足，应用程序将关闭！”

我只好用命令行来导入此sql脚本

mysql -h  39.98.43.224  -P 3306 -uroot -pjf2019BZ
    use tsa;
    source d:\mydb1.sql;

3万条数据大概执行了半个小时，  
他是每插入一行数据就会在控制台上打印 已插入一条数据

很慢

然后就了解到cvs格式，发现用cvs格式的数据导入就2秒钟

## csv介绍 ##

csv文件是什么？　  
csv是最通用的一种文件格式，它可以非常容易地被导入各种PC表格及数据库中。  
此文件，一行即为数据表的一行。  
生成数据表字段用半角逗号隔开。  
csv文件用记事本和excel都能打开，用记事本打开显示逗号，用excel打开，没有逗号了，逗号都用来分列了,还可有Editplus打开。

小编之前在打开一个csv格式文件的时候，由于看那个图标和Excel的文件图标相似，就直接用Excel打开了，结果发觉其中很多的CRC值都发生错误。这个惨痛教训告诉我，虽然csv格式文件可以用Excel来打开，但是由于计算机档案数据转换的原因，会将其CRC之数值改做科学记号方式储存，而造成档案中的 CRC值发生错误。  
所以，如果想要查看真实的csv数据，最好使用专用的软件来查看，或者将其转化成Excel的专用格式再使用Excel来打开。

浅谈“CSV”格式文件   
“CSV”是逗号分隔文件 (Comma Separated Values) 的首字母英文缩写，是一种用来存储数据的纯文本格式，通常用于电子表格或数据库软件。这种文件格式经常用来作为不同程序之间的数据交互。在 CSV 文件中，数据“栏”以逗号分隔，可允许程序通过读取文件为数据重新创建正确的栏结构，并在每次遇到逗号时开始新的一栏。    
CSV其实就是COMMA SEPARATED VALUE的缩写，出现在档案总管中的档案类型是「逗号分格」，依计算机原来的设定，如果直接点选该档案，计算机将以EXCEL的模式开启该档案。但建议您千万不要这么做，因为CSV档如果以EXCEL开启，由于计算机档案数据转换的原因，会将其CRC之数值改做科学记数法方式储存，而造成档案中的CRC值发生错误。如果想一窥CSV档的真实面貌，笔者建议您使用WORDPAD（写字板）或是NOTE（记事本）来开启。也可以先另存为新的EXCEL文档后，再打开EXCEL文档。也是方法之一。开启后的CSV档包含了若干个字段（部分）。   
创建CSV文件有许多方法。最常用的方法是用电子表格程序，如Microsoft Excel。在Microsoft Excel中，选择“文件”>“另存为”，然后在“文件类型”下拉选择框中选择“CSV（逗号分隔）(\*.csv)”。   
CSV格式（即文件后缀为.csv，属于用excel软件可编辑的逗号分隔的一种文件格式），用记事本就能打开。   
XLS文件就是Microsoft excel电子表格的文件格式，是二进制的文件只有用EXCEL才能打。

[https://wenku.baidu.com/view/c937a5a4284ac850ad0242f0.html][https_wenku.baidu.com_view_c937a5a4284ac850ad0242f0.html]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70]

## 导出csv格式数据 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 2]

## 导入csvg格式数据![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 3] ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 4]

# Navicat Premium #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 6]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 7]  
注意同步的时候 他是先删掉目标库的表，然后重建 再传输数据

[https_wenku.baidu.com_view_c937a5a4284ac850ad0242f0.html]: https://wenku.baidu.com/view/c937a5a4284ac850ad0242f0.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70]: /images/20220203/b9559753ee414686885c7d216de90deb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 1]: /images/20220203/5d496eb9deeb4cf8953551c9e327b42a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 2]: /images/20220203/44b21ba273b5488093f33628712a58c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 3]: /images/20220203/272f3d798b064019bfb2e570a03dd954.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 4]: /images/20220203/31c4df7fc2bb43f693338c031f61b4ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 5]: /images/20220203/7eae82fb79984ed8b6a6503d5b87c942.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 6]: /images/20220203/18052325ca294abfbc15e08653308d75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3VvdGFpbA_size_16_color_FFFFFF_t_70 7]: /images/20220203/a30d6c828f784491836affd1af70bac3.png