mysql导入多个txt_Sqlserver使用BULK同时导入多个txt、csv文件

﹏ヽ暗。殇╰゛Y 2022-10-27 05:14 201阅读 0赞

BULK语句基础

BULK有很多参数，但是常用的只有几个，下面简单介绍一下

bulk insert \[DatabaseName\].\[dbo\].\[table\] from 'C:\\data.txt'

with(

FIRSTROW =1, --指定要加载的第一行的行号。默认值是指定数据文件中的第一行

CODEPAGE=''936'', --数据库中的编码类型

FIELDTERMINATOR='','', --分隔符

ROWTERMINATOR='/n' --换行符

)

代码行中的命名规则

下面代码均使用该命名规则！！！

\[DatabaseName\].\[dbo\].\[table\] 指的是某个数据库中的表的名字

C:\\ 指的是文件所在路径,例：C:\\Program Files\\ 指的是在C盘Program Files文件夹里的文件

data.txt 指的是所需导入文件的名称

FIRSTROW 属性

指定要加载的第一行的行号。默认值是指定数据文件中的第一行。FIRSTROW 从 1 开始。

注意：FIRSTROW 属性不可用于跳过列标题。 BULK INSERT 语句不支持 跳过标题。 跳过行时， SQL Server 数据库引擎只考虑字段终止符，而不会对所跳过行的字段中的数据进行验证。

CODEPAGE属性

是数据库的编码类型。若导入数据库的中文数据是乱码，往往与这个有关！！！

常用编码类型：

编码

编码含义

936

简体中文GBK

65001

UFT-8

FIELDTERMINATOR属性

标识分隔内容的符号。一般csv的分隔符是“，”，txt的话可能是空格或者其他符符号比如“ | ”。

ROWTERMINATOR属性

标识分隔行的符号 ，即换行符

常见换行符：

换行符

含义

常见显示

0x0D

指的是“回车”

\\r

0x0A

指的是“换行”

\\n

0x0D + 0x0A

回车换行

\\r\\n

char(13)

指的是“回车”

\\r

char(10)

指的是“换行”

\\n

BULK语法中全部参数如下：

BULK INSERT

\[ database\_name . \[ schema\_name \] . | schema\_name . \] \[ table\_name | view\_name \]

FROM 'data\_file'

\[ WITH

(

\[ \[ , \] BATCHSIZE = batch\_size \] --BATCHSIZE指令来设置在单个事务中可以插入到表中的记录的数量

\[ \[ , \] CHECK\_CONSTRAINTS \] --指定在大容量导入操作期间，必须检查所有对目标表或视图的约束。若没有 CHECK\_CONSTRAINTS 选项，则所有 CHECK 和 FOREIGN KEY 约束都将被忽略，并且在此操作之后表的约束将标记为不可信。

\[ \[ , \] CODEPAGE = \{ 'ACP' | 'OEM' | 'RAW' | 'code\_page' \} \] --指定该数据文件中数据的代码页

\[ \[ , \] DATAFILETYPE =

\{ 'char' | 'native'| 'widechar' | 'widenative' \} \] --指定 BULK INSERT 使用指定的数据文件类型值执行导入操作。

\[ \[ , \] FIELDTERMINATOR = 'field\_terminator' \] --标识分隔内容的符号

\[ \[ , \] FIRSTROW = first\_row \] --指定要加载的第一行的行号。默认值是指定数据文件中的第一行

\[ \[ , \] FIRE\_TRIGGERS \] --是否启动触发器

\[ \[ , \] FORMATFILE = 'format\_file\_path' \]

\[ \[ , \] KEEPIDENTITY \] --指定导入数据文件中的标识值用于标识列

\[ \[ , \] KEEPNULLS \] --指定在大容量导入操作期间空列应保留一个空值，而不插入用于列的任何默认值

\[ \[ , \] KILOBYTES\_PER\_BATCH = kilobytes\_per\_batch \]

\[ \[ , \] LASTROW = last\_row \] --指定要加载的最后一行的行号

\[ \[ , \] MAXERRORS = max\_errors \] --指定允许在数据中出现的最多语法错误数，超过该数量后将取消大容量导入操作。

\[ \[ , \] ORDER ( \{ column \[ ASC | DESC \] \} \[ ,...n \] ) \] --指定数据文件中的数据如何排序

\[ \[ , \] ROWS\_PER\_BATCH = rows\_per\_batch \]

\[ \[ , \] ROWTERMINATOR = 'row\_terminator' \] --标识分隔行的符号

\[ \[ , \] TABLOCK \] --指定为大容量导入操作持续时间获取一个表级锁

\[ \[ , \] ERRORFILE = 'file\_name' \] --指定用于收集格式有误且不能转换为 OLE DB 行集的行的文件。

)\]

ps.根本看不下去，具体使用方法点击下方的链接参考官方文档。

现在我们来看如何导入表

步骤1 创建表结构

通过BULK方式导入数据，首先需要数据库里有该表的空的表结构。

这时可以通过create table语句创建，也可以用Excel文件复制个表头，手动导入表结构。

比如说创建好表结构的空表为：\[dbo\].\[table\]

步骤2 执行代码

CSV

导入单个csv

DECLARE @bulk\_cmd nvarchar(1000)

SET @bulk\_cmd = 'BULK INSERT \[DatabaseName\].\[dbo\].\[table\] ' +

'FROM '+'''C:\\data.csv'''+'WITH (FIELDTERMINATOR = '','',CODEPAGE=''936'',FIRSTROW=1,ROWTERMINATOR = '''+char(10)+''')'

EXEC(@bulk\_cmd)

循环导入多个csv

循环导入的逻辑是把CSV文件的文件名改成 data(1).csv,data(2).csv…data(18).csv的形式，放入循环中，循环执行上面的单个csv文件导入的命令。

declare @n int,@filename varchar(255),@sql varchar(1000)

set @n=1

while @n<=18

begin

set @filename='data('+ltrim(rtrim(str(@n)))+').csv'

print @filename

set @sql='bulk insert \[DatabaseName\].\[dbo\].\[table\] from ''C:\\'+@filename+'''

with (FIRSTROW =1,CODEPAGE=''936'',FIELDTERMINATOR = '','',ROWTERMINATOR = '''+CHAR(10)+''')'

print @sql

exec(@sql)

set @n=@n+1

end

TXT

导入单个txt

truncate table \[dbo\].\[PINGZHENG201702\]

DECLARE @bulk\_cmd nvarchar(1000)

SET @bulk\_cmd = 'BULK INSERT \[DatabaseName\].\[dbo\].\[table\] ' +

'FROM '+'''C:\\文件名.txt'''+'WITH (FIELDTERMINATOR = '','',CODEPAGE=''936'',FIRSTROW=1,ROWTERMINATOR = '''+char(10)+''')'

EXEC(@bulk\_cmd)

循环导入多个txt

循环导入的逻辑是把TXT文件的文件名改成 data(1).txt,data(2).txt…data(18).txt的形式，放入循环中，循环执行上面的单个txt文件导入的命令。

declare @n int,@filename varchar(255),@sql varchar(1000)

set @n=10

while @n<=12

begin

set @filename='data('+ltrim(rtrim(str(@n)))+').txt'

print @filename

set @sql='bulk insert \[DatabaseName\].\[dbo\].\[table\] from ''C:\\'+@filename+'''

with (FIRSTROW =1,CODEPAGE=''936'',FIELDTERMINATOR = ''|'',ROWTERMINATOR=''0x0A'')'

print @sql

exec(@sql)

set @n=@n+1

end

升级版已经发布，可以在不改文件名的前提下，直接导入文件夹内所有文件 详情请点击

勇者无惧，强者无敌

mysql导入多个txt_Sqlserver使用BULK同时导入多个txt、csv文件

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 vue导入excel文件，vue导入多个sheets

相关＜context:property-placeholderlocation＞标签导入多个文件

相关 laravel导入excel中多个sheet

相关 php同时处理多个用户信息,多个用户使用PHP同时写入同一文件

相关 bulk 批量导入

相关 mysql导入多个txt_Sqlserver使用BULK同时导入多个txt、csv文件

相关 shell导入mysql数据库,从shell导入多个.sql转储文件到mysql数据库

相关同时使用多个UITableView

相关 IDEA 自动导入导入多个类快捷键

相关 python使用Notepad++同时打开多个文件