sql loader导出数据和导入数据(sqlldr)

不念不忘少年蓝@ 2022-05-16 22:29 311阅读 0赞

一般我我们对表进行数据迁移的时候会用以下几种方法：  
  
1. A表记录利用toad或者pl/sql工具将其导出为一条条分号隔开的insert语句，然后再执行插入到B表中  
2.建立数据库间的dblink，然后使用 create table B as select \* from A@dblink where...,或者insert into B select \* from A@dblink where...  
3.exp/expdp A表，再imp/impdp到B表  
那么除了上面的三种常用的方法，还有其他比较好的方法进行数据迁移吗，下面介绍oracle自带的Sql Loader(sqlldr)的用法。  
在命令下执行oracle 的sqlldr命令，我们可以看到详细的参数说明：

userid -- ORACLE 用户名/口令          
       control -- 控制文件名                  
           log -- 记录导入时的日志文件，默认为 控制文件(去除扩展名).log                      
           bad -- 坏数据文件，默认为 控制文件(去除扩展名).bad                     
          data --  数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作                    
       discard -- 废弃文件名  
    discardmax -- 允许废弃的文件的数目         (全部默认)  
          skip -- 要跳过的逻辑记录的数目  (默认 0)  
          load -- 要加载的逻辑记录的数目  (全部默认)  
        errors -- 允许的错误记录数，可以用他来控制一条记录都不能错        (默认 50)  
          rows -- 常规路径绑定数组中或直接路径保存数据间的行数  
                   (默认: 常规路径 64, 所有直接路径)  
      bindsize -- 常规路径绑定数组的大小 (以字节计)  (默认 256000)  
        silent -- 运行过程中隐藏消息 (标题,反馈,错误,废弃,分区)  
        direct -- 使用直接路径                     (默认 FALSE)  
       parfile -- 参数文件: 包含参数说明的文件的名称  
      parallel -- 执行并行加载                    (默认 FALSE)  
          file -- 要从以下对象中分配区的文件       
    skip_unusable_indexes -- 不允许/允许使用无用的索引或索引分区  (默认 FALSE)  
    skip_index_maintenance -- 没有维护索引, 将受到影响的索引标记为无用  (默认 FALSE)  
    commit_discontinued -- 提交加载中断时已加载的行  (默认 FALSE)  
      readsize -- 读取缓冲区的大小               (默认 1048576)  
    external_table -- 使用外部表进行加载; NOT_USED, GENERATE_ONLY, EXECUTE  (默认 NOT_USED)  
    columnarrayrows -- 直接路径列数组的行数  (默认 5000)  
    streamsize -- 直接路径流缓冲区的大小 (以字节计)  (默认 256000)  
    multithreading -- 在直接路径中使用多线程  
     resumable -- 启用或禁用当前的可恢复会话  (默认 FALSE)  
    resumable_name -- 有助于标识可恢复语句的文本字符串  
    resumable_timeout -- RESUMABLE 的等待时间 (以秒计)  (默认 7200)  
    date_cache -- 日期转换高速缓存的大小 (以条目计)  (默认 1000)  
    no_index_errors -- 出现任何索引错误时中止加载  (默认 FALSE)

用例子来演示 sqlldr 的使用，有两种使用方法：  
  
  
第一种方式: 使用一个控制文件(作为模板) 和一个数据文件  
  
一般为了利于模板和数据的分离，以及程序的不同分工会使用该种方式。数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/SQL Developer 或者 Toad 导出，也可以用 SQL \*Plus 的  spool 格式化产出，或是 UTL\_FILE 包生成。另外，用 Toad 还能直接生成包含数据的控制文件。  
  
首先我们创建一个测试表，并插入几条测试数据

create table users(
       userid int,
       username varchar2(50),
       logintimes int,
       last_login  date
    )
    insert into users values(1,'shiyu',3,to_date('2018-06-15','YYYY-MM-DD'));  
    insert into users values(2,'yu',5,to_date('2018-07-15','YYYY-MM-DD'));  
    insert into users values(3,'shi ',8,to_date('2018-01-02','YYYY-MM-DD'));  
    insert into users values(4,'yushi',NULL,NULL);  
    insert into users values(5,'yuhuashi ',1,to_date('2017-12-23','YYYY-MM-DD'));

1) 建立数据文件，我们这里用 PL/SQL Developer 导出表 users 的记录为 users\_data.csv 文件，内容如下：  
  
"   ","USERID","USERNAME","LOGINTIMES","LAST\_LOGIN"  
"1","1","shiyu","3","2018-06-15"  
"2","2","yu","5","2018-07-15"  
"3","3","shi ","8","2018-01-02"  
"4","4","yushi","",""  
"5","5","yuhuashi ","1","2017-12-23"  
  
  
2) 建立一个控制文件 users.ctl，内容如下：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1 用来跳过数据中的第一行 ,rows=128 代表每128行数--据提交一次
    LOAD DATA  
    INFILE "/home/oracle/script/users_data.csv" --指定外部数据文件，可以写多 个 INFILE "another_data_file.csv" 指定多个数据文件  
    --这里还可以使 用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件,  
    --truncate --操作类型，用 truncate table 来清除表中原有 记录  
    append INTO TABLE test_users -- 要插入记录的表，这里插入到另外一张表里  
    Fields terminated by "," -- 数据中每行记录用 "," 分隔  
    Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起，比如字段中有 "," 分隔符时  
    trailing nullcols --表的字段没有对应的值时允 许为空  
    (  
      virtual_column FILLER, --这是一个虚拟字段，用来跳 过由 PL/SQL Developer 生成的第一列序号  
      userid,  
      username,  
      logintimes,  
      last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式，相当用 to_date() 函数转换  
    )

说 明：在操作类型 truncate 位置可用以下中的一值：  
  
1) insert     --为缺省方式，在数据装载开始时要求表为空  
2) append  --在表中追加新记录  
3) replace  --删除旧记录(用 delete from table 语句)，替换成新装载的记录  
4) truncate --删除旧记录(用 truncate table 语句)，替换成新装载的记录  
  
3) 执行命令：  
具体执行结果如下:

[oracle@foidndb script]$ sqlldr dairy/oracle control=users.ctl 
    SQL*Loader: Release 11.2.0.4.0 - Production on Thu Aug 2 16:21:58 2018
    Copyright (c) 1982, 2011, Oracle and/or its affiliates.  All rights reserved.
    Commit point reached - logical record count 5

执行完 sqlldr 后希望能留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件，从中可让你更好的理解 Sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。  
  
  
第二种方式:只使用一个控制文件，在这个控制文件中包含数据  
  
1) 把 users\_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把 INFILE "users\_data.csv" 改为 INFILE \*。同时为了更大化的说明问题，把数据处理了一下。此时，完整的 users.ctl 文件内容是：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1 用来跳过数据中的第一行  
    LOAD DATA  
    INFILE *  -- 因为数据同控制文件在一 起，所以用 * 表示  
    append    -- 这里用 了 append 来操作，在表 users 中附加记录   
    INTO TABLE test_users  
    when LOGINTIMES<>'8'  -- 还可以用 when 子 句选择导入符合条件的记录  
    Fields terminated by ","  
    trailing nullcols  
    (  
      virtual_column FILLER, --跳过 由 PL/SQL Developer 生成的第一列序号  
      userid , --这一列直接取序列的下一值，而不用数据中提供的值 "user_seq.nextval"
      username "'Hi '||upper(:username)",--,还能用SQL函数或运算对数据进行加工处理  
      logintimes terminated by ","  NULLIF (logintimes='NULL') --可为列单独指定分隔符  
      last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") --当字段为"NULL"时就是 NULL
    )  
    BEGINDATA --数据从这里开始  
        ,USERID,USERNAME,LOGINTIMES,LAST_LOGIN
        1,    1,    shiyu,    3,    2018/6/15
        2,    2,    yu,    5,    2018/7/15
        3,    3,    shi,     8,    2018/1/2
        4,    4,    yushi,  NULL, NULL        
        5,    5,    yuhuashi,     1,    2017/12/23

2) 执行和上面一样的命令即可  
  
  
最后说下有关 SQL \*Loader 的性能与并发操作  
  
1) ROWS 的默认值为 128，你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗？)  
  
2）常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的 性能。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。  
  
3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志。这个选项只能和 direct 一起使用。  
  
4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.

sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true   
      sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true   
      sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true

当加载大量数据时（大约超过10GB），最好抑制日志的产生：

SQL>ALTER   TABLE   XXX  nologging;

这样不产生REDO LOG，可以提高效率。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable，  此选项必须要与DIRECT共同应用。     
   
  在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到 1－10G 就算不错了，开始可用结构 相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费。