oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论

你的名字 2023-01-18 09:04 183阅读 0赞

咨询各位高人.

目前状况是 我单位每天都要产生 一个单品资料的基础表,

是所有单品,大约5万条数据

,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉

了.这个表每天都是通过unix上系统上下载下来.

这个表是个基础表,每天所有的交易,都是在这个表基础上的.

我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.

我想问,能不能做到这样:

每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的

对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.

如果用vb写程序是可以做到,但是确实太麻烦了.

oracle数据库有没有这种etl的功能或者方法?

merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?

如果将来,要查询历史销售的时候,需要历史的单品资料做关联.

请问有没有好的解决办法呢?

请达人教导一下.或者大家有什么想法可以讨论下.

oracle里的表和基表比较，有更新的就插入另一个新表做备份，没有的就从基表中删除，然后在再MERGE。

这样有点问题：每天备份的数据都在一个表里还是每天新创建一个表？要是都在一个表里会不会出现主键重复而备份不了？

我感觉materialized view可以。不知道你用过没有？

目前有几种思路:

1.用2楼的思路,先比较,然后把删除了的数据备份到其他表,然后,再把每天的基本表和前天的基本表对照,然后merge into...我也有点倾向这么做,但是问题是,9i不支持merge into 的删除,只有10g才支持.-\_\_-||

2.materialized view .但是没有实际做过,而且以前都是看的英文文档,有点痛苦.准备重新去看下再设计.

3.如5楼说的触发器..但是,现在情况是,前一天基本表和当天的基本表的对照,触发器不好解决吧?

比如.a 表已经存在oralce了,今天产生了一个a1表,来源是unix主机的文本.a1表中有95%和a表一样.实际都是基本表,只是日期不同.5楼兄弟有什么好的触发器机制吗?

4.timestamp的机制.(我感觉反而有点麻烦)

5.oracle cdc包来抽取(更麻烦)

我先看看先实现1和2方法吧.

大家有好的想法,具体情况,都可以拿出来讨论下...毕竟是生产中的实际例子,比看书强啊\[@more@\]

咨询各位高人.

目前状况是 我单位每天都要产生 一个单品资料的基础表,

是所有单品,大约5万条数据

,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉

了.这个表每天都是通过unix上系统上下载下来.

这个表是个基础表,每天所有的交易,都是在这个表基础上的.

我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.

我想问,能不能做到这样:

每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的

对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.

如果用vb写程序是可以做到,但是确实太麻烦了.

oracle数据库有没有这种etl的功能或者方法?

merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?

如果将来,要查询历史销售的时候,需要历史的单品资料做关联.

请问有没有好的解决办法呢?

请达人教导一下.或者大家有什么想法可以讨论下.

oracle里的表和基表比较，有更新的就插入另一个新表做备份，没有的就从基表中删除，然后在再MERGE。

这样有点问题：每天备份的数据都在一个表里还是每天新创建一个表？要是都在一个表里会不会出现主键重复而备份不了？

我感觉materialized view可以。不知道你用过没有？

目前有几种思路:

1.用2楼的思路,先比较,然后把删除了的数据备份到其他表,然后,再把每天的基本表和前天的基本表对照,然后merge into...我也有点倾向这么做,但是问题是,9i不支持merge into 的删除,只有10g才支持.-\_\_-||

2.materialized view .但是没有实际做过,而且以前都是看的英文文档,有点痛苦.准备重新去看下再设计.

3.如5楼说的触发器..但是,现在情况是,前一天基本表和当天的基本表的对照,触发器不好解决吧?

比如.a 表已经存在oralce了,今天产生了一个a1表,来源是unix主机的文本.a1表中有95%和a表一样.实际都是基本表,只是日期不同.5楼兄弟有什么好的触发器机制吗?

4.timestamp的机制.(我感觉反而有点麻烦)

5.oracle cdc包来抽取(更麻烦)

我先看看先实现1和2方法吧.

大家有好的想法,具体情况,都可以拿出来讨论下...毕竟是生产中的实际例子,比看书强啊

发表评论取消回复

表情：

评论列表（有 0 条评论，183人围观）

还没有评论，来说两句吧...

相关阅读

相关 oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论

咨询各位高人. 目前状况是我单位每天都要产生一个单品资料的基础表, 是所有单品,大约5万条数据 ,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉了.

你的名字/ 2023年01月18日 09:04/ 0 赞/ 184 阅读

相关查看oracle数据增量_查看oracle数据库job及会话信息

查看所有job select from dba\_jobs; 查看正在运行的job select from dba\_jobs\_running; select

电玩女神/ 2022年10月25日 14:10/ 0 赞/ 76 阅读

相关 Oracle RMAN 增量备份

在rman增量备份中，有差异增量和累积增量的概念 1、概念差异增量：是备份上级及同级备份以来所有变化的数据块，差异增量是默认增量备份方式累积增量：是

小咪咪/ 2022年09月18日 00:55/ 0 赞/ 221 阅读

相关 oracle按每天,每周,每月,每季度,每年查询统计数据

//按天统计 select count(dataid) as 每天操作数量, sum() from tablename

青旅半醒/ 2022年08月13日 10:29/ 0 赞/ 220 阅读

相关 Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入

Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表需求将Oracle中的业务基础表增量数

女爷i/ 2022年08月05日 07:29/ 0 赞/ 127 阅读

相关 PostgreSQL 如何潇洒的处理每天上百TB的数据增量

摘要：本文主要介绍并测试一下PostgreSQL 在中高端x86服务器上的数据插入速度，帮助企业用户了解PostgreSQL在这种纯插入场景的性能。（例如运营商网关数据，金

墨蓝/ 2022年07月16日 14:07/ 0 赞/ 156 阅读

相关 postgres数据库表数据增量统计

1.用于保存统计数据总量的表 CREATE TABLE IF NOT EXISTS recording_size_table( id serial,

秒速五厘米/ 2022年01月15日 03:43/ 0 赞/ 693 阅读

相关 Oracle RMAN 备份（五）--增量备份

九．增量备份通过增量备份，RMAN 允许用户只备份上次增量备份以来被修改过的数据块。增量备份具有以下有点：（1）更少的使用磁盘或磁带（2）降低网络宽带要求（

你的名字/ 2022年01月11日 16:13/ 0 赞/ 1237 阅读

相关 oracle 按每天,每周,每月,每季度,每年查询统计数据

oracle 按每天,每周,每月,每季度,每年查询统计数据 //按天统计 select trunc(createtime, 'DD'),count(dataid) as 每

我就是我/ 2021年11月10日 09:16/ 0 赞/ 382 阅读

相关增量数据捕获cdc

![1503319-20190728194900859-154525298.png][] cdc change data capture ![1503319-20190

本是古典何须时尚/ 2021年10月12日 22:32/ 0 赞/ 300 阅读