kettle spoon表对表采集

深碍√TFBOYSˉ_ 2023-06-13 09:45 71阅读 0赞

两个数据库有两个一样的表(字段一致),这时候可以采用表输入和表输出。这个方式对于数据量较小的表还是比较有优势的,但是遇到数据量较大的表采用这种方式有点危险哦。1万+的数据会花掉六分钟,对于要实时展示的页面,这简直是灾难,那么有没有好的解决方案呢?经过一番冥想,天佑我之。

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhdWdoaW5nc2lzdGVy_size_16_color_FFFFFF_t_70

以不变应万变是这个疑问的答案。

20191118144939210.png

保持原来的值不变,只更新当日数据,在这里只需,借助SQL脚本和插入更新。

脚本里查询出最新的数据。插入更新选择几个匹配的字段信息,类似where。然后选择需要更新的字段信息。

这个思路的转换,直接将速度由分钟级提升至秒级,给力给力。

注:思路奉上,有条件的时候补图。

发表评论

表情:
评论列表 (有 0 条评论,71人围观)

还没有评论,来说两句吧...

相关阅读

    相关 kettle spoon采集

    两个数据库有两个一样的表(字段一致),这时候可以采用表输入和表输出。这个方式对于数据量较小的表还是比较有优势的,但是遇到数据量较大的表采用这种方式有点危险哦。1万+的数据会花掉

    相关 Kettle spoon

    ETL 1. ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据 2.