Hive全量表和增量表互相转换

女爷i 2021-09-21 12:56 972阅读 0赞

一、增量表变全量表

昨天和前天的full join  t1---昨天   t2--前天

INSERT OVERWRITE TABLE table_df PARTITION(ds = '${bizdate}')
    select 
    IF(t1.id IS NULL, t2.id, t1.id) AS id,
    IF(t1.name IS NULL, t2.name, t1.name) AS id
    from (select id,name from s_table where ds='${bizdate}') t1
    FULL OUTER JOIN
    (select id,name from table_di where ds = '${yyyymmdd-1}') t2
    on t1.id=t2.id;

二。全量表改增量表

昨天和前天的数据之差

@day_2_table := 
        select 
            md5(concat(
                coalesce(name,0),
                coalesce(age,0)
            )) as compare
            ,row_pk 
        from table_df n
        where ds='${yyyymmdd-1}'
    ;
    @day_1_table :=
    select 
            md5(concat(
                coalesce(name,0),
                coalesce(age,0)
            )) as compare
            ,row_pk 
        from table_df n
        where ds='${bizdate}'
    ;
    
    INSERT OVERWRITE TABLE table_di PARTITION(ds = '${bizdate}')
    select row_pk,
           name,
           age
    from table_df
    where ds='${bizdate}'
    and row_pk in 
    (
        select t1.row_pk
        from 
        @day_1_table t1
        left outer join
        @day_2_table t2
        on t1.row_pk=t2.row_pk
        where t2.row_pk is null or t1.compare<>t2.compare
    )
    ;

发表评论取消回复

表情：

评论列表（有 0 条评论，972人围观）

还没有评论，来说两句吧...

相关阅读

相关 ETL - 全量与增量

之前的ETL介绍中我们介绍了数据抽取，包括了全量数据抽取和增量数据抽取。今天给大家做一下**增量**和**全量**的差异介绍。全量增量用于数据采集的**差异...

冷不防/ 2024年04月18日 19:23/ 0 赞/ 60 阅读

相关 mysql全量和增量备份脚本

全量： <table style="padding:0px; margin:0px auto 10px; font-size:12px; border-collapse:co

╰+哭是因爲堅強的太久メ/ 2023年10月17日 15:27/ 0 赞/ 144 阅读

相关 Hive 数据库设计中的拉链表、增量表、全量表

hive 数据库设计中的拉链表、增量表、全量表\_侯风飞的博客 - CSDN 博客\_增量表 1) 存量、流量、增量（1）存量：系统在某一时点时的所保有

╰+攻爆jí腚メ/ 2023年02月25日 15:22/ 0 赞/ 3 阅读

相关 Hive内部表和外部表

Hive表分为两类，即内部表和外部表。内部表（managed table）所谓内部表（managed table）即Hive管理的表，Hive内部表的管理既包含逻辑以及

﹏ヽ暗。殇╰゛Y/ 2023年01月08日 08:16/ 0 赞/ 205 阅读

相关 DataX | MySQL多表全量同步和多表定时增量同步

简介 > 本文主要讲解DataX的全量和增量同步实现方式，有具体代码可参考。增量同步时，将日志按天写入日志文件中增量同步和全量同步是数据库同步的两种方式。全量同步

我不是女神ヾ/ 2022年12月18日 04:59/ 0 赞/ 1658 阅读

相关 Mysql 增量备份和全量备份

在日常运维工作中，对mysql数据库的备份是万分重要的，以防在数据库表丢失或损坏情况出现，可以及时恢复数据。线上数据库备份场景：每周日执行一次全量备份

我会带着你远行/ 2022年07月11日 05:37/ 0 赞/ 232 阅读

相关 hive数据库设计中的拉链表、增量表、全量表

1) 存量、流量、增量（1）存量：系统在某一时点时的所保有的数量；（2）流量：是指在某一段时间内流入/出系统的数量（3）增量：则是指在某一段时间内系

超、凢脫俗/ 2022年05月29日 07:29/ 0 赞/ 275 阅读

相关 Hive全量表和增量表互相转换

一、增量表变全量表昨天和前天的full join t1---昨天 t2--前天 INSERT OVERWRITE TABLE table_df PARTIT

女爷i/ 2021年09月21日 12:56/ 0 赞/ 973 阅读

相关 Hive 内部表和外部表

参考： [https://blog.csdn.net/weixin\_43291055/article/details/106625018][https_blog.csdn.

客官°小女子只卖身不卖艺/ 2021年09月21日 07:56/ 0 赞/ 386 阅读

相关 Hive 全量表、增量表、拉链表解析

1.全量表（1）全量表，有无变化，都要报（2）每次上报的数据都是所有的数据（变化的 + 没有变化的) (3) 每天抽取第一次: <table style

ゝ一世哀愁。/ 2021年09月21日 07:40/ 0 赞/ 667 阅读