flink left join 数据测试

怼烎@ 2022-10-24 01:45 172阅读 0赞

1、建两张表

CREATE TABLE `test1` (
      `id` int(11) DEFAULT NULL
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    
    
    CREATE TABLE `test2` (
      `id` int(11) DEFAULT NULL
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

2、插入数据

-- test1 插入数据
    INSERT INTO `test1`(`id`) VALUES (1);
    
    
    -- test2 插入数据
    INSERT INTO `test2`(`id`) VALUES (1),(1);

3、执行left join 测试

select 
    test1.id,
    test2.id  as id2 
    from test1   left join test2 on  test1.id = test2.id;

4、结果查询

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70 1][]

5、为两条的原因，主要是进行笛卡尔积相乘，如果关联不到则为null ，如果能关联到，则是各条表的 m\*n条记录

6、flink的测试结果也是一样

==============

flink 的维表 cache='all'的情况下，如果一条数据在维表没有cache上，则会走db查询一下，结果可能放到cache，具体看下代码。

消费kafka的数据，如果精准一次，尽量使用groupoffsets的方式来保证一致性

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70 2][]

维表join数据，一定要设置 as proctime() 属性，而流join不需要，同时维表join join 要写上

LEFT JOIN trade\_test\_table\_dim FOR SYSTEM\_TIME AS OF PROCTIME () as b on a.\`order\_no\` = b.\`order\_no\`;

。

CREATE TABLE pay_log_stream (
    
    --必须和Kafka源表中的5个字段的顺序保持一致。
    
    messageKey VARBINARY,
    
    `message` VARBINARY,
    
    `topic` VARCHAR,
    
    `partition` INT,
    
    `offset` BIGINT,
    
    process_time AS PROCTIME ()
    
    ) WITH (
    
    `type` = 'kafka011',
    
    `topic` = 'pay_log_test',
    
    `group.id` = 'test',
    
    `bootstrap.servers` = 'xx:9092',
    
    `startupMode` = 'TIMESTAMP'
    
    );

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70]: /images/20221024/7b1944a86a8a4357984c8cfa0d12c355.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70 1]: /images/20221024/ca1067e41ba0445c9fcaa6944d03a44e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dwcHdwcDE_size_16_color_FFFFFF_t_70 2]: /images/20221024/bbc88034e6bc4957bab25a92f2a400ec.png