Flink SQL 1.13新特性介绍

￡神魔★判官ぃ 2022-10-09 02:48 613阅读 0赞

自从Flink 社区更新Flink1.13版本之后，博主作为一名Flink开发人员，对Flink SQL 1.13进行了探索，接下来将以四个部分对新增的内容进行展开介绍。

![20210623102313168.png][]

在整个Flink 1.13版本下，来自全球各地的开发人员共解决ISSUES 1000+，提交PR 200+，针对Flink Table/ SQL模块，解决ISSUES 400+ 。

![图片][1eb5beaeafa45bf8fc6aab1f651e3da3.png]

其中Flink Table / SQL 新增的功能模块主要分为以下5大模块

![图片][7d58673fade9ded0fd424519b2912a3a.png]

![20210623102405311.png][]

Window TVF 包含四部分内容：

*          Window TVF 语法
 *          近实时累计计算
 *          Window 性能优化
 *          多维数据分析

**（1） Window TVF 语法**

*  1.13前，是一个特殊的GroupWindowFunction；
 *  1.13 用Table-Valued Function 进行了语法标准化；

![图片][3e7333413c3ea6dc2b483287c95849f0.png]

*  完整的关系代数表达
 *  输入是一个关系，输出也是一个关系
 *  每个关系对应一个数据集

![图片][d8a4e4702319abeea86dafa4020faf31.png]

*  支持TUMBLE，HOP WINDOW
 *  SESSION WINDOW 预计1.14支持
 *  新增CUMULATE WINDOW

![图片][c5e3e016ad24c0ccd5e8ca171e41eb98.png]

**（2） 近实时累计计算**

案例： 每10分钟统计一次当天的累计用户UV

![图片][b69579c2c63e924b04f7d75a76e5df61.png]

*  结果更精准
 *  追数据时，曲线不会跳变

![20210623101707497.gif][]![图片][69522bf6a0ded5ea0e0096526c4c741f.png]

![图片][a3e955d3d3e175456d8428b15dd9b7ff.png]

![图片][263e14e623bfea7504702528017c3a4b.png]

**（3） Window 性能优化**

**内存优化：**通过内存预分配  ，缓存Window的数据，通过Window WaterMark触发计算。

**切片优化：**将Window切片，尽可能复用已计算结果，如hop window，cumulate window。

**算子优化：**window支持local-global 优化，同时支持 count(distinct)自动解热点优化。

**迟到数据****：**支持迟到数据计算到后续分片，保证数据准确性。

*  开源 Benchmark （Nexmark）测试，普适性能有2X提升
 *  在 count（distinct）场景会有更好的性能提升

![图片][a9a7aa790e1d67f00dda305abd8ec9df.png]

**（4） 多维数据分析**

*  GROUPING SETS
 *  ROLLUP
 *  CUBE

![图片][2bb95b3160882322dde6c88715157e7a.png]

*  支持Window Top-N

![图片][743f1d2796e31d8d1c8d6c9aaa639a05.png]

**2、FLIP-162: 时区和时间函数**

时区和时间函数包含四部分内容：

*          时区问题分析
 *          时间函数纠正
 *          时间类型使用
 *          夏令时支持

**（1） 时区问题分析**

1、处理时间窗口刚好晚8个小时

2、BIGINT转TIMESTAMP是否隐含时区信息

3、watermark + 8h 问题

4、SQL 时区问题

5、 CURRENT\_DATE函数问题

6、CURRENT\_DATE,CURRENT\_TIMESTAMP 时区问题

7、long 转 timestamp 怎么做

8、Hive分区提交的时区差问题

9、PROCTIME()函数语义问题

10、毫秒值如何声明成时间类型

**时区问题原因：**

*          PROCTIME()应该考虑时区，但未考虑时区
 *          CURRENT\_TIMESTAMP/CURRENT\_TIME/CURRENT\_DATE/NOW()未考虑时区
 *          TIMESTAMP类型不考虑时区，但用户希望是本地时区的时间

![图片][8834f7b0eaa74ea19097faa417bbc1a1.png]

**支持TIMESTAMP\_LTZ类型**

![图片][6dee1ebc26d128d07cbe3b210c9dcbe3.png]

**TIMESTAMP  VS  TIMESTAMP\_LTZ**

![图片][11b724bcff7725f7b50a8a7b284a3aef.png]

**（2） 时间函数纠正**

**订正 PROCTIME() 函数**

![图片][e77ea356a6752253d824bcf3ab2ed367.png]

**订正 CURRENT\_TIMESTAMP / CURRENT\_TIME / CURRENT\_DATE / NOW() 函数**

![图片][e7e9a90179423513c534d12b8443a61a.png]

**解决 processing time window 时区问题**

![图片][16b6cdd26084c2827e307ed637138980.png]

![图片][3651d953b350f3c65fdb9d9b779651b7.png]

**订正 Streaming 和 Batch 模式下函数取值方式**

Streaming 模式 per-record 计算，Batch 模式在 query-start 计算：

Stream 模式 Batch 模式都是per-record 计算:

*   *  LOCALTIME
     *  LOCALTIMESTAMP
     *  CURRENT\_DATE
     *  CURRENT\_TIME
     *  CURRENT\_TIMESTAMP
     *  NOW()
    
     *  CURRENT\_ROW\_TIMESTAMP()
     *  PROCIME()

**（3） 时间类型使用**

**Event time 定义在 TIMESTAMP 列上**

*  ** **适用于源数据包含字符串的时间（如：2021-04-15 14:00:00）场景

![图片][533af5972f9b770627b37665cbe76c3d.png]

![图片][519e28a83cdcbb7bf6001311cefbe013.png]

**Event time 定义在 TIMESTAMP\_LTZ 列上**

*  ** **适用于源数据包含long值的时间（如：1621649473000）场景，以及夏令时时区用户

![图片][b46c2eba4cbf93782a643810d56f4e21.png]

![图片][7f7f6f475e99200d860fe898d911b7bf.png]

**（4） 夏令时支持**

Flink 支持在TIMESTAMP\_LTZ列上定义时间属性，Flink SQL 在window处理时结合TIMESTAMP和 TIMESTAMP\_LTZ, 优雅地支持了夏令时。

![图片][5df82804f9ff0dfd919cb74589826ce5.png]

在洛杉矶时区，\[2021-03-14 00:00,2021-03-14 00:04\]窗口会收集 **3** 个小时的数据

在非夏令时区，\[2021-03-14 00:00,2021-03-14 00:04\]窗口会收集 **4** 个小时的数据

![20210623102703762.png][]

**支持常用的 Hive DML，DQL语法**

*   *  SORT/CLUSTER/DISTRIBUTE BY
     *  Group By
     *  Join
     *  Union
     *  LATERAL VIEW
     *  Window Functions
     *  SubQueries
     *  CTE
     *  INSERT INTO dest schema
     *  Implicit type convesions

**支持常用的 Hive DML，DQL语法**

*  Hive dialect 需要配合HiveCatalog 和 Hive Module 一起使用
 *  Hive Module 提供了Hive 所有内置函数，加载后可以直接访问

![图片][914649642b3466c7889156432d8063c7.png]

**Hive dialect 支持创建/删除 Catalog函数**

![图片][2bddc33c385ee79492e88a728d3d1851.png]

**4、FLIP-163: 改进 SQL Client**

**SQL Client 支持指定文件初始化**

*  ![图片][9c31d09fa6eda7ff7556235ec7c994e7.png]
 *          Deprecate YAML 文件，不推荐使用 YAML文件初始化

**SQL Client 支持指定文件初始化**

![图片][3875c0be42c1e67937531e92dfb82bbe.png]

**SQL Client 支持STATEMENT SET**

![图片][a5c9cf63ebb2bc1826426fdf6463adfd.png]

**5、FLIP-136: 增强DataStream 和 Table 的转换**

*    支持DataStream 和Table 转换时传递 event Time 和 watermark

![图片][a93f5b575efd796c6fb7b6bea0922c44.png]

*  支持Changelog 数据流在Table 和 DataStream 间互相转换

![图片][eea16422218c608bfbd5ea87be44e5ca.png]

![20210623102838411.png][]

**Flink 1.13 版本包含：**

*    支持Window TVF
 *    时区和时间函数
 *    提升Hive兼容性
 *    改进SQL Client
 *    增强DataStream转换

**Flink 1.14 版本计划：**

*  删除Legacy Planner
 *  完善Window TVF
 *  提升 Schema Handling
 *  增强 Flink CDC

![20210623102920194.png][]

找各类大数据技术文章，就来微信公众号

<**3分钟秒懂大数据**>

随时更新互联网大数据组件内容

专为学习者提供技术博文

快和身边的小伙伴一起关注我们吧！

作者简介：在IT中穿梭旅行，秋招7offer,CSDN博客：https://blog.csdn.net/weixin\_38201936

![图片][7879bd17e5c4cae2fc9d2dfbfc28bb88.png]

[20210623102313168.png]: /images/20221005/7bb0702962be4e99930e77a991ad375e.png
[1eb5beaeafa45bf8fc6aab1f651e3da3.png]: /images/20221005/a5de6dd926e248ec8b5c2f63c9e6e257.png
[7d58673fade9ded0fd424519b2912a3a.png]: /images/20221005/87dcaad6fcc14085921b3dee0be05f4c.png
[20210623102405311.png]: /images/20221005/1868a877a9794fbf8586fb135142545a.png
[3e7333413c3ea6dc2b483287c95849f0.png]: /images/20221005/b75ffba970894f4397535ae58da9a187.png
[d8a4e4702319abeea86dafa4020faf31.png]: /images/20221005/803823da841b4636a86254d659a1954f.png
[c5e3e016ad24c0ccd5e8ca171e41eb98.png]: /images/20221005/51b8014d38c54804b01c98e4577bdf12.png
[b69579c2c63e924b04f7d75a76e5df61.png]: /images/20221005/06122e16339b4f2ba0fba0b2850075bd.png
[20210623101707497.gif]: https://img-blog.csdnimg.cn/20210623101707497.gif
[69522bf6a0ded5ea0e0096526c4c741f.png]: https://img-blog.csdnimg.cn/img_convert/69522bf6a0ded5ea0e0096526c4c741f.png
[a3e955d3d3e175456d8428b15dd9b7ff.png]: /images/20221005/c0021e2ee2a64034bf4bdbb9cd1429dd.png
[263e14e623bfea7504702528017c3a4b.png]: /images/20221005/4630bc002a5d496ab4570ba930a1262e.png
[a9a7aa790e1d67f00dda305abd8ec9df.png]: /images/20221005/413241d5ed724592886cd3310f5f070f.png
[2bb95b3160882322dde6c88715157e7a.png]: /images/20221005/8ded9f3a344d4845ae40ef66f41821b5.png
[743f1d2796e31d8d1c8d6c9aaa639a05.png]: /images/20221005/cdec79bca78442cd9d440db2acfda6f8.png
[8834f7b0eaa74ea19097faa417bbc1a1.png]: /images/20221005/1bb1ccc21d9b400c840053f81ea98e3c.png
[6dee1ebc26d128d07cbe3b210c9dcbe3.png]: /images/20221005/253665eaa7294f788d5ffb60c721c7a1.png
[11b724bcff7725f7b50a8a7b284a3aef.png]: /images/20221005/9b38928ca7a7402195f5489835507073.png
[e77ea356a6752253d824bcf3ab2ed367.png]: /images/20221005/37406ea008754a9e90bcb245d5af74a1.png
[e7e9a90179423513c534d12b8443a61a.png]: /images/20221005/643b870d568845349ba3566deacbc207.png
[16b6cdd26084c2827e307ed637138980.png]: /images/20221005/6e893110502a45b8b72824ec187dfdda.png
[3651d953b350f3c65fdb9d9b779651b7.png]: /images/20221005/a75edaa88c0a4cf683c0e01883771684.png
[533af5972f9b770627b37665cbe76c3d.png]: /images/20221005/eff1d172555643318742a2262036e06c.png
[519e28a83cdcbb7bf6001311cefbe013.png]: /images/20221005/0ae76f92fbaa42deb5c14e9d926972af.png
[b46c2eba4cbf93782a643810d56f4e21.png]: /images/20221005/5816a2dad67a41c6be41853984eb763c.png
[7f7f6f475e99200d860fe898d911b7bf.png]: /images/20221005/818fdf79e9bb4c66af8558a1480e76c0.png
[5df82804f9ff0dfd919cb74589826ce5.png]: /images/20221005/8958cefe73794d5591d0eb7d0b19b830.png
[20210623102703762.png]: /images/20221005/f1e79258c69b42e2b5d130e71524520d.png
[914649642b3466c7889156432d8063c7.png]: /images/20221005/2264e71dd89248afac0aaca3486ef360.png
[2bddc33c385ee79492e88a728d3d1851.png]: /images/20221005/237de3e3458f4467b81fc05d4570ca13.png
[9c31d09fa6eda7ff7556235ec7c994e7.png]: /images/20221005/cc2883dd8dc74290923586eda771d286.png
[3875c0be42c1e67937531e92dfb82bbe.png]: /images/20221005/75f6ff2694df43c488d44f96d980d572.png
[a5c9cf63ebb2bc1826426fdf6463adfd.png]: /images/20221005/b1e7c3c451cc4651bb81c3a033731b16.png
[a93f5b575efd796c6fb7b6bea0922c44.png]: /images/20221005/3a73bb4e234f4b53b152a35223dc1fd1.png
[eea16422218c608bfbd5ea87be44e5ca.png]: /images/20221005/166b6b2337514f63bc0d5497d0447e3a.png
[20210623102838411.png]: /images/20221005/b31ce281b6154df081eb71ce0e460f33.png
[20210623102920194.png]: /images/20221005/56f444e0e8094826bb66cfef8ca9d31e.png
[7879bd17e5c4cae2fc9d2dfbfc28bb88.png]: /images/20221005/c8e3dc7364834f7ca6437828c48addef.png