Flink on Zeppelin 流计算处理最佳实践

港控/mmm° 2022-09-01 14:50 192阅读 0赞

**简介：** 欢迎钉钉扫描文章底部二维码进入 EMR Studio 用户交流群 直接和讲师交流讨论~ 点击以下链接直接观看直播回放：https://developer.aliyun.com/live/247106

## 开源大数据社区 & 阿里云 EMR 系列直播 第十二期 ##

**主题：**Flink on Zeppelin 流计算处理最佳实践

**讲师：**简锋，阿里云 EMR 数据开发平台 负责人

**内容框架：**

*  大数据概览
 *  Flink 学习框架
 *  EMR Studio 上的流计算最佳实践
 *  演示

**直播回放：**扫描文章底部二维码加入钉群观看回放，或进入链接[https://developer.aliyun.com/live/247106][https_developer.aliyun.com_live_247106]

## 一、大数据概览 ##

*  大数据处理 ETL (Data  → Data)
 *  大数据分析 BI   (Data  →  Dashboard)
 *  机器学习    AI   (Data  →  Model)

![image.png][]

## 二、Flink 学习框架 ##

### Flink 要点 ###

*  Stateful
 *  Time
 *  Flink Architecture
 *  Flink API
 *  Flink Configuration
 *  Flink Log

Stateful:

*  **Why**

• 流计算的及时性

• 流计算的 unbounded

*  **When**

• Window

• Join

• Pattern

*  **How**

• statebackend

Time

*  Event time
 *  Processing time
 *  Watermark

Flink Architecture

![image.png][image.png 1]

Flink API

![image.png][image.png 2]

Flink Configuration

*  Cluster Configuration
 *  Job Configuration
 *  Statebackend
 *  Resource Manager
 *  SQL/Python

**参考文档：**[https://ci.apache.org/projects/][https_ci.apache.org_projects][flink][https_ci.apache.org_projects][/flink-docs-release-1.13/docs/deployment/config/][https_ci.apache.org_projects]

Flink Log

![image.png][image.png 3]

## 三、EMR Studio 上的流计算最佳实践 ##

### EMR Studio 特性： ###

*  **兼容开源组件**  
    EMR Studio 在开源软件 Apache Zeppelin，Jupyter Notebook, Apache Airflow 的基础上优化了做了优化和增强。

![image.png][image.png 4]

*  **支持连接多个集群**
 *  **适配多个计算引擎**
 *  **交互式开发 + 作业调度无缝衔接**
 *  **适用多种大数据应用场景**
 *  **计算存储分离**

### Flink Clients ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70][]

###  ###

### Flink on Zeppelin (Phase 1) - Interactive Flink Client ###

![image.png][image.png 5]

### Flink on Zeppelin (Phase 2) - Interactive JobManager ###

![image.png][image.png 6]

### Flinkon Zeppelin 主要 Feature ###

![image.png][image.png 7]

## 四、演示 ##

具体产品介绍和演示，可以点击以下链接直接观看回放：

[https://developer.aliyun.com/live/247106][https_developer.aliyun.com_live_247106]

[原文链接][Link 1]

本文为阿里云原创内容，未经允许不得转载。

[https_developer.aliyun.com_live_247106]: https://developer.aliyun.com/live/247106
[image.png]: /images/20220829/a605931fa1664aad86959c3f781bf7a2.png
[image.png 1]: /images/20220829/451f237f31eb4660aff94aa56eb0555b.png
[image.png 2]: /images/20220829/431e7fb9d776404caaae306c62d84e00.png
[https_ci.apache.org_projects]: https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/
[image.png 3]: /images/20220829/d357af99936f4597ac0bfc07987d6a3a.png
[image.png 4]: /images/20220829/39575bfa87904123b6089efebd557dab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70]: /images/20220829/713a33fd594441ac8b83bda5dcf712d1.png
[image.png 5]: /images/20220829/35f3ca2f1e894e9f8c2ec76bd85d0dab.png
[image.png 6]: /images/20220829/f9f40faee7c2460494d487bac45669fb.png
[image.png 7]: /images/20220829/9374a23e06b54fe9b4e1959b75cb1f6c.png
[Link 1]: http://click.aliyun.com/m/1000285941/