Flink概述

缺乏、安全感 2022-02-04 23:45 210阅读 0赞

# Flink概述 #

# 一、技术的演变 #

在大数据计算中计算框架也在随着时间和需求不断的更新

## 1.1 Hadoop生态 ##

14年Hadoop的MR计算框架带火了其相关的很多框架

## 1.2 Storm的解决的问题 ##

MR框架解决了很多的需求，但由于其处理无法达到实时处理而逐渐暴露了MR的短板，根据对实时需求的越来越强，Storm出现在了人们的视野中，人们用它解决了数据处理实时性的问题，但是他的致命缺点就是无法与当时的Hadoop框架兼容，并且很难实现高吞吐和保证exactly-once，，所以其需要额外的技术人员和集群去维护，并且为了数据的正确性级别其开销也很大

## 1.3 Spark Streaming为什么出现？ ##

根据这个缺点Spark Streaming慢慢进入了人们的视野，由于当时批处理还是占有很大的需求，所以Spark解决实时流处理的思想是把流处理当做为特殊的批处理（将连续时间中的流数据分割成一系列微小的批量作业），但是他的缺点就是无法做到完全实时，所以也有人叫它伪实时  
**注：后来Storm也推出了Storm Trident它底层流处理引擎就是基于微批处理方法来进行计算的，从而实现了exactly-once语义，但是在延迟性方面付出了很大的代价**

## 1.4 Flink的产生 ##

由于微批次处理只能根据时间倍数进行分割，无法根据实际情况分割事件数据。对于一些延迟比较敏感的作业，往往需要开发者在写业务代码时花费大量精力来提升性能，使得这些微批处理策略开发速度变慢，运维成本变高。而Flink设计思想则是将批处理（即处理有限的静态数据）视作一种特殊的流处理，从而解决了上面的问题。

## 1.5 简单图解 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70_pic_center]

# 二、Flink计算核心 #

Flink的核心计算架构是下图中的Flink Runtime执行引擎，它是一个分布式系统，能够接受数据流程序并在一台或多台机器上以容错方式执行。Flink Runtime执行引擎可以作为YARN（Yet Another Resource Negotiator）的应用程序在集群上运行，也可以在Mesos集群上运行，还可以在单机上运行（这对于调试Flink应用程序来说非常有用）。

## 2.1 图解 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70_pic_center 1]

## 2.2 简介 ##

1.  Runtime:能被Flink Runtime执行引擎接受的程序很强大，但是这样的程序有着冗长的代码，编写起来也很费力。所以为了方便程序的编写Flink在Runtime执行引擎上又封装了API
2.  DataStream API与DataSet API：Flink 提供了用于流处理的DataStream API和用于批处理的DataSet API，因此Flink既可以完成流处理，也可以完成批处理。  
    3.其他：Flink支持的拓展库涉及机器学习（FlinkML）、复杂事件处理（CEP）、以及图计算（Gelly），还有分别针对流处理和批处理的Table API。

注：DataSet API先于DataStream API被开发出来，这是因为工业界对无限流处理的需求在Flink诞生之初并不大

# 三、总结 #

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时(Flink Runtime)，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会**把流处理和批处理作为两种不同的应用类型**，因为它们要实现的目标是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，**所以在实现的时候通常是分别给出两套实现方法**，或者通过一个独立的开源框架来实现其中每一种处理方案。例如，实现批处理的开源方案有MapReduce、Tez、Spark，实现流处理的开源方案有Storm。  
Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来：Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。基于同一个Flink运行时(Flink Runtime)，分别提供了流处理和批处理API，而这两种API也是实现上层面向流处理、批处理类型应用框架的基础。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70_pic_center]: /images/20220205/90807ff9f9ad486a833075710ddeccd7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220205/b3be1dcf23164109a84657330ad5d8c5.png