4.1.9 Flink-流处理框架-Flink流处理API之Environment

今天药忘吃喽~ 2022-10-31 01:39 210阅读 0赞

**目录**

1.写在前面

2.Environment：环境

2.1 getExecutionEnvironment：得到执行环境

2.2 createLocalEnvironment：创建本地环境

2.3 createRemoteEnvironment：创建远程环境

--------------------

# 1.写在前面 #

我们主要研究dataStream的api，dataSet与之类似。source用来读取数据源，transform做转换计算，sink阶段主要用来输出计算数据。在这三个步骤之前，我们需要创建flink的执行环境。

![20210220222745409.png][]

# 2.Environment：环境 #

## 2.1 getExecutionEnvironment：得到执行环境（常用方法） ##

创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则 此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，**getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式**。

//批处理
    ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

//流处理
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

如果没有设置并行度，会以 flink-conf.yaml 中的配置为准，默认是 1，当然我们也可以设置并行度。

![20210220223005888.png][]

## 2.2 createLocalEnvironment：创建本地环境 ##

返回本地执行环境，需要在调用时指定默认的并行度。

//流处理
    LocalStreamEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(1);

## 2.3 createRemoteEnvironment：创建远程环境 ##

返回集群执行环境，将 Jar 提交到远程服务器。需要在调用时指定 JobManager 的 IP 和端口号，并指定要在集群中运行的 Jar 包。

StreamExecutionEnvironment env =
    StreamExecutionEnvironment.createRemoteEnvironment("jobmanage-hostname", 6123, "YOURPATH//WordCount.jar");

[20210220222745409.png]: /images/20221024/bcbc49ca8c80441ea2b7eb8ddb9067f6.png
[20210220223005888.png]: /images/20221024/de38991d447c427cb305f40e45043e17.png

发表评论取消回复

表情：

评论列表（有 0 条评论，210人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink 流处理API之二

1、Transform 1.1 map ![E5_9B_BE_E7_89_87-26.png][] `val streamMap = stream.map { x

深藏阁楼爱情的钟/ 2023年07月22日 09:06/ 0 赞/ 18 阅读

相关 Flink 流处理API

一、Environment 1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则此方法返回本

爱被打了一巴掌/ 2022年11月16日 08:32/ 0 赞/ 228 阅读

相关 4.1.15 Flink-流处理框架-Flink流处理API之sink输出操作

目录 1.写在前面 2.输出到Kafka（source/sink） 3.输出到Redis（sink） 4.输出到Elasticsearch（sink） 5.JDBC

冷不防/ 2022年11月04日 11:27/ 0 赞/ 276 阅读

相关 4.1.14 Flink-流处理框架-Flink流处理API之数据重分区操作

目录 1.写在前面 2.并行度 3.数据重分布 3.1 shuffle 3.2 rebalance与rescale 3.3 broadcast 3.4 globa

待我称王封你为后i/ 2022年11月04日 11:24/ 0 赞/ 246 阅读

相关 4.1.11 Flink-流处理框架-Flink流处理API之Transform转换算子

目录 1.基本转换算子 1.1 map 1.2 flatMap扁平化算子 1.3 Filter过滤算子 1.4 基本算子代码演示 2.聚合算子 2.1 KeyBy

我就是我/ 2022年10月31日 04:13/ 0 赞/ 232 阅读

相关 4.1.10 Flink-流处理框架-Flink流处理API之Source数据源

目录 1.写在前面 2.Source数据源 2.1 从集合中读取数据 2.2 从文件中读取数据 2.3 以kafka消息队列的数据作为数据来源 2.4 自定义Sou

我不是女神ヾ/ 2022年10月31日 01:41/ 0 赞/ 236 阅读

相关 4.1.9 Flink-流处理框架-Flink流处理API之Environment

目录 1.写在前面 2.Environment：环境 2.1 getExecutionEnvironment：得到执行环境 2.2 createLocalEnviron

今天药忘吃喽~/ 2022年10月31日 01:39/ 0 赞/ 211 阅读

相关 Flink 流处理

![Flink 流处理][Flink] Apache Flink 可实现可扩展并行度的 ETL、数据分析以及事件驱动的流式应用程序。 Flink API 中的状态管理和时间

今天药忘吃喽~/ 2022年09月10日 09:26/ 0 赞/ 214 阅读

相关大数据之Flink流处理 API

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5aSp6b6Z6Iez5bCK_size_20

向右看齐/ 2022年08月28日 11:40/ 0 赞/ 512 阅读

相关 Flink 流处理API之 Source TransForm

DataStream编程模型 > DataStream API 主要分为三个模块 DataSource模块 Transformation模块 Data

Bertha 。/ 2021年11月11日 13:18/ 0 赞/ 542 阅读